Hyunsun

코뮤니티 모각코 파이썬 크롤링 출석 인증 14일차 ✅ 오늘의 문제 : 자유로운 크롤링 1️⃣ 14일과 15일은 자신이 구현하고 싶은 크롤링 모델을 구현하는 과제에요. 지금까지 배운 내용 만으로도 여러분은 왠만한 사이트의 데이터를 받아오실 수 있답니다.😉 전 정적 크롤링의 예제였던 최근 회차의 로또 번호를 동적 크롤링으로 구현해 모든 회차의 로또 번호를 받아오고, 그 데이터를 분석 해 보려고 해요. 각자 자신이 원하는 크롤링 모델을 구현 해 봅시다! 저는 멜론차트 TOP100의 노래 제목과 좋아요 수를 받아왔습니당! 코드 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_mana..

코뮤니티 모각코 파이썬 크롤링 출석 인증 13일차 ✅ 오늘의 문제 : 한영사전 만들기 오늘의 예제는 영어를 한국어로 번역 한 결과를 저장하는 사전을 만드는 문제였어요. 그렇다면, 사전의 번역 결과가 제대로 된 번역인지 확인 해 봐야겠죠? my_papago.csv 에 저장된 번역 결과(한국어)를 다시 번역기에 입력해서 번역 결과(영어)를 출력해 주세요! ⭐ TIP ⭐ 1️⃣ my_papago.csv 파일을 불러온 뒤, 리스트에 한글 번역 결과만 따로 저장해서 사용하세요! 2️⃣ 파파고 웹 페이지에 처음 접속한 순간, 어떤 버튼을 딱 한번만 눌러주면 '영어' ↔ '한국어'가 가능합니다. 그 뒤로는 소스코드가 끝날 때까지 이 버튼을 다시 눌러줄 필요가 없습니다. 코드 from selenium import we..

코뮤니티 모각코 파이썬 크롤링 출석 인증 12일차 ✅ 오늘의 문제 : CSV 라이브러리 활용하기 👇 아래의 파일에는 코로나에 대한 뉴스 기사 1000개의 제목이 저장되어 있습니다. covid19_articles.csv ... CSV 파일에 있는 1000개의 뉴스 기사 제목 중 속보 기사의 제목과 개수를 출력하는 코드를 작성해보세요. 👉 출력 예시 ⭐ 힌트 보기 ⭐ 속보 기사 찾는 방법 2가지 # 방법 1 if '[속보]' in 제목: # 방법 2 if 제목[:4] == '[속보]': 코드 import csv f = open("./covid19_articles.csv", "r") rdr = csv.reader(f) count = 0 for row in rdr: if '[속보]' in row[2]: prin..

코뮤니티 모각코 파이썬 크롤링 출석 인증 11일차 ✅ 오늘의 문제 : 나만의 번역 사전 만들기 11일차에선 영단어 하나를 입력하고, 번역 결과를 출력하는 동적 크롤러를 구현했어요. 크롤링에선 단순히 데이터를 수집하는 것이 아닌, 받아온 데이터를 응용하는 능력이 중요하답니다. 오늘의 예제를 응용해, 나만의 번역 사전을 만들어 봅시다! ❗ clear함수를 사용하면 HTML 요소를 초기화할 수 있습니다. [ Selenium의 HTML 요소 ].clear() # 해당 HTML 요소의 내용을 초기화 시킨다. ⭐ 조건 ⭐ 반복문을 사용해 일정 횟수, 혹은 0이 입력될 때 까지 실행되어야 합니다. 반복문이 종료된 후 입력받은 영단어와, 그 결과값을 모아서 출력 해 주세요. 중복은 따로 검사하지 않아도 됩니다. 코드 ..

코뮤니티 모각코 파이썬 크롤링 출석 인증 10일차 ✅ 오늘의 문제 : Selenium을 사용하기 오늘은 Selenium을 설치하고, 웹 페이지를 띄워봤어요. 15일차까지 계속 Selenium과 Chromedriver를 사용하게 되므로, 오늘의 예제를 문제 없이 따라 하셨어야 한답니다.😥 get 함수를 사용해 예제와 다른 사이트에 접속한 모습을 업로드해주세요! 코드 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager import time chrome_driver = ChromeDriverManager().i..

코뮤니티 모각코 파이썬 크롤링 출석 인증 9일차 ✅ 오늘의 문제 : G마켓 크롤링 오늘 실습을 통해 검색어에 맞는 상품을 크롤링 해 보았죠! 이번 과제는, 정렬 방식에 따라 크롤링하는 것 입니다.😮 저번 시간의 문제를 풀면서, 정렬 방식에 따른 URL 패턴은 확인하셨을 거예요! 이 URL패턴을 사용해 크롤링을 진행해 주세요. 👉 결과 예시 ⭐ 힌트 ⭐ 이차원 리스트를 사용하면 각각의 정렬 방식과, 그에 맞는 URL 값을 하나로 묶을 수 있어요. 코드 import requests import bs4 s_list = [ ['', '&s=7'], ['', '&s=8'], ['', '&s=1'], ['', '&s=2'], ['< 상..

코뮤니티 모각코 파이썬 크롤링 출석 인증 8일차 ✅ 오늘의 문제 : BeautifulSoup 활용하기 오늘은 G마켓에서 검색어에 따라 변하는 URL 주소의 패턴을 파악해 봤습니다. ⭐ 1번 문제 그렇다면, 정렬 방식에 따른 URL 패턴도 파악할 수 있지 않을까요? 각 판매 인기 순, 낮은 가격 순 등으로 정렬했을 때의 URL 패턴을 분석하고,어떻게 변화하는지 작성해 주세요! ⭐ 2번 문제 또한 판매중인 상품을 선택할 때, 별점은 빠져서는 안되는 요소 중 하나죠! 직접 별 이모티콘은 받아올 수는 없겠지만, 이와 유사한 데이터가 존재한답니다. 별점에 대한 태그와 선택자를 파악하고, 작성해 주세요! ⭐ 1번 문제 G마켓 랭크 순: &s=7 판매 인기 순: &s=8 낮은 가격 순: &s=1 높은 가격 순: &s..

코뮤니티 모각코 파이썬 크롤링 출석 인증 7일차 ✅ 오늘의 문제 : BeautifulSoup 활용하기 6일차에 받아 왔던 HTML 코드에서 유의미한 데이터를 추출해 출력해 보세요! 저는 1일차에 선정했던 네이버 웹툰의 요일 별 인기 웹툰의 이름을 출력해 보려고 해요.😀 코드 import requests import bs4 URL = 'https://cafe.naver.com/codeuniv' raw = requests.get(URL) html = bs4.BeautifulSoup(raw.text, 'html.parser') target = html.find('div', {'id': 'cafe-menu'}) mo_list = target.find_all('a', {'class': 'gm-tcol-c'}) f..

코뮤니티 모각코 파이썬 크롤링 출석 인증 6일차 ✅ 오늘의 문제 : 파이썬으로 HTML 코드 가져오기 오늘 requests의 get() 함수로 HTML 코드를 가져왔어요. 6일 차의 예제를 바탕으로, 1일 차에 자신이 정했었던 크롤링을 하고 싶은 사이트의 HTML 코드를 가져와 보세요! ❗ requests 라이브러리로 크롤링할 수 없는 웹사이트도 존재합니다. 이 경우, 다른 사이트를 선정하시거나 한 번 더 복습한다는 차원에서 6일 차의 예제를 업로드 해주세요! 코드 import requests URL = '주소' raw = requests.get(URL) print(raw) # 요청 성공 여부 출력 print(raw.text) # HTML 코드 출력 결과 멜론은 이 뜨면서 크롤링을 할 수 없었습니다. 그..

코뮤니티 모각코 파이썬 크롤링 출석 인증 5일차 ✅ 오늘의 문제 : HTML 선택자 찾기 코뮤니티의 메인 화면에는 카페에 대한 정보가 나열되어 있어요. 개발자 도구에서, 아래 세 요소를 검색해서 찾아봅시다! 단, 검색 시 해당 요소 하나만 검색되도록 검색어를 구성해 보세요! 크롤링을 할 땐 필요한 정보 하나만 찾을 수 있도록 검색어를 구성하는 능력이 중요하답니다. 😉 1. 코뮤: div.ellipsis.gm-tcol-c 2. Since 2020.03.03.: div.thm a.gm-tcol-c 3. 카페소개: div.info-view a.u.gm-tcol-c