728x90

코뮤니티 64

[파이썬 크롤링] 12일차 : CSV 라이브러리 활용하기

코뮤니티 모각코 파이썬 크롤링 출석 인증 12일차 ✅ 오늘의 문제 : CSV 라이브러리 활용하기 👇 아래의 파일에는 코로나에 대한 뉴스 기사 1000개의 제목이 저장되어 있습니다. covid19_articles.csv ... CSV 파일에 있는 1000개의 뉴스 기사 제목 중 속보 기사의 제목과 개수를 출력하는 코드를 작성해보세요. 👉 출력 예시 ⭐ 힌트 보기 ⭐ 속보 기사 찾는 방법 2가지 # 방법 1 if '[속보]' in 제목: # 방법 2 if 제목[:4] == '[속보]': 코드 import csv f = open("./covid19_articles.csv", "r") rdr = csv.reader(f) count = 0 for row in rdr: if '[속보]' in row[2]: prin..

개발/코뮤니티 2022.02.22

[파이썬 크롤링] 11일차 : 나만의 번역 사전 만들기

코뮤니티 모각코 파이썬 크롤링 출석 인증 11일차 ✅ 오늘의 문제 : 나만의 번역 사전 만들기 11일차에선 영단어 하나를 입력하고, 번역 결과를 출력하는 동적 크롤러를 구현했어요. 크롤링에선 단순히 데이터를 수집하는 것이 아닌, 받아온 데이터를 응용하는 능력이 중요하답니다. 오늘의 예제를 응용해, 나만의 번역 사전을 만들어 봅시다! ❗ clear함수를 사용하면 HTML 요소를 초기화할 수 있습니다. [ Selenium의 HTML 요소 ].clear() # 해당 HTML 요소의 내용을 초기화 시킨다. ⭐ 조건 ⭐ 반복문을 사용해 일정 횟수, 혹은 0이 입력될 때 까지 실행되어야 합니다. 반복문이 종료된 후 입력받은 영단어와, 그 결과값을 모아서 출력 해 주세요. 중복은 따로 검사하지 않아도 됩니다. 코드 ..

개발/코뮤니티 2022.02.21

[파이썬 크롤링] 10일차 : Selenium을 사용하기

코뮤니티 모각코 파이썬 크롤링 출석 인증 10일차 ✅ 오늘의 문제 : Selenium을 사용하기 오늘은 Selenium을 설치하고, 웹 페이지를 띄워봤어요. 15일차까지 계속 Selenium과 Chromedriver를 사용하게 되므로, 오늘의 예제를 문제 없이 따라 하셨어야 한답니다.😥 get 함수를 사용해 예제와 다른 사이트에 접속한 모습을 업로드해주세요! 코드 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager import time chrome_driver = ChromeDriverManager().i..

개발/코뮤니티 2022.02.18

[파이썬 크롤링] 9일차 : G마켓 크롤링

코뮤니티 모각코 파이썬 크롤링 출석 인증 9일차 ✅ 오늘의 문제 : G마켓 크롤링 오늘 실습을 통해 검색어에 맞는 상품을 크롤링 해 보았죠! 이번 과제는, 정렬 방식에 따라 크롤링하는 것 입니다.😮 저번 시간의 문제를 풀면서, 정렬 방식에 따른 URL 패턴은 확인하셨을 거예요! 이 URL패턴을 사용해 크롤링을 진행해 주세요. 👉 결과 예시 ⭐ 힌트 ⭐ 이차원 리스트를 사용하면 각각의 정렬 방식과, 그에 맞는 URL 값을 하나로 묶을 수 있어요. 코드 import requests import bs4 s_list = [ ['', '&s=7'], ['', '&s=8'], ['', '&s=1'], ['', '&s=2'], ['< 상..

개발/코뮤니티 2022.02.17

[파이썬 크롤링] 8일차 : BeautifulSoup 활용하기

코뮤니티 모각코 파이썬 크롤링 출석 인증 8일차 ✅ 오늘의 문제 : BeautifulSoup 활용하기 오늘은 G마켓에서 검색어에 따라 변하는 URL 주소의 패턴을 파악해 봤습니다. ⭐ 1번 문제 그렇다면, 정렬 방식에 따른 URL 패턴도 파악할 수 있지 않을까요? 각 판매 인기 순, 낮은 가격 순 등으로 정렬했을 때의 URL 패턴을 분석하고,어떻게 변화하는지 작성해 주세요! ⭐ 2번 문제 또한 판매중인 상품을 선택할 때, 별점은 빠져서는 안되는 요소 중 하나죠! 직접 별 이모티콘은 받아올 수는 없겠지만, 이와 유사한 데이터가 존재한답니다. 별점에 대한 태그와 선택자를 파악하고, 작성해 주세요! ⭐ 1번 문제 G마켓 랭크 순: &s=7 판매 인기 순: &s=8 낮은 가격 순: &s=1 높은 가격 순: &s..

개발/코뮤니티 2022.02.16

[파이썬 크롤링] 7일차 : BeautifulSoup 활용하기

코뮤니티 모각코 파이썬 크롤링 출석 인증 7일차 ✅ 오늘의 문제 : BeautifulSoup 활용하기 6일차에 받아 왔던 HTML 코드에서 유의미한 데이터를 추출해 출력해 보세요! 저는 1일차에 선정했던 네이버 웹툰의 요일 별 인기 웹툰의 이름을 출력해 보려고 해요.😀 코드 import requests import bs4 URL = 'https://cafe.naver.com/codeuniv' raw = requests.get(URL) html = bs4.BeautifulSoup(raw.text, 'html.parser') target = html.find('div', {'id': 'cafe-menu'}) mo_list = target.find_all('a', {'class': 'gm-tcol-c'}) f..

개발/코뮤니티 2022.02.15

[파이썬 크롤링] 6일차 : 파이썬으로 HTML 코드 가져오기

코뮤니티 모각코 파이썬 크롤링 출석 인증 6일차 ✅ 오늘의 문제 : 파이썬으로 HTML 코드 가져오기 오늘 requests의 get() 함수로 HTML 코드를 가져왔어요. 6일 차의 예제를 바탕으로, 1일 차에 자신이 정했었던 크롤링을 하고 싶은 사이트의 HTML 코드를 가져와 보세요! ❗ requests 라이브러리로 크롤링할 수 없는 웹사이트도 존재합니다. 이 경우, 다른 사이트를 선정하시거나 한 번 더 복습한다는 차원에서 6일 차의 예제를 업로드 해주세요! 코드 import requests URL = '주소' raw = requests.get(URL) print(raw) # 요청 성공 여부 출력 print(raw.text) # HTML 코드 출력 결과 멜론은 이 뜨면서 크롤링을 할 수 없었습니다. 그..

개발/코뮤니티 2022.02.14

[파이썬 크롤링] 5일차 : HTML 선택자 찾기

코뮤니티 모각코 파이썬 크롤링 출석 인증 5일차 ✅ 오늘의 문제 : HTML 선택자 찾기 코뮤니티의 메인 화면에는 카페에 대한 정보가 나열되어 있어요. 개발자 도구에서, 아래 세 요소를 검색해서 찾아봅시다! 단, 검색 시 해당 요소 하나만 검색되도록 검색어를 구성해 보세요! 크롤링을 할 땐 필요한 정보 하나만 찾을 수 있도록 검색어를 구성하는 능력이 중요하답니다. 😉 1. 코뮤: div.ellipsis.gm-tcol-c 2. Since 2020.03.03.: div.thm a.gm-tcol-c 3. 카페소개: div.info-view a.u.gm-tcol-c

개발/코뮤니티 2022.02.11

[파이썬 크롤링] 3일차 : 내가 크롤링한다면?

코뮤니티 모각코 파이썬 크롤링 출석 인증 3일차 ✅ 오늘의 문제 : 내가 크롤링한다면? 1일차 과제로 제출했던 내가 크롤링하고 싶은 사이트 기억나시나요? 그 사이트에서 얻고 싶은 데이터와, 그 데이터를 얻기 위해선 어떤 크롤링 유형을 사용해야 할지 작성해 주세요! 멜론 좋아요 수를 크롤링 하려면 정적 크롤링을 사용해야 할 것 같은데.. 멜론 전체를 크롤링 하려면 수집량이 많아져서 동적 크롤링을 사용해야 할 것 같네용ㅎㅎ

개발/코뮤니티 2022.02.08
728x90