[파이썬 크롤링] 14일차 : 자유로운 크롤링 1️⃣

코뮤니티 모각코 파이썬 크롤링 출석 인증 14일차

 

✅ 오늘의 문제 : 자유로운 크롤링 1️⃣

 

14일과 15일은 자신이 구현하고 싶은 크롤링 모델을 구현하는 과제에요.

지금까지 배운 내용 만으로도 여러분은 왠만한 사이트의 데이터를 받아오실 수 있답니다.😉

 

전 정적 크롤링의 예제였던 최근 회차의 로또 번호를 동적 크롤링으로 구현해

모든 회차의 로또 번호를 받아오고, 그 데이터를 분석 해 보려고 해요.

 

각자 자신이 원하는 크롤링 모델을 구현 해 봅시다!

 

저는 멜론차트 TOP100의 노래 제목과 좋아요 수를 받아왔습니당!

 

코드

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service=service)

melon_url = 'https://www.melon.com/index.htm' #멜론
driver.get(melon_url)
time.sleep(3)

melon_chart = "https://www.melon.com/chart/index.htm" #멜론 차트
driver.get(melon_chart)
time.sleep(3)

for i in range(100):
    # 제목
    xpath1 = "/html/body/div/div[3]/div/div/div[3]/form/div/table/tbody/tr[" + str(
        i+1)+"]/td[6]/div/div/div[1]/span/a"
    title = driver.find_element(By.XPATH, xpath1).text

    # 좋아요 수
    xpath2 = "/html/body/div/div[3]/div/div/div[3]/form/div/table/tbody/tr[" + str(
        i+1)+"]/td[8]/div/button/span[2]"
    like = driver.find_element(By.XPATH, xpath2).text

    print(i+1, "위:", title, "- 좋아요 수:", like)

driver.close()

 

결과