크롤링을 위한 준비 및 연습

pip install requests

pip install bs4

pip install selenium

 

install webdriver

sites.google.com/a/chromium.org/chromedriver/downloads

Downloads - ChromeDriver - WebDriver for Chrome

selenium 을 이용한 샘플 코드

    from selenium import webdriver
    
    ## Chrome의 경우 | 아까 받은 chromedriver의 위치를 지정해준다.
    driver = webdriver.Chrome('C:\_src\sj_python\chromedriver_win32\chromedriver.exe')
    ## 암묵적으로 웹 자원 로드를 위해 3초까지 기다려 준다.
    driver.implicitly_wait(3)
    ## url에 접근한다.
    driver.get('https://nid.naver.com/nidlogin.login')

 

크롤링 관련 참고 글

 - beomi.github.io/gb-crawling/posts/2017-02-27-HowToMakeWebCrawler-With-Selenium.html

Selenium으로 무적 크롤러 만들기 · GitBook