주식 배당금 데이터 크롤링(crawling) 하기 (1)

문득 자동으로 배당금 데이터를 가져와서 내 입맛에 맞게 조정을 해서 원하는 종목을 뽑을 수 있을까?

에서 시작해서 공부해 봅니다.

 

예전에 했던 것들 다 까먹어서 다시 pyCharm 부터

 

Create Project 를 실행해서 내가 원하는 프로젝트 이름을 디렉토리로 생성합니다. 

 생성 후 기본적인 패키지 설치를 해야 합니다. 

 

pyCharm 왼쪽 아래 탭 중에 Terminal 탭을 선택합니다. 

 

* pip 이 설치 되어 있지 않으면 이 글을 참조하세요. 

https://qwoowp.tistory.com/33?category=817494 

PIP 설치

 

Terminal 창에서 아래와 같이 

pip install requests 를 입력하여 설치해 봅니다. 

 

 

아래 패키지를 또 설치해 줍니다. 

pip install selenium

pip install bs4

 

우선 여기 까지 설치하고 크롬을 이용하여 이벤트도 발생을 시켜야 하기 때문에 

webdriver 를 다운로드 해준다. 

 

 

* 자신의 크롬 브라우저와 동일한 버전의 webdriver 를 다운로드 해주면 됩니다. 

https://sites.google.com/a/chromium.org/chromedriver/downloads

Downloads - ChromeDriver - WebDriver for Chrome

 

크롬 버전을 확인하기 위해서는 크롬 브라우저 오른쪽 상단에 ... 아이콘을 선택하고 도움말 > Chrome 정보 를 클릭합니다. 

 

저는 90.0.44 므로 관련 파일을 다운로드해서 압축을 풀어 주면 됩니다. 

 

아래와 같이 간단하게 코드를 구현하고 webdriver 가 정상 동작한다면 아래 와 같이 크롬 브라우저가 실행되면서

배당금 조회 페이지가 뜨게됩니다. 

import requests
#from bs4 import BeautifulSoup
from selenium import webdriver
import time

# Press the green button in the gutter to run the script.
if __name__ == '__main__':

    print('Start Dividend Data crawling')

    ## Chrome의 경우 | 아까 받은 chromedriver의 위치를 지정해준다.
    driver = webdriver.Chrome('C:\_99_joon\python_dividend\chromedriver_win32\chromedriver.exe')
    ## 크롬 브라우저가 실행될 시간을 위해 5초 정도 기다려 준다.
    driver.implicitly_wait(5)

    # 원하는 홈페이지 주소 (배당금 순위를 연도별로 조회할 수 있는 곳으로 이동한다.)
    driver.get('https://seibro.or.kr/websquare/control.jsp?w2xPath=/IPORTAL/user/company/BIP_CNTS01042V.xml&menuNo=286')