[Python] 웹크롤링 예제

저는 개발도구 pycharm을 사용합니다. 참고해주세요. 간략하게 웹크롤링에 필요한 부문만 설명드리겠습니다.

 

웹크롤링을 위한 필요 기능

1. 특정 사이트의 html을 가져온다 -> requests package

2. html에 특정 부분을 선택하여 가져온다. -> bs4 package (beautifulsoup)

 

패키지 설치

설치된 패키지

pycharm에서 +버튼을 클릭하여 패키지 설치를 할 수 있습니다. bs4, requests 패키지를 설치해주세요.

 

특정 요소 데이터 가져오기

네이버 영화에서 영화 포스터 이미지를 가져오도록하겠습니다.

요소복사 방법

 

요소복사 방법 : 크롬 개발자도구(F12) > 원하는 요소 클릭 > 요소복사 (위 영상 참고)

요소복사 하시면 해당 요소의 selector가  복사됩니다.

 

패키지를 활용한 코드 작성

import requests	
from bs4 import BeautifulSoup

url = 'https://movie.naver.com/movie/bi/mi/basic.naver?code=191597'	# 네이버영화 주소
res = requests.get(url)	# html 가져오기

soup = BeautifulSoup(res.text, 'html.parser') # html 텍스트 -> object로 변경(by html parser)

#선택자(selector)를 통해 원하는 부분 가져오기
movie_img = soup.select_one('#content > div.article > div.mv_info_area > div.poster > a > img')
print("이미지 태그 : ", movie_img)
print("이미지 태그 src 속성 : ", movie_img['src'])

실행 결과 화면