파이썬(Python) 웹크롤링 관련 : Beautiful Soup

[기본 사용 방식]

import requests
from bs4 import BeautifulSoup as bs
 
url = 'https://news.naver.com/main/read.nhn?\
mode=LSD&mid=shm&sid1=101&oid=018&aid=0004305437'
r = requests.get(url)
html = r.content 
 
soup = bs(html, "html.parser") 
# request를 통해 파싱한 html문서를 BeautifulSoup 객체로 만들어 줌으로서
BeautifulSoup의 유용한 메서드(원하는 데이터 추출)를 사용하는 방식 
 
print('1. ', soup.title)
print('2. ', soup.title.name)
print('3. ', soup.title.string)
print('4. ', soup.title.parent.name)
print('5. ', soup.p)                 # 가장 첫 p 태그 반환
print('6. ', soup.p['class'])        # 원하는 태그의 속성에 대한 값을 파싱 가능
print('7. ', soup.a)
print('8. ', soup.find_all('a'))     # 모든 a태그 list값 반환
print('9. ', soup.find(id="right.ranking_tab_100"))  # id 값을 가지고 해당 태그 찾을 수 있음
print('10.', soup.get_text())        # text만 추출

[사용 예시]

ex.1) 뉴스 기사 html에서 a태그의 href 링크들만 크롤링하기

해당 뉴스기사 url에서 이 부분의 1번부터 10번까지의 링크를 크롤링하기

import requests
from bs4 import BeautifulSoup as bs
url = 'https://news.naver.com/main/read.nhn?\
mode=LSD&mid=shm&sid1=101&oid=018&aid=0004305437'
r = requests.get(url)
html = r.content 
soup = bs(html, "html.parser") 
a_tags = soup.find_all("a", {'class':"nclicks(rig.newstopic)"}) 
count = 1
for a_tag in a_tags :
    print(count,".", a_tag["href"] ) # 찾은 a태그의 href 값 크롤링
    count += 1

​

참조 :

https://hurderella.tistory.com/113

https://twpower.github.io/84-how-to-use-beautiful-soup

https://codetravel.tistory.com/22

​