웹크롤링으로 원하는 데이터를 가져오는 것을 저번에 진행했다면 요번엔 가져온 데이터를 Database (Mongo DB) 에 넣도록 하겠습니다. 우선 웹크롤링으로 데이터추출하는 방법은 아래 URL 참고 부탁드립니다. 2022.05.18 - [개발/Python] - 웹 크롤링 기초1 웹 크롤링 기초1 크롤링이란 Web상에 내용 중 필요한 데이터만 추출하는 방법을 의미합니다. 파이썬으로 진행하였고 네이버 영화 사이트내 영화 제목을 크롤링 해보겠습니다. 우선 bs 4(BeautifulSoup), requests 패키지 myit.tistory.com 사전에 Mongodb는 27017 Port를 사용하므로 방화벽을 여는 사전 작업이 필요합니다. 환경 : pycharm, MAC OS, Robo 3T, Mongodb ..

크롤링이란 Web상에 내용 중 필요한 데이터만 추출하는 방법을 의미합니다. 파이썬으로 진행하였고 네이버 영화 사이트내 영화 제목을 크롤링 해보겠습니다. 우선 bs 4(BeautifulSoup), requests 패키지를 설치 합니다. 환경 : PyCharm , Mac 사용 크롤링 기본 문법은 아래와 같습니다. 크롤링시 무조건적으로 들어간다고 생각하시면 되겠습니다. 여기서 주의할 점은 크롤링을 원하는 대상의 url을 적어주셔야합니다. #크롤링 기본 문법 (무조건 들어감) import requests from bs4 import BeautifulSoup # 타겟 URL을 읽어서 HTML를 받아오고 (저는 네이버 영화 URL로 지정하였습니다.) headers = {'User-Agent' : 'Mozilla/5..