파이썬 Selenium을 사용한 크롤링 (2023버전) _ 태그 쉽게 찾기

1. Selenium 사용을 위해 Chrome 버전 정보 확인 (우측 상단 점 3개 > 도움말 )

버전 110.0.5481.96(공식 빌드) (64비트)

 

2. 자신의 버전에 부합하는 Chrome driver 설치

https://chromedriver.chromium.org/downloads

ChromeDriver - WebDriver for Chrome - Downloads

 

3. anaconda jupyter notebook 오픈

이전에 사용한적 없다면 !pip install selenium

 

from selenium import webdriver
from selenium.webdriver.common.keys import Keys 
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service

driver = webdriver.Chrome(service=Service('C:/Temp/chromedriver'))

Service() 안에는 위에 다운로드 받았던 chromedriver의 위치 넣기

url에 들어있는걸 가져와서 렌더링까지 완료함

driver.get('http://www.google.com/ncr') #get안의 괄호 안에 크롤링하려는 url 넣기

 

- 검색어 입력 및 엔터처리'

• By.CSS_SELECTOR로 DOM 객체를 찾음
• By.CLASS_NAME 처럼 클래스 이름으로도 찾을 수 있음

target=driver.find_element(By.CSS_SELECTOR, "[name = 'q']") # 검색창을 찾는다
target.send_keys('사과') #검색창에 사과를 입력한다
target.send_keys(Keys.ENTER) #엔터키를 누른다

 

**어떤 html 태그에 해당하는지 쉽게 알 수 있는 방법**

우측 상단 점 3개 => 개발자 도구 => 왼쪽 위에 (아래 빨간색으로 동그라미친) 화살표 네모 클릭 => 왼쪽 화면 커서를 두면 어떤 html, css와 연결되었는지 표시됨

 

selector를 쉽게 가져올 수 있는법!!!!!

우측 elements 쪽에 특정 이미지의 부분 오른쪽 누르고 => Copy => Copy Selector

 

다음 게시물에는 오늘 하루종일 고군분투한 구글 이미지 (원본 이미지) 크롤링 코드를 공유해보겠습니다..

아.. 눈이 아프네요...