👩‍💻 링크타고 브랜드 타이틀 크롤링

 

import os
import re
import pandas as pd
import pickle
import collections
import numpy as np
import math
from ast import literal_eval
from time import gmtime, strftime
import re
import time
from tqdm import tqdm
from bs4 import BeautifulSoup

# Scrapping
import selenium
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from fake_useragent import UserAgent

# Error Handling
import socket
import urllib3
import urllib.request
from urllib.request import urlopen
from urllib.parse import quote_plus
from urllib.request import urlretrieve
from selenium.common.exceptions import NoSuchElementException, ElementNotInteractableException, ElementClickInterceptedException

import warnings
warnings.filterwarnings('ignore')

 

우선 필요한 라이브러리 불러오기!
기본적으로 pandas, BeautifulSoup, urllib.request, selenium.webdriver 정도 필요했다.

links = pd.read_csv(r"G:\내 드라이브\all_brand_links.csv")
links['brand_title'] = ''

맥에서는 경로 복사하는데에도 한참 애먹었다,,,
(맥 경로복사 단축키! : opt + command + c )
쨌든 보내주신 링크를 열었고, 내가 크롤링 할 brand title을 넣을 column을 새로 만들고 빈리스트를 넣었다.

근데 여기서 보통은 이런 식으로 하지는 않는다고 하셨다. 어쨌든 ''도 값이기 때문에 나중에 사소하더라도 이슈가 생길 수 있기 때문에,
그냥 크롤링한 값을 list에 append하면서 하나의 list를 만든 다음에 dataFrame에 column으로 붙이는것이 맞다고 하신다...!

wd = webdriver.Chrome(ChromeDriverManager().install())

idx = 0
error = []

for i in links["brand_links"]:
    try:
        url = i
        wd.get(url)
        time.sleep(3)
        
        wd.find_element_by_xpath("/html/body/div/div/div/div/div[1]/span/div/div[2]/div[2]/button[2]").click()
        time.sleep(3)
        
        html = wd.page_source
        soup = soup = BeautifulSoup(html, "html.parser")
        brand_title = soup.select_one('.details__brand__title').get_text()
        
        links["brand_title"][idx] = brand_title
        
        idx += 1
        print(idx, "개 완료")
        
    except Exception as e: 
        print(i, "에서 오류 발생: ", e)
        idx += 1
        error.append(i)
        pass

일단 xpath로 팝업이 뜨는 걸 계속 닫아줘야했다.
그리고, BeautifulSoup으로 브랜드 명은 하나씩만 가져오면 끝이었기 때문에 select_one() 함수를 이용하였고, text만 가져오면 되기 때문에 get_text() 사용하였다.

idx 변수로 인덱스를 하나하나 늘려주면서 순서대로 브랜드를 붙여줬는데, 사실 이건 그냥 차례대로 하나하나 붙여주는 거기 때문에 불안불안한게 없지않았다.

순서대로 받아오면서 error가 나면 그 에러는 나중에 다시 확인할 수 있게 error 리스트에 어펜드해준 뒤, pass한다.

솔직히 책에서 하는거 제외하고 이렇게 크롤러만들어서 크롤링하는거 처음이었는데 나름,,, 잘했다고 칭찬도 받아서 뿌듯,,, (부끄럽지만 그래도 뿌듯했다고,,)

내 컴퓨터에서는 너무 느려서 다시 해볼 때는 20개만 테스트로 돌렸다.
돌리면 저렇게 ipynb에서 나온 것처럼 나온다.