반응형 파이썬정적웹크롤링1 [Python] : 정적 웹 페이지 크롤링 정적 웹 페이지 크롤링 국내 커피 브랜드 중 하나인 할리스 커피의 전국 매장 정보를 크롤링합니다. https://www.hollys.co.kr/robots.txt 웹 페이지 크롤링하기 전에 크롤링 허용 여부를 확인하기 위해 위 링크로 들어가 봅니다. User_agent: * Allow: / 또는 User-agent: * Disallow: 위 두개는 모든 접근을 허용합니다. User-agent:* Disallow: / 모든 접근을 금지합니다. User-agent:* Disallow:/user/ 특정 디렉토리만 접근을 금지합니다. 만약 robots.txt 파일이 없다면 수집에 대한 정책이 없으니 크롤링해도 된다는 의미로 받아들이면 됩니다. 매장 검색 페이지에서 HTML 소스를 분석해 보면 태그가 매장 정보 .. 2021. 11. 17. 이전 1 다음 반응형
