반응형 크롤링3 [T.I.L] : 02 일일 배움을 위한 Today I Learned ! java Spring Framework에서 웹 크롤링 하는 것과 딥러닝 하는 것을 공부했습니다. 어제 CGV를 웹 크롤링하는 것을 이어서 오늘은 학교 식단을 웹 크롤링으로 정보를 가져왔고 코드는 참고해서 했습니다. package poly.service.impl; import java.util.Iterator; import javax.annotation.Resource; import org.apache.log4j.Logger; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import .. 2021. 10. 27. [T.I.L] : 01 일일 배움을 위한 Today I Learned ! 웹 수집 (크롤링) 크롤링은 HTML에 접근해 텍스트를 읽어 들이는 방법으로 HTML 태그에 대한 이해도가 높아야 합니다. CGV 영화 순위를 크롤링 해오는 실습을 했는데 HTML을 보면서 어느 단에서 끊어서 가져와야 하는지에 대한 고민이 제일 어려웠습니다. 예제를 참고하면서 코딩을 해 데이터 끌어오는 것은 성공시켰지만 아직 예제 없이 혼자 코딩을 하기엔 많이 부족하고 코드의 흐름과 각 중요 부분의 역할도 제대로 알지 못 하지만 이것도 반복해서 공부하는 것이 중요합니다. 결과적으론 오늘 예제를 학습하면서 크롤링에 성공을 하긴 했습니다. 아직 부족한 부분은 더 학습해서 올려보도록 하겠습니다. - https://ohju.tistory.com/37 [스프링 프.. 2021. 10. 26. [Spring Framework] : 웹 크롤링(수집)하기 www.cgv.co.kr/movies/ 위에 링크에 있는 CGV 영화 정보를 크롤링 하는 것을 목표로 합니다. 인터넷 브라우저에 보여지는 사이트는 모두 HTML을 인터넷 브라우저가 읽어서 보여주는데 이런 특징을 활용해 HTML에 작성된 텍스트를 읽어 들이는 방법입니다. 크롤링을 위해서는 HTML 태그에 대한 이해도가 높아야 가능하고 HTML 문서 구조를 파악하는 능력이 중요합니다. 코드 아래 글을 쓰기가 애매해서 주석을 참고하면 됩니다. - 기본 키는 복합키를 사용합니다. - JSOUP 외부 라이브러리 활용을 위해 pom.xml에 추가해 줍니다. - package poly.dto; public class MovieDTO { private String rank_check_time; private Strin.. 2021. 10. 26. 이전 1 다음 반응형
