[MongoDB] : Spring Boot 웹 크롤링하여 MongoDB에 데이터 넣고 조회하기

웹 크롤링을 위해서 먼저 해당 페이지가 웹 크롤링을 해도 되는 페이지인지 확인하기 위해 사이트 주소 뒤에 /robots.txt 붙여 확인한다.

 

https://www.melon.com/robots.txt

chart 크롤링이 허용되어 있다. Disallow로 명시되어 있으면 크롤링을 할 수 없다.

 

<http://localhost:8080/melon/collectMelonSong>

멜론 차트 탑 100을 수집하고 저장한다.

 

<http://localhost:8080/melon/getSongList>

저장한 차트를 조회한다.

 

<http://localhost:8080/melon/getSingerSongCnt>

가수별 차트에 등록된 노래 수를 카운트한다.

 

Online JSON Viewer

Online JSON Viewer

JSON 웹 뷰어에서 조금 더 편하게 볼 수 있다.

 

코드는 아래 링크에서 확인이 가능하다.

https://ohju96.notion.site/TOP-100-2011fd56ff7547a2b1e15682e5c0326a

멜론 TOP 100 순위 가져오기