반응형 자바자연어처리2 [Spring Framework] : 웹 크롤링 후 자연어 처리 네이버 뉴스 수집 서비스 구현 네이버 뉴스 기사를 크롤링해 데이터를 수집하고 수집된 기사 내용을 통해 자연어 처리를 합니다. 크롤링 할 기사를 선택하고 개발자 모드로 html 소스를 분석해 봅니다. 네이버 기사 본문 시작점입니다. package poly.service; public interface INewsCollectService { //네이버 뉴스 기사 크롤링으로 가져오기 String doNaverNewsContents(String url) throws Exception; } INewsCollectService package poly.service.impl; import org.apache.log4j.Logger; import org.jsoup.Jsoup; import org.jsoup.nodes... 2021. 11. 20. [Spring Framework] : 자연어처리 자연어처리? - 내가 말 하고 있는 단어, 타이핑하는 글 등을 컴퓨터가 인식할 수 있게 하는 걸 자연어처리라고 합니다. - 자연어처리는 한국어로 사용하기엔 어렵습니다. - 한국어 문장을 입력받아 한국어 어휘 형태 및 의미 와 문장의 구조 및 의미를 분석하여 언어를 이해하는 기술입니다. - 형태소 분석은 언어 분석 기술 중 하나로 문장을 분해가능한 의미 최소단위로 분리하고 품사를 태깅합니다. - 형태소 분석과 명사 분석은 가장 보편적으로 많이 사용된 분석 기술입니다. - 언어 분석은 반드시 데이터사전이 필요하며, 데이터사전은 꾸준히 학습시켜야 합니다. - 자연어처리는 주로 영어로 되어 있는데 영문학적으로 구조가 명확히 분류되어 있어서 (형태가 명확 1형식, 2형식, 품사가 명확하다. 띄어쓰기가 정확하다.).. 2021. 11. 20. 이전 1 다음 반응형
