본문 바로가기
반응형

전체 글1065

[Hadoop] : Combiner, 컴바이너 Mapper는 많은 양의 데이터를 자주 생성한다. Mapper에서 생성된 데이터는 반드시 Reduce를 거쳐 처리되는데 Mapper에서 생성되는 데이터가 많을 수록 네트워크 부하는 증가된다. 이때, 네트워크 부하를 줄여 처리 성능을 향상시키기 위해서 컴바이너를 사용한다. 컴바이너는 보통 미니 리듀서(mini-Reducer)라고 보면 된다. Mapper 결과를 그룹화하여 다시 처리하는데 컴바이너로부터 나온 결과를 Reduce에서 전달한다. Combiner는 Reducer와 동일하게 사용한다. Key와 List 형태의 값을 가지고 출력 결과는 Key와 value의 쌍으로 구성된다. 보통 Reducer의 메소드를 활용하여 사용한다. 하지만, 컴바이너는 모든 맵리듀스 구성에 사용 가능한 것은 아니다. 합계와 같.. 2022. 5. 10.
[TIL] : 195 일일 배움을 위한 Today I Learned ! 소경관 직접 등록 기능을 추가했다. 아직 디자인도 넣지 않고 값을 받아 저장하는 것만 확인하고 종료했다. 몇 가지 수정 사항이 남아있고, 이미지 인식 처리도 이제 슬슬 해야한다. 2022.05.09 - [Project/소경관] - [소경관] : 직접 차량 등록하기 기능 추가 2022. 5. 9.
[소경관] : 직접 차량 등록하기 기능 추가 경비원이 관리하는 주민을 등록하는 방법 중 한 가지인 직접 등록하기를 구현한다. 아직 몇 가지 구현이 덜 된 부분이 있지만 일단 핵심 로직은 완성되었기 때문에 로직을 정리한다. 이름 연락처 차량 번호 상세 주소 버튼 View 코드는 위와 같이 해주었다. 일단 꾸미지 않고 값을 받아오는 것에 집중했다. package project.SPM.vo; import lombok.Data; import javax.validation.constraints.NotNull; @Data public class AddCarVo { @NotNull private String name; @NotNull private String phoneNumber; @NotNull private String carNumber; @NotNull.. 2022. 5. 9.
[TIL] : 194 일일 배움을 위한 Today I Learned ! 알고리즘 알고리즘 나동빈 유튜버 강의를 보고 있다. 그리디부터 천천히 알려줘서 좋다. 조금 더 공부해 보고 책을 추가로 구매할지 생각해 봐야겠다. 하둡 ResultCount2를 완성하고 있다. 오늘은 드라이버 부분을 코딩했다. 깃허브에서 확인할 수 있다. 2022. 5. 8.
[TIL] : 193 일일 배움을 위한 Today I Learned ! 소경관 이제 프로젝트를 다시 시작한다. 시험을 잘 보지는 못 했지만 어쩄든 끝나서 속시 시원하다. 오늘은 poi 사용하던 것을 마무리 시켰다. 2022.05.07 - [Project/소경관] - [소경관] : Spring Boot Apache poi 사용해서 excel 읽고, MongoDB에 저장하기 스터디 연장된 스터디를 진행하고 있는 중이다. 남은 5월도 잘 마무리 해야 한다. 2022.05.07 - [발전소/동아리 및 스터디] - [코딩 스터디 2기] : 10주차 2022. 5. 7.
[코딩 스터디 2기] : 10주차 원래 2기 스터디는 9회차가 마무리였지만 모든 쌤들이 연장해서 하실 수 있다고 하셔서 한 달 더 연장하기로 했다. 4월 마무리 될 스터디가 5월까지 연장되었다. 이제 시험이 끝나서 프로젝트 진도를 나간다. 오늘 발표에서는 저번에 마지막으로 프로젝트 떄 건드렸던 poi 라이브러리를 사용한 excel 읽어오기를 주제로 가져왔다. 위에서 발표한 내용은 완성본이 아니였기 때문에 스터디 시간에는 엑셀 저장하기 완성을 하는데 시간을 썼다. 앞으로 스터디 시간에는 프로젝트를 하거나, 알고리즘, CS지식 공부를 하게 될 것 같다. 2022. 5. 7.
[소경관] : Spring Boot Apache poi 사용해서 excel 읽고, MongoDB에 저장하기 implementation 'org.ahache.poi:poi:4.1.2' implementation 'org.apache.poi:poi-ooxml:4.1.2' 의존성을 추가한다. 첨부파일 input의 type을 file로 설정하고 파일을 받아온다. @PostMapping("/csv") public String addCsvCar(@RequestParam(value = "fileUpload")MultipartFile mf, Model model) throws Exception{ iCarService.CreateCar(mf); return "carManagement/carManagement"; } 더보기 이전 복잡했던 CarController.java import org.apache.poi.openxml4j.. 2022. 5. 7.
[TIL] : 192 일일 배움을 위한 Today I Learned ! 알고리즘 프로그래머스 프린터 문제를 풀고 commit 해두었다. -- 최근에 너무 달리다 보니 약간 번아웃이 온 것 같다. 약간 휴식을 가지고 운동도 끊어서 다니면서 체력도 좀 길러야겠다. 매일 앉아서 코딩만 하다 보니 아무래도 무기력해지는 게 있는 것 같다. 정적인 직업을 택했으니 동적인 취미를 갖도록 노력해야겠다는 생각이 든다. 2022. 5. 6.
[TIL] : 191 일일 배움을 위한 Today I Learned ! 알고리즘 파이썬으로 이분 탐색 알고리즘을 풀어봤다. 깃 허브에 풀이를 올렸다. 정보처리기사 정리 파일을 보고 있는 중이다. -- 7일 이후에 아마 프로젝트를 본격 시작하게 될 것 같다. 2022. 5. 5.
[TIL] : 190 일일 배움을 위한 Today I Learned ! 알고리즘 파이썬으로 알고리즘 한 문제를 풀었다. 2022.05.04 - [Algorithm/파이썬 알고리즘 문제풀이 (코딩테스트대비)] - [파이썬 알고리즘 문제풀이] : 이분 검색 정보처리기사 수제비 카페를 활용해서 공부하고 있는 중이다. 2022. 5. 4.
[파이썬 알고리즘 문제풀이] : 이분 검색 문제 n개의 숫자가 주어진다. n개의 수를 오름차순 정렬하고 n개의 수 중 한 개의 수인 m이 주어지면 이분 검색으로 m이 정렬된 상태에서 몇 번째에 있는지 구하라. 해결 주어지는 수의 총 개수는 n 정렬하고 몇 번째에 있는지 찾아야 하는 수는 m n의 수 만큼 주어지는 랜덤 수는 a --- m은 a에 꼭 포함되어 있다. 조건을 먼저 잘 생각해 본다. a.sort() 정렬된 상태에서 m이 몇 번째에 존재하는지 찾아야 한다. 주어지는 수들이 들어있는 list인 a를을 일단 정렬한다. lt = 0 rt = n - 1 처음(lt)과 끝(rt)를 선언해 준다. while lt m: rt = mid - 1 else: lt = mid + 1 a[mid]가 m과 같으면 값을 출력하고 브레이크를 걸어준다. n, m =.. 2022. 5. 4.
[TIL] : 189 일일 배움을 위한 Today I Learned ! Redis 레디스를 사용하면서 값을 불러오고, 저장하고 리스트에 담는 프로젝트를 만들었다. 소스 코드는 깃 허브를 참고하면 된다. Hadoop 하둡 프로그래밍을 공부하고 있다. 분산 처리하는 간단한 예제 몇 가지를 만들어 봤다. 2022.05.03 - [Data Base/Hadoop] - [Hadoop] : ToolRunner 사용하기 2022.05.03 - [Data Base/Hadoop] - [Hadoop] : 맵리듀스 제어 함수, setup, cleanup 2022.05.03 - [Data Base/Hadoop] - [Hadoop] : URL 전송 결과가 성공인 요청 분석하기 2022. 5. 3.
[Hadoop] : URL 전송 결과가 성공인 요청 분석하기 하둡의 로그는 log4j를 사용한다. access_log는 서버에 요청된 모든 url을 기록한다. 전송 성공 : 200 전송 실패 : 200이 아닌 모든 값 400 경우 URL을 찾을 수 없다는 오류 setup, cleanup 함수를 활용한다. package hadoop.MapReduce.success; import hadoop.MapReduce.tool.WordCount2; import hadoop.MapReduce.tool.WordCount2Mapper; import hadoop.MapReduce.tool.WordCount2Reducer; import lombok.extern.log4j.Log4j; import org.apache.hadoop.conf.Configuration; import org.a.. 2022. 5. 3.
[Hadoop] : 맵리듀스 제어 함수, setup, cleanup setup 함수 환경 설정 값을 Mapper와 Reducer에 설정하기 위한 함수 작업이 시작되기 전에 실행 Mapper or Reducer에 setup 함수 오버라이딩 일반적으로 Mapper에 많이 사용 cleanup 함수 사용 설정된 환경 설정 값을 초기화하기 위해 사용 Mapper or Reducer에 setup 함수 오버라이딩 작업이 완료된 후 실행 함수 실행 후 사용된 메모리에 환경 설정 값들이 삭제되기 때문에 실제로 사용하지는 않는다. 2022. 5. 3.
[Hadoop] : ToolRunner 사용하기 툴러너는 맵리듀스에 필요한 사용자 정의 변수 등을 활용하기 위해 사용한다. 맵리듀스 전체 전역 변수 활용에 사용. 툴러너를 통해 정의한 Configuration 객체는 Mapper, Reducer 객체에서도 사용이 가능하다. Mapper와 Reducer는 setup과 cleanup 함수를 통해 활용 툴러너? 기존 드라이버 파일에 환경설정 관련 내용을 감싸서 처리한다. 기존 드라이버 파일에 환경설정 관련 내용을 감싸서 처리한다. 툴러너 관련 import 자바 객체 import org.apache.hadoop.conf.Configured; (클래스) import org.apache.hadoop.conf.Configuration; (클래스) import org.apache.hadoop.util.Tool; (인.. 2022. 5. 3.
[TIL] : 188 일일 배움을 위한 Today I Learned ! django 장고 프로젝트를 생성하고 테스트하고 있다. 주로 Spring을 하긴 하지만 Python에도 흥미가 있어서 알아두고 싶다. flask는 간단하게 Spring과 통신할 때 사용해 봤으니 이번에는 django를 조금 다뤄볼 예정이다. 2022. 5. 2.
[TIL] : 187 일일 배움을 위한 Today I Learned ! 정보처리기사 책으로 공부하고 있다. 수제비 카페도 활용한다. Django 연습할 것을 찾아보고 있는 중이다. 깃허브에서 프로젝트 셋팅을 볼 수 있다. 2022. 5. 1.
[TIL] : 186 일일 배움을 위한 Today I Learned ! 소경관 프로젝트를 조금 진행했다. 정보처리기사 공부를 하기 전에 간단하게 poi 라이브러리로 엑셀을 읽어왔다. 2022.04.30 - [Project/소경관] - [소경관] : Apache poi 라이브러리를 사용하여 View에서 Excel 파일 읽어 저장하기 스터디 스터디도 진행했다. 오늘이 마지막 스터디인데 쌤들 모두 한 달은 연장하고 싶어 하셔서 연장하기로 했다. 2022.04.30 - [발전소/동아리 및 스터디] - [코딩 스터디 2기] : 9주차 2022. 4. 30.
[소경관] : Apache poi 라이브러리를 사용하여 View에서 Excel 파일 읽어 저장하기 apache poi를 사용해서 View에서 엑셀 파일을 첨부받아 Controller로 가져와 리스트에 담아봤다. implementation 'org.ahache.poi:poi:4.1.2' implementation 'org.apache.poi:poi-ooxml:4.1.2' 의존성을 추가한다. 첨부파일 input의 type을 file로 설정하고 파일을 받아온다. import org.apache.poi.openxml4j.opc.OPCPackage; import org.apache.poi.xssf.usermodel.XSSFCell; import org.apache.poi.xssf.usermodel.XSSFRow; import org.apache.poi.xssf.usermodel.XSSFSheet; import.. 2022. 4. 30.
[회고] : 22년 4월 이야기 TO-DO-List를 참고하여 기억을 되살려본다. 4월을 회고하기 전에 잠깐 생각해 보면 사실, 3월, 4월 이런거 구분이 없다. 시간이 지나다 보면 벌써 4월?.. 벌써 5월?.. 이렇게 되는 것 같다. 이번 4월의 회고를 작성하기 위해 내가 무엇을 했는지 떠올리기 어려워 TO-DO List를 참고하여 기억을 되살려본다. 결과는 실패.. 4월의 시작, CI/CD에 빠져서 Jenkins를 적용해 보려고 노렸했었다. 결과는 실패.. 이유는 따로 없다. 구글을 찾아보면서 했는데 Jenkins 설정까지는 성공 했으나, 배포가 잘 안 되지 않았던 것 같다. 아직도 CI/CD를 해보고 싶은 마음은 사라지지 않았다. 조만간 어느 정도 프로젝트 기능을 구현하면 다시 도전을 할 것이다. 이번에는 조금 달리 DB를 다루.. 2022. 4. 29.
[TIL] : 185 일일 배움을 위한 Today I Learned ! 프로그래머스 카펫 문제를 풀어봤다. 수학적 공식을 대입해서 풀어야 하는 문제였는데 이 외에도 근의 공식을 이용해서 풀어본 사람도 있다. 2022.04.29 - [Algorithm/프로그래머스] - [프로그래머스] : Python,파이썬 카펫 풀이 정보처리기사 책으로 기사 공부를 하고 있다. 시험이 며칠 안 남아서 공부를 해야 한다. 2022. 4. 29.
반응형

티스토리툴바