본문 바로가기

분류 전체보기1065

[MongoDB] : CentOS에서 MongoDB 설치 및 셋팅하기 yum 레포지토리 생성을 통한 설치와 tar.gz 압축된 파일 설치가 있다. yum을 통한 설치가 환경 변수 설정이나 관리가 수월해서 추천한다. MongoDB는 CentOS에서 기본적으로 제공하는 레포지토리에 존재하지 않아 yum install 명령어를 사용해도 레포지토리에 존재하지 않아 설치가 불가능하다. 때문에 CentOS에서 사용 가능한 레포지토리를 생성해야 한다. Ubuntu에서는 따로 레포지토리를 생성하지 않아도 된다. vi /etc/yum.repos.d/mongodb-org-5.0.repo vi 편집기로 레포지토리 정보를 생성해준다. 아래 내용을 입력해 준다. [mongodb-org-5.0] name=MongoDB Repository baseurl=https://repo.mongodb.org/.. 2022. 4. 22.

[MongoDB] : MongoDB란? MongoDB는 NoSQL에서 가장 많이 사용되는 데이터베이스이다. 높은 수준의 Java 기반의 API를 제공하고 Spring Framework와 연동이 가능하다. MongoDB 버전은 Community Server와 Enterprise Server 가 있다. Enterprise Server 의 추가 기능은 아래와 같다. In-memory Storage Engine : RedisDB랑 비슷하게 데이터 저장소를 메모리로 사용 가능하다. Encrypted Storage Engine : 저장된 데이터를 암호화 할 수 있다. Advanced Security : LDAP, Kerveros를 통한 접근 제어가 가능하다. MongoDB의 4.xx 버전의 변화는 아래와 같다. ACID(원자성, 일관성, 고립성, 지속성.. 2022. 4. 22.

[TIL] : 177 일일 배움을 위한 Today I Learned ! 소경관 카카오 주소 API를 가져와서 적용했다. 너무 잘 만들어져서 내가 그닥 터치할 게 없었다. 2022.04.21 - [Project/소경관] - [소경관] : 카카오 주소 API 사용하기 Hadoop 하둡 본격 실습 전에 미리 셋팅을 해뒀다. 서버는 총 3대이다. 셋팅 모두 마치고 리소스매니저까지 띄우고 종료했다. 2022.04.21 - [Data Base/Hadoop] - [Hadoop] : CentOS에 하둡 설치하기 2022.04.21 - [Data Base/Hadoop] - [Hadoop] : 하둡 디렉토리 구조 파악하기 2022.04.21 - [Data Base/Hadoop] - [Hadoop] : 하둡 저장 디렉토리 생성 및 권한 부여하기.. 2022. 4. 21.

[소경관] : 카카오 주소 API 사용하기 먼저, 카카오 주소 찾기 API를 제공하는 페이지에 접속한다. Daum 우편번호 서비스 Daum 우편번호 서비스 우편번호 검색과 도로명 주소 입력 기능을 너무 간단하게 적용할 수 있는 방법. Daum 우편번호 서비스를 이용해보세요. 어느 사이트에서나 무료로 제약없이 사용 가능하답니다. postcode.map.daum.net 설명이 워낙 잘 되어 있어서 사실 딱히 로직 정리가 필요하지는 않다. 팝업을 이용하여 도로명 주소와 지번 주소 모두 보여주기 탭에서 예제 코보기 눌러준다. 이렇게 코드를 알아서 쫙 준다. 프로젝트 VIew 템플릿에 test.html을 만들어주고 복붙해서 돌려본다. 우편번호, 도로명주소, 지번주소, 상세주소, 참고항목 등의 값을 받을 수 있다. 이 중에서 나는 도로명주소만 필요하다. 주.. 2022. 4. 21.

[Hadoop] : 하둡 동작 테스트 - Master Server 📌 마스터 서버에서 hadoop 사용자로 해야 한다. touchz로 0바이트 크기의 파일을 업로드한다. hadoop fs -touchz /test hadoop fs -ls / 이렇게 나온다. 하둡은 시작 완료 되는데 시간이 좀 걸린다 때문에 아래 명령어로 하둡의 데몬이 모두 실행되었는지 확인하고 싶다. 간단한 확인 방법은 하둡의 네임 노드 데몬은 시작 시간이 가장 오래걸리기 때문에 9000 포트가 실행되면 완료인 것을 알 수 있다. netstat -ntlp | grep java 만약 하둡 장애가 발생하면 실행 로그를 봐야한다. 네임노드 로그와 데이터 노드 로그를 보면 된다. 하둡에 사용되는 리소스를 관리하기 위해 하둡 리소스 매니저를 사용하는데 웹 기반으로 동작한다. 아래 포트 번호를 입력해서 접속해 본.. 2022. 4. 21.

[Hadoop] : 하둡 시작할 때 실행되는 데몬들 jps 명령어를 사용한다. 마스터 서버에서 hadoop 사용자로 시작한다. jps 아래와 같이 나오게 된다. 슬레이브 서버 1에서 root 사용자로 시작한다. jps 슬레이브 서버 2에서 root 사용자로 시작한다. jps 각 슬레이브 서버에 아래와 같이 나와야 한다. 만약, 아래와 같이 나오지 않으면 ssh Key 오류를 의심해 보자. https://ohju96.notion.site/8d7cbf11f9744820b9d9e8aaa9e28818 하둡 시작할 때 실행되는 데몬들 jps 명령어를 사용한다. ohju96.notion.site 2022. 4. 21.

[Hadoop] : 하둡 시작 - Master Server 마스터 서버에서 hadoop 계정으로 실행한다. sbin 디렉토리의 start-all.sh를 실행한다. cd /usr/local/hadoop/sbin/ ./start-all.sh https://ohju96.notion.site/Master-Server-6b396795ee6a490abb321f7a5fabfa85 하둡 시작 - Master Server 마스터 서버에서 hadoop 계정으로 실행한다. ohju96.notion.site 2022. 4. 21.

[Hadoop] : 하둡 방화벽 포트 열기 - Slave Server 2 마스터 서버는 데이터를 저장하기 위해 슬레이브 서버2의 데이터 노드에 파일을 전송한다. 데이터 노드가 사용하는 포틍니 50010번 포트의 방화벽을 해제해야 한다. 아래 코드는 슬레이브 서버 2에만 적용한다. sudo firewall-cmd --permanent --zone=public --add-port=50010/tcp sudo firewall-cmd --reload sudo firewall-cmd --list-all 적용을 확인한다. 2022. 4. 21.

[Hadoop] : 하둡 방화벽 포트 열기 - Slave Server 1 마스터 서버는 데이터를 저장하기 위해 슬레이브 서버 1의 데이터 노드에 파일을 전송한다. root 사용자에서 시작한다. 이 코드는 슬레이브 서버1, 2 중에서 슬레이브 서버 1에만 적용한다. (아래서 슬레이브 서버 2도 똑같이 하긴 한다. ) master Server, Slave Server1, 2 설정하기 master Server, Slave Server1, 2 설정하기 마스터 서버, 슬레이브1,2 서버의 호스트 네임을 변경해준다. www.notion.so 데이터 노드가 사용하는 포트인 50010번 포트의 방화벽을 해제해야 한다. sudo firewall-cmd --permanent --zone=public --add-port=50010/tcp sudo firewall-cmd --reload sudo .. 2022. 4. 21.

[Hadoop] : 하둡 방화벽 포트 열기 - MasterNode 슬레이브 서버는 마스터 노드의 네임 노드와 통신하며 데이터를 저장한다. 네임 노드 포트는 9000번 포트로 방화벽을 해제해야 한다. 하둡 관리를 위한 리소스매니저는 8088포트로 이것도 방화벽을 해제해 줘야 한다. 중요한 점은 꼭! ⭐ hadoop 계정으로 실행 ⭐ 해야 한다. 리소스 매니저 8088 방화벽 포트와 네임 노드 9000 방화벽 포트를 열고 방화벽을 적용하고 방화벽을 확인한다. sudo firewall-cmd --permanent --zone=public --add-port=8088/tcp sudo firewall-cmd --permanent --zone=public --add-port=9000/tcp sudo firewall-cmd --reload sudo firewall-cmd --lis.. 2022. 4. 21.

[Hadoop] : 하둡 NameNode 포멧 - Master Server 하둡에 저장되는 데이터는 네임노드와 데이터노드에 저장한다. 네임노드는 데이터노드에 저장되는 위치 등 메타 정보를 저장하고 실제 데이터는 데이터 노드에 저장한다. 하둡에 데이터를 저장하기 위해 반드시 네임노드를 하둡분산파일시스템에 맞게 저장 방식을 포멧해야 한다. 중요한 점은 꼭! ⭐ hadoop 계정으로 실행 ⭐ 해야 한다. root 계정으로 실행하면 네임 노드 폴더를 삭제하고 다시 네임 노드로 포멧해야 한다. root로 실행한 경우 해결법 cd / chown -R hadoop:hadoop /data 권한을 다 바꿔주고 하둡을 껐다가 키면된다. 아래 코드를 모든 Server에서 실행해야 한다. 마스터, 슬레이브1, 슬레이브2 등.. 아래 코드는 Master Server에서만 진행한다. root 계정에서 .. 2022. 4. 21.

[Hadoop] : 하둡 Slave Server 설정 - Masger Server 마스터 서버에서 사용할 데이터 노드 역할을 수행하는 서버들을 설정한다. 아래 경로로 들어간다. cd /usr/local/hadoop/etc/hadoop 편집기를 열어준다. vi slaves or vi /usr/local/hadoop/etc/hadoop/slaves 마스터 노드도 데이터 노드 역할을 수행하도록 설정하여 데이터 3중화 수행한다. 하둡은 데이터가 저장되면 기본 3중화를 실행한다. master slave1 slave2 이렇게 적어준다. 2022. 4. 21.

[Hadoop] : 하둡 Slave Server 1, 2 설정하기 슬레이브 서버 1,2 모두 같게 적용한다. hadoop-env.sh 설정 파일 위치로 이동한다. cd /usr/local/hadoop/etc/hadoop 편집 모드를 실행한다. vi hadoop-env.sh 이 코드를 수정해야 한다. 위 빨간 박스를 아래 코드로 바꿔준다. export JAVA_HOME=/usr/local/java 아래로 또 내려보면 이렇게 주석이 처리된 부분을 수정해 줘야한다. 위 빨간 박스를 아래 코드로 바꿔준다. export HADOOP_LOG_DIR=/data/hadoop/log 이렇게 바꿔 넣어주면 된다. 이제 wq 명령어로 저장하고 편집 모드를 종료한다. core-site.xml 도 편집 모드를 열어 수정한다. vi core-site.xml 아래 코드를 넣어준다. 위에서부터 하.. 2022. 4. 21.

[Hadoop] : 하둡 Master Server 설정하기 마스터 서버와 슬레이브 서버1,2 환경 설정은 거의 동일하지만 마스터 서버는 네임 노드를 가지고 있다. 따라서 마스터 서버는 네임 노드 설정 관련 내용을 포함하고 슬레이브 서버 1,2는 네임 노드를 설정하지 않는다. 마스터 서버에만 아래 설정을 진행한다. hadoop-env.sh 에서 자바 설치 위치를 설정한다. 하둡 실행의 전반적인 설정이다. cd /usr/local/hadoop/etc/hadoop ll | grep hadoop-env.sh vi hadoop-env.sh vi 편집기로 접속해 아래 내용을 수정해준다. 위 빨간 박스 내용을 아래 코드로 바꿔준다. export JAVA_HOME=/usr/local/java 아래로 더 내리면 아래 처럼 주석 처리가 된 부분이 있다. 하둡에서 발생되는 로그 위.. 2022. 4. 21.

[Hadoop] : 하둡 저장 디렉토리 생성 및 권한 부여하기 하둡 데이터 저장 디렉토리와 로그 저장 디렉토리를 생성해 준다. 마스터 서버와 슬레이브 서버1,2 모두 다 생성을 한다. mkdir -p /data/hadoop/data mkdir -p /data/hadoop/log hadoop 계정이 사용할 수 있게 권한을 부여한다. chown -R hadoop:hadoop /data/ 아래 경로에 가서 정상적으로 생성이 되었는지 확인한다. cd /data/hadoop ll https://ohju96.notion.site/4f290f30ad4a4233be715b277d67be03 하둡 저장 디렉토리 생성 및 권한 부여 하둡 데이터 저장 디렉토리와 로그 저장 디렉토리를 생성해 준다. ohju96.notion.site 2022. 4. 21.

[Hadoop] : 하둡 디렉토리 구조 파악하기 아래 노션 페이지에서 확인할 수 있다. https://ohju96.notion.site/Hadoop-610a079e2186416ca1bb92f2d3fa8823 Hadoop 디렉토리 구조 A new tool for teams & individuals that blends everyday work apps into one. ohju96.notion.site 2022. 4. 21.

[Hadoop] : CentOS에 하둡 설치하기 하둡 2.10.x 버전 특징이 있다. 필수 핵심 코어가 증가했다. 변경 전에는 맵리듀스, 하둡분산파일시스템, 변경 후에는 맵리듀스, 하둡분산파일시스템, 얀 YARN(얀)의 특징은 잡 스케줄링과 클러스터 자원 관리이다. 리눅스 파일은 전송 후 반드시 크기를 확인한다. 네트워크 문제로 가끔 100% 완벽하게 파일 전송이 안 되는 경우가 있기 때문이다. 하둡 설치는 root 계정을 통해 설치하는 것이 편리해 root 접속해 파일 업로드 및 설치한다. 마스터 서버, 슬레이브 서버1,2 모두 다 업로드한다. su - cd /usr/local/ rz hadoop-2.10.1.tar.gz 파일이 정상적으로 들어온 것을 확인한다. 이때, Java는 7~8버전이 설치되어 있어야 한다. Java8 버전을 추천한다. jav.. 2022. 4. 21.

[TIL] : 176 일일 배움을 위한 Today I Learned ! 소경관 - Hadoop 하둡 실습 셋팅을 진행하고 있다. Notion에서 먼저 체크하고 실행하고 정상 동작을 확인하고 넘어가고 있다. 2022.04.20 - [Data Base/Hadoop] - [Hadoop] : 하둡을 위한 CentOS 설치 및 환경 셋팅 2022.04.20 - [Data Base/Hadoop] - [Hadoop] : master Server, Slave Server1, 2 설정하기 2022.04.20 - [Data Base/Hadoop] - [Hadoop] : 하둡 계정 생성하고 권한 주기 2022.04.20 - [Data Base/Hadoop] - [Hadoop] : 하둡 외부 접속 및 SSH 생성 2022.04.20 - [Data.. 2022. 4. 20.

[Hadoop] : CentOS에 Java 설치하기 이제 서버 3대 전부 다 Java를 설치한다. Java는 반드시 1.8 버전을 다운로드한다. 리눅스 64비트 버전을 다운로드하면 된다. Download the Latest Java LTS Free 다운 받은 java를 서버로 옮겨주기 위해 2가지 방법이 있다. 첫 번째 방법이다. 다운로드 후 WinSCP로 local에서 마스터 서버로 옮겨주었다. 경로는 /usr/local이다. 두 번째 방법이다. cd /usr/local/ rz rz로 java를 가져오면 된다. putty에서는 안 된다고 하는 것 같다. xShell을 사용하자.. 파일을 받아 왔으면 다음을 진행한다. 자바 파일 압축을 해제한다. root 사용자에서 입력하자. tar -zxvf jdk-8u201-linux-x64.tar.gz jdk1.8... 2022. 4. 20.

[Hadoop] : Master Server에서 Slave Server로 SSH 접속하기 파일 전달을 완전히 마쳤으면 이제 마스터 서버에서 슬레이브 서버로 SSH 접속을 한다. ssh slave1 ssh slave2 ssh master ssh 호스트네임으로 접속할 수 있다. 마스터 서버에서 hadoop 계정으로 SSH 통신을 통해 슬레이브 서버1, 2에 접속이 가능해야 한다. 그래야 마스터 서버가 슬레이브 서버1, 2에 하둡의 데이터 노드 데몬을 실행 및 중지 명령을 내릴 수 있게 된다. 2022. 4. 20.

[Hadoop] : 하둡 외부 접속 및 SSH 생성 모든 서버를 xShell을 통해 SSH 접속을 한다. ifconfig 마스터 서버 SSH키를 생성해야 한다. 마스터 서버는 데이터 노드 역항르 하는 슬레이브 서버에 SSH 접속을 통해 데이터 노드 시작 등 역할을 수행한다. 마스터 서버에서 슬레이브 서버 접속이 가능하도록 SSH 통신에 사용할 키 교환을 수행해야 한다. 반대로 슬레이브 서버에서는 마스터 서버로 접속이 필요하지 않다. 키 수정은 상당히 번거로워서 절대 오타를 내면 안된다. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa; \\ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys; \\ chmod 0600 ~/.ssh/authorized_keys 생성된 키 권한은 600으로 설정한다... 2022. 4. 20.

이전 1 ··· 6 7 8 9 10 11 12 ··· 51 다음

티스토리툴바