[Hadoop] : 하둡 NameNode 포멧 - Master Server

하둡에 저장되는 데이터는 네임노드와 데이터노드에 저장한다.

 

네임노드는 데이터노드에 저장되는 위치 등 메타 정보를 저장하고 실제 데이터는 데이터 노드에 저장한다.

하둡에 데이터를 저장하기 위해 반드시 네임노드를 하둡분산파일시스템에 맞게 저장 방식을 포멧해야 한다.

중요한 점은 꼭! ⭐ hadoop 계정으로 실행 ⭐ 해야 한다.

 

root 계정으로 실행하면 네임 노드 폴더를 삭제하고 다시 네임 노드로 포멧해야 한다.

• root로 실행한 경우 해결법

  cd /
  
  chown -R hadoop:hadoop /data
  

  권한을 다 바꿔주고 하둡을 껐다가 키면된다.

  ---

• 아래 코드를 모든 Server에서 실행해야 한다. 마스터, 슬레이브1, 슬레이브2 등..

아래 코드는 Master Server에서만 진행한다.

 

root 계정에서 hadoop 계정으로 로그인한다.

su - hadoop

 

계정이 hadoop으로 바뀌었는지 꼭 체크한다.

 

네임 노드를 포멧한다.

hdfs namenode -format

 

빨간 박스를 확인해 보면 네임 노드 포멧을 완료한 것을 알 수 있다.

 

네임 노드 정보는 dfs/name 디렉토리에 저장된다.

dfs 디렉토리는 네임 노드, 데이터 노드, 2차 네임 노드가 저장된다.

cd /data/hadoop/data/

ll

 

dfs 폴더가 있을 것이다. 하둡 데이터가 저장되는 폴더이다.

생성된 네임 노드 데이터 구조를 확인할 수 있다.

cd dfs/namenode/current/

ll

 

이렇게 네임 노드 포멧을 마친다.

hadoop 종료

위 코드를 모든 노드에 다 쳐야한다.

 

https://ohju96.notion.site/NameNode-Master-Server-215d4a66e06945a78df854428e48f27d

하둡 NameNode 포멧 - Master Server