[Hadoop] : 하둡 Slave Server 1, 2 설정하기

슬레이브 서버 1,2 모두 같게 적용한다.

hadoop-env.sh 설정 파일 위치로 이동한다.

cd /usr/local/hadoop/etc/hadoop

 

편집 모드를 실행한다.

vi hadoop-env.sh

 

이 코드를 수정해야 한다.

위 빨간 박스를 아래 코드로 바꿔준다.

export JAVA_HOME=/usr/local/java

 

아래로 또 내려보면

이렇게 주석이 처리된 부분을 수정해 줘야한다.

위 빨간 박스를 아래 코드로 바꿔준다.

export HADOOP_LOG_DIR=/data/hadoop/log

 

이렇게 바꿔 넣어주면 된다.

이제 wq 명령어로 저장하고 편집 모드를 종료한다.

core-site.xml 도 편집 모드를 열어 수정한다.

vi core-site.xml

 

아래 코드를 넣어준다.

위에서부터 하둡을 제어하기 위한 데몬(네임 노드)사용 포트 설정, 하둡에서 발생되는 데이터 저장 폴더 위치 설정, 세컨트 네임 노드 데이터 저장 위치 설정이다.

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/data</value>
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>${hadoop.tmp.dir}/dfs/namesecondary</value>
  </property>
</configuration>

 

최종으로 이렇게 넣어주면 된다.

hdfs-site.xml 설정을 해준다.

편집기로 열어준다.

vi hdfs-site.xml

 

아래 코드를 추가한다.

데이터 노드 데이터 저장 폴더 설정이다.

슬레이브 서버는 데이터 노드 역할만 수행하기 때문에 데이터 노드 저장 위치에 대한 정보를 설정해야 한다.

<configuration>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:${hadoop.tmp.dir}/dfs/datanode</value>
  </property>
</configuration>

 

아래와 같이 되야한다.

mapred-site.xml 역시 설정을 해야 한다.

템플릿 파일을 이용한다.

mv mapred-site.xml.template mapred-site.xml

 

편집기로 열어준다.

vi mapred-site.xml

 

아래 코드를 추가한다.

위에서부터 맵리듀스를 실행하기 위한 데몬 설정과 맵리듀스 환경 변수를 설정한다.

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
</configuration>

 

아래와 같이 코드를 적어주고 wq 로 저장한다.

yarn-site.xml도 설정을 해준다.

vi yarn-site.xml

 

아래 코드를 추가한다.

위에서부터 맵리듀스 셔플 설정과 사용한 변수 설정이다.

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>

 

아래와 같이 코드를 넣어준다.

yarn-daemon.sh Yarn 로그 설정도 해준다.

아래 경로로 이동한다.

cd /usr/local/hadoop/sbin

 

편집기를 열어준다.

vi yarn-daemon.sh

 

아래로 내려보면 이 부분을 수정한다.

아래 코드를 넣어준다.

YARN_LOG_DIR=/data/hadoop/log
export YARN_LOG_DIR

 

주석을 지우고 이렇게 넣어주면 된다.

이렇게 슬레이브 서버 1,2 설정을 마친다.

 

그림과 같이 확인을 원하면 아래 페이지에서 확인하자.

https://ohju96.notion.site/Slave-Server-1-2-1b31c2e499bd462fb2311fb5e8bfdbff

하둡 Slave Server 1, 2 설정하기