[Hadoop] : 하둡 Master Server 설정하기

마스터 서버와 슬레이브 서버1,2 환경 설정은 거의 동일하지만 마스터 서버는 네임 노드를 가지고 있다.

따라서 마스터 서버는 네임 노드 설정 관련 내용을 포함하고 슬레이브 서버 1,2는 네임 노드를 설정하지 않는다.

마스터 서버에만 아래 설정을 진행한다.

 

hadoop-env.sh 에서 자바 설치 위치를 설정한다.

 

하둡 실행의 전반적인 설정이다.

cd /usr/local/hadoop/etc/hadoop

ll | grep hadoop-env.sh

vi hadoop-env.sh

 

vi 편집기로 접속해 아래 내용을 수정해준다.

 

위 빨간 박스 내용을 아래 코드로 바꿔준다.

export JAVA_HOME=/usr/local/java

아래로 더 내리면 아래 처럼 주석 처리가 된 부분이 있다.

하둡에서 발생되는 로그 위치 설정이다.

 

위 빨간 박스를 아래 코드로 바꿔준다.

export HADOOP_LOG_DIR=/data/hadoop/log

 

이제 wq 로 저장하고 나온다.

 

core-site.xml 도 설정해준다.

vi core-site.xml

 

<configuration> </configuration> 사이에 아래 코드를 추가한다.

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/data</value>
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>${hadoop.tmp.dir}/dfs/namesecondary</value>
  </property>
</configuration>

 

이렇게 코드를 넣어준다.

 

이제 wq 로 저장하고 나온다.

 

hdfs-site.xml 도 설정한다.

vi hdfs-site.xml

 

아래 코드를 추가한다.

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:${hadoop.tmp.dir}/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:${hadoop.tmp.dir}/dfs/datanode</value>
  </property>
</configuration>

아래와 같이 만들어 줘야한다.

마스터 서버는 네임 노드 역할을 수행하기 때문에 네임 노드 저장 위치에 대한 정보를 설정한다.

mapred-site.xml 도 설정을 해준다.

 

템플릿 파일을 이용한다. 먼저 템플릿 파일명을 변경한다.

mv mapred-site.xml.template mapred-site.xml

 

조회하고 편집을 시작한다.

ll | grep mapred-site.xml

vi mapred-site.xml

아래 내용을 추가한다.

위에는 맵리듀스를 실행하기 위한 데몬을 설정한 property이고 아래는 맵리듀스 환경 변수를 설정한 property이다.

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
</configuration>

 

이렇게 해 줘야 한다.

 

yarn-site.xml도 설정한다.

vi yarn-site.xml

 

아래 코드를 추가한다.

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>

 

아래와 같이 되야한다.

위는 맵리듀스 셔플을 설정하는 property이고 아래는 사용한 변수를 설정하는 것이다.

 

[yarn-daemon.sh]에서 Yarn 로그를 설정한다.

cd /usr/local/hadoop/sbin

 

 

편집을 들어간다.

vi yarn-daemon.sh

 

아래 화면과 같이 주석이 걸려있는 부분을 수정해야 한다.

 

아래 코드를 추가한다.

YARN_LOG_DIR=/data/hadoop/log
export YARN_LOG_DIR

 

이렇게 코드를 넣어준다.

 

이렇게 마스터 서버 설정은 끝났다.

다음 파트에서 슬레이브 서버1, 2 설정을 진행한다.

 

https://ohju96.notion.site/Master-Server-8af21e2767df4d8a86dda1b8e59755a6

하둡 Master Server 설정하기