[Hadoop] : CentOS에 하둡 설치하기

하둡 2.10.x 버전 특징이 있다.

 

필수 핵심 코어가 증가했다. 변경 전에는 맵리듀스, 하둡분산파일시스템, 변경 후에는 맵리듀스, 하둡분산파일시스템, 얀

YARN(얀)의 특징은 잡 스케줄링과 클러스터 자원 관리이다.

 

리눅스 파일은 전송 후 반드시 크기를 확인한다. 네트워크 문제로 가끔 100% 완벽하게 파일 전송이 안 되는 경우가 있기 때문이다.

 

하둡 설치는 root 계정을 통해 설치하는 것이 편리해 root 접속해 파일 업로드 및 설치한다.

 

마스터 서버, 슬레이브 서버1,2 모두 다 업로드한다.

su -

cd /usr/local/

rz

 

hadoop-2.10.1.tar.gz 파일이 정상적으로 들어온 것을 확인한다. 이때, Java는 7~8버전이 설치되어 있어야 한다. Java8 버전을 추천한다.

java -version

 

하둡 압축을 해제한다.

tar -zxvf hadoop-2.10.1.tar.gz

 

링크를 생성해준다.

ln -s hadoop-2.10.1 hadoop

 

환경변수를 설정해 준다.

vi /etc/profile

 

아래 코드를 맨 아래에 추가한다.

#Hadoop Setting
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_HOME PATH

 

설정을 저장하고 나와서 환경 설정을 적용한다.

source /etc/profile

 

설치 후 버전을 확인한다.

hadoop version

https://ohju96.notion.site/Hadoop-208adcd3ec62413486e3845b338a2137

Hadoop 설치