(작성중)[Big data]Step by step CDH 5를 이용하여 하둡 에코시스템 구축하기(Let's construct the hadoop ecosystem)

Hadoop install guide by n4tech from O-Joun Lee

위 PPT는 Slide Share에서 발견한 자료인데 Hadoop Ecosystem을 구축하는 방법을 깔끔하게 정리해둔 것 같아 참고를 위해 가져왔다. 필자는 CDH5를 이용하여 Hadoop Ecosystem을 구축할 것이지만 읽어보면 도움이 될 것 같다.

Install

1. Linux CentOS 설치

[Linux]USB로 CentOS 설치 ☜ 설치 방법은 다음 링크를 참고한다.

2. CDH 5로 들어가서, Hadoop 설치

Before You Begin Installing CDH 5 Manually → To add the CDH 5 repository → Save as..(링크 저장) → /etc/yum.repos.d/ 에 넣는다. → Step 1a: Optionally Add a Repository Key에 들어가 커맨드 실행 → Step 3: Install CDH 5 with YARN에 들어간다. → Resource Manager host 설치(at 메인 컴퓨터) → NameNode host 설치(at 메인 컴퓨터) → All cluster hosts except the Resource Manager설치(at Cluster에...그러나 현재 테스트 용으로 한 컴퓨터에 모두 설치함.)

주의점

- Yarn과 MRv1을 같이 설치하면 안된다. 둘 중 하나만 선택하여 설치한다.

3. Deploying CDH 5 on a Cluster

1. Configure Network Hosts

2. Configure HDFS

Error Report

1) $for x in 'cd /etc/init.d ; ls hadoop-hdfs-*' ; do sudo service $x start ; done 다음 $service --status-all로 datanode와 namenode 상태를 확인는데 datanode와 namenode가 제대로 실행되어있지 않다면, $sudo vim ~~~~~~.log로 log를 확인한다.

- 필자의 경우 localhost 설정이 제대로 되지 않아 실패하는 경우가 생겼다. 

3. Deploy YARN with MapReduce v2 (YARN) or MapReduce v1 (MRv1)

4. Also see, Centralized Cache Management in HDFS

3. Spark 설치

- 현재 설치된 CDH에서 권장하는 JDK 버전을 설치하는 것이 좋다.

- 다른 Cluster에 CDH를 설치한다면 JDK 버전이 다른 노들들과 같아야한다. 

- JDK는 /usr/java/jdk-version에 설치해야 한다.