우분투에 java & hadoop 설치 및 설정하는 법

출처: http://blog.naver.com/inchori1004?Redirect=Log&logNo=140159319383 

우분투에 java & hadoop 설치 및 설정하는 법HADOOP / 컴퓨터공학 

2012/05/16 13:46

http://blog.naver.com/inchori1004/140159319383

[설치 환경]

- Ubuntu 12.04

- java sdk 1.7

- hadoop 1.0.2

1) 자바 설치하기

sudo add-apt-repository ppa:upubuntu-com/java

sudo apt-get update

sudo apt-get install oracle-java7-installer

Ubuntu를 최소 시스템으로 설치한 경우에 "add-apt-repository" 명령어를 찾을 수 없을것이다.

이 경우엔 간단하게 다음의 명령어를 실행해 주면 된다.

sudo apt-get install python-software-properties

* add-apt-repository
: PPAs와 다른 저장소를 추가할 때 유용

2) 자바 설치 확인

$ java -version

java version "1.7.0_04"

Java(TM) SE Runtime Environment (build 1.7.0_04-b20)

Java HotSpot(TM) Server VM (build 20.1-b02, mixed mode)

3) 환경설정

$ vi ~/.profile

export JAVA_HOME="/usr/lib/jvm/java-7-oracle" 
export HADOOP_HOME="/usr/local/hadoop-1.0.2"
export PATH="$HADOOP_HOME/bin:$PATH"

4) 하둡 설치

- 하둡 다운로드 및 압축 해제(/usr/local 에 설치)

$ cd /usr/local
$ sudo wget http://mirror.apache-kr.org//hadoop/common/hadoop-1.0.2/hadoop-1.0.2.tar.gz

$ sudo tar xvfz hadoop-1.0.2.tar.gz

- 설치 확인( source ~/.profile 로 위의 환경 변수 반영 후에 or 재부팅 후에)

$ hadoop version

Hadoop 1.0.2

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1214675

Compiled by hortonfo on Thu Dec 15 16:36:35 UTC 2011

- 하둡 환경설정 변경

* hadoop-env.sh 설정

$ cd /usr/local/hadoop-1.0.2/conf
$ vi hadoop-env.sh 
export JAVA_HOME=/usr/lib/jvm/java-7-oracle

* core-site.xml 설정

$ vi core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

* hdfs-site.xml 설정

$ vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

* mapred-site.xml 설정

$ vi mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

5) SSH 설치 및 설정

하둡에서 원격 클러스터끼리 SSH를 이용해 통신하는데 통신하는 데 매번 비밀번호를 묻지 않도록 자동으로 인증되도록 하는것이 편리. 하둡을 /usr/local 경로에설치했으므로 root 권한을 얻어서 아래를 실행 링크

$ sudo apt-get install ssh
$ sudo apt-get install rsync
$ su 
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6) 하둡 실행

- root로 로그인

$ su

- namenode 포맷 후 데몬 실행

$ hadoop namenode -format
$ start-all.sh

- 모니터링 툴로 동작 확인 가능

NameNode : http://localhost:50070/
JobTracker : http://localhost:50030/

7) 하둡 실행 중지

$ stop-all.sh

[출처] 우분투에 java & hadoop 설치 및 설정하는 법|작성자 심히