1. 개요 1. 웹사이트 HBase 홈 HBase 매뉴얼 소스코드 보기 HBase 다운로드 바이너리 패키지 다운로드 HBase 책 예제 HBase Jira HBase Community Wiki FAQ Mailing List 2. 요구사항 1. 하드웨어 1.1. CPU - 마스터 : 듀얼 쿼드코어 2.0~2.5GHz - 슬레이브 : 듀얼 쿼드코어 2.0~2.5GHz 1.2. 메모리 - 마스터 : 24GB - 네임노드 : 8GB (1GB/100TB 또는 1GB/inode 1M) - 부 네임노드 : 8GB (네임노드와 동일하게 구성) - 잡트래커 : 2GB - HBase 마스터 : 4GB - 운영체제 : 2GB - 슬레이브 : 24GB 이상 - 데이터노드 : 1GB - 태스크트래커 : 1GB - HBase 리전 서버 : 12GB ~ 16GB (자바 성능상 이 이상은 권장하지 않음) - 태스크 시행 : 인스턴스당 1GB - 주키퍼 : 1GB - 운영체제 : 2GB 1.3. 디스크 - 마스터 : 4 X 1 TB SATA, RAID 0+1 구성 (2TB 가용) - 슬레이브 : 6 X 1 TB SATA, JBOD 구성 - RAID 기능이 있는 디스크는 고장 감지에 탁월하므로 사용, 그러나 하둡 파일시스템의 레플리케이션 정책을 신뢰할 수 있으므로 RAID 구성까지는 필요 없음 1.4. 섀시 - 마스터 : 기가비트 이더넷 / 듀얼 PSU / 1U 또는 2U - 슬레이브 : 기가비트 이더넷 / 싱글 PSU / 1U 또는 2U 2. 소프트웨어 2.1. 운영체제 - 64비트 리눅스계열 운영체제 권장 - 윈도우즈 권장하지 않음 2.2. 파일시스템 - ext3, XFS 사용해도 무방하나 ext4 권장 2.3. 자바 - 1.6+ 오라클 버전 3. 제한사항
<property> - 디폴트는 /tmp로 지정되는데 OS에 따라 재부팅시 /tmp를 삭제하는 경우도 있으므로 다른 곳으로 바꿔주는 작업. 3. 책 예제 설치 3.1. 소스코드 클론 $ git clone git://github.com/larsgeorge/hbase-book.git $ mvn package $ cd chXX - run.sh는 예제 실행에 필요한 라이브러리를 준비하여 조합해주는 전처리 작업을 수행해주는 스크립트 1.1. DNS - 자신의 IP를 확인할 때는 루프백 주소가 아닌 호스트명을 사용하므로, hosts 파일이나 DNS를 올바르게 설정해준다. 1.2. NTP - 클러스터 노드간 시간차가 발생하면 데이터 쿼리에 문제가 생기거나 클러스터 관리시 비정상 동작을 할 수 있음 - 시스템 시간을 동기화하기 위해 NTP를 실행하거나 시간 동기화 애플리케이션을 사용한다. 2. 운영체제 2.1. 파일 핸들 - ulimit -n : 디폴트는 1,024. 10,000개 이상으로 설정 2.2. 스와피니스 - 스와피니스 설정값을 줄이거나 비활성화하여 스와핑 발생을 줄이거나 없앤다. 3. 하둡 설정 3.1. 동시처리 파일 상한 조정 - conf/hdfs-site.xml의 dfs.datanode.max.xcievers 프로퍼티 값을 최소 4096으로 설정 4. HBase 설정 - HBase /conf 참조 5. 기타 5.1. 다른 주키퍼 앙상블 사용하기 - conf/hbase-env.sh HBASE_MANAGES_ZK=false - hbase-site.xml OR ensemble location client port - configure zoo.cfg and add to HBase classpath
$ bin/start-hbase.sh 2. 분산 모드 2.1. conf/hbase-site.xml 파일 설정 2.1.1. 분산 모드 켜기 <property> <property> - 리전서버가 실행되는 모든 장치 목록 - 한 줄에 하나씩 명시 2.3. 주키퍼 설정 2.3.1. conf/hbase-env.sh 파일 HBASE_MANAGE_ZK=true <property> <property> <name>hbase.zookeeper.quorum</name> <value>rs1.foo.com,rs2.foo.com, ...</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/var/zookeeper</value> </property> 2.4. 하둡 파일시스템 실행 2.5. 시작 스크립트 실행 $ bin/start-hbase.sh 3. 상태 확인 3.1. 로그 파일 : /logs 디렉토리 3.2. 웹 UI - 마스터 : http://master.foo.com:60010 - 리전서버 : http://region.foo.com:60030 3.3. 셸 $ /bin/hbase shell 실행 4. HBase 정지 $ bin/stop-hbase.sh
- 모드 불문 동일
 |
Hbase 설치Hbase 설치는 간단하다. 다운받아서 리눅스 상에 압축을 풀어준 후 약간의 설정만 해주면 된다. 자세한 설명은 아래 링크 참조 1 다운로드 사이트 (만약 여기가 접근이 안된다면 http://hbase.apache.org/ 에서 최신 버전을 다운로드하자.) 2 압축 풀기 : tar xfz hbase-*-tar.gz (여기서 hbase-*-tar.gz는 자신이 받은 파일명으로 입력) 3 Hbase 설정하기(Stand-Alone) - 압축푼 디렉토리/conf/hbase-site.xml을 vi로 열어서 다음 부분을 수정한다. <configuration> <property> <name>hbase.rootdir</name> <value>file:///hbase가설치된디렉토리/data가 저장될 디렉토리명</value> </property> </configuration> 4 Hbase 데몬 실행 및 종료 ./bin/start-hbase.sh ./bin/stop-hbase.sh 5 hbase 쉘 실행 및 테스트 테이블 생성 ./hbase shell create 'test', 'cf' - 테이블 생성 list 'table' - 테이블 리스트 출력 put 'test', 'row1', 'cf', 'value1' - 테이블에 데이터 넣기 scan 'test' - 테이블 출력 6 hbase 실행 확인 : 정상적으로 작동한다면 아래 링크에서 마스터 정보와 테이블 정보 등을 확인 할 수 있다. |
'NoSQL > HBase' 카테고리의 다른 글
| Hbase 리뷰 (0) | 2016.02.05 |
|---|---|
| HBase 완전-분산 (Full Distributed) 방식 설치 (0) | 2016.02.05 |
| hbase api 사이트 (영문) (0) | 2016.02.05 |
| HBase, BigTable, Cassandra Schema Design (0) | 2016.02.05 |
| hbase Schema 이해하기 위한 링크들 (0) | 2016.02.05 |