hadoop 설치

hadoop 설치

1. 설치방법
 - 방법1) 소스받아서 컴파일 후, 환경 설정
 - 방법2) 같은 환경의 바이너리 받아서, 환경설정

 

2. 설치방법

2.1 바이너리 버전으로 설치하기 (설치 확인 완료)
1) 파일 받기
- windows7 x64버전 (hadoop 2.7.1): https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries/releases

 

2) 아래 문서에서 참조
- hadoop-env.cmd 설정에서, 주의해서 JAVA_HOME 설정!!! 공백을 " " 으로 처리 해야 함.

- set JAVA_HOME=%JAVA_HOME% 설정하면 오류만, 아래와 같이 할 것

set JAVA_HOME=C:\Program" "Files\Java\jdk1.8.0_131

 

@rem 추가 파라미터
set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

- 시스템 환경설정은 필요없음
http://blog.naver.com/PostView.nhn?blogId=gladiator67&logNo=221110116324&categoryNo=0&parentCategoryNo=0&viewDate=¤tPage=1&postListTopCurrentPage=1&from=postView

 

PS. 아래 문서에서, Maven 컴파일 이후 설치과장을 따름
"단일 노드 (의사 분산) 클러스터 시작" 참조
https://cwiki.apache.org/confluence/display/HADOOP2/Hadoop2OnWindows

 

3) 아래 xml 환결설정

 

4) 서비스 시작 

 4.1) 관리자 권한으로

     %HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

 4.2) namenode format (1회)

    %HADOOP_HOME%\bin\hdfs namenode -format

 4.3) %HADOOP_HOME%\sbin\start-all.cmd

 

2.2 Maven 컴파일로 설치하기 (설치 미확인)
- 설치 리뷰
https://khlee03.tistory.com/entry/windows-%EC%97%90%EC%84%9C-hadoop-%EC%84%A4%EC%B9%98?category=549706

 

 

- core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>file:///</value>
  </property>
</configuration>

 

- hdfs-site.com

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>dfs.namenode.rpc-address</name>
    <value>localhost:11000</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/C:/hadoop-2.7.1/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/C:/hadoop-2.7.1/data/datanode</value>
  </property>
</configuration>

 

- mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
     <name>mapreduce.framework.name</name>
     <value>local</value>
  </property>
</configuration>

 

- yarn-site.xml

<?xml version="1.0"?>
<configuration>
</configuration>