하루y

SQL로 하둡 쿼리를 처리하는 방법 10가지
- 하둡에 저장된 데이터에서 SQL쿼리를 처리할수 있는 제품.

1. 하둡쿼리를 위한 방법
1) Apache Hive: 상대적으로 간단하고, 이용이 쉽다. 단점, 느리고 읽기 전용.
2) Apache Phoenix: 개발자들이 'HBase 용 SQL 스킨'이라고 하며, 높은 성능과 읽기/쓰기 작업. SQL같은 HBase 쿼리를 처리하는 방법. HBase를 이용하는 사람들은 쉽게 도입해서 활용 가능. 벌크 데이터 불러오기 등 유용한 기능 있음.
3) Presto: 페이스북의 엔지니어들이 개발해 내부에서 이용하고 있는 기술.

원문보기:
http://www.itworld.co.kr/tags/2665/SQL/90677#csidxcf62079d48944c1b63a7f69fbb7d23f 

hadoop 설치

1. 설치방법
 - 방법1) 소스받아서 컴파일 후, 환경 설정
 - 방법2) 같은 환경의 바이너리 받아서, 환경설정

2. 설치방법

2.1 바이너리 버전으로 설치하기 (설치 확인 완료)
1) 파일 받기
- windows7 x64버전 (hadoop 2.7.1): https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries/releases

2) 아래 문서에서 참조
- hadoop-env.cmd 설정에서, 주의해서 JAVA_HOME 설정!!! 공백을 " " 으로 처리 해야 함.

- set JAVA_HOME=%JAVA_HOME% 설정하면 오류만, 아래와 같이 할 것

set JAVA_HOME=C:\Program" "Files\Java\jdk1.8.0_131

@rem 추가 파라미터
set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

- 시스템 환경설정은 필요없음
http://blog.naver.com/PostView.nhn?blogId=gladiator67&logNo=221110116324&categoryNo=0&parentCategoryNo=0&viewDate=¤tPage=1&postListTopCurrentPage=1&from=postView

PS. 아래 문서에서, Maven 컴파일 이후 설치과장을 따름
"단일 노드 (의사 분산) 클러스터 시작" 참조
https://cwiki.apache.org/confluence/display/HADOOP2/Hadoop2OnWindows

3) 아래 xml 환결설정

4) 서비스 시작 

 4.1) 관리자 권한으로

     %HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

 4.2) namenode format (1회)

    %HADOOP_HOME%\bin\hdfs namenode -format

 4.3) %HADOOP_HOME%\sbin\start-all.cmd

2.2 Maven 컴파일로 설치하기 (설치 미확인)
- 설치 리뷰
https://khlee03.tistory.com/entry/windows-%EC%97%90%EC%84%9C-hadoop-%EC%84%A4%EC%B9%98?category=549706

- core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>file:///</value>
  </property>
</configuration>

- hdfs-site.com

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>dfs.namenode.rpc-address</name>
    <value>localhost:11000</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/C:/hadoop-2.7.1/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/C:/hadoop-2.7.1/data/datanode</value>
  </property>
</configuration>

- mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
     <name>mapreduce.framework.name</name>
     <value>local</value>
  </property>
</configuration>

- yarn-site.xml

<?xml version="1.0"?>
<configuration>
</configuration>