하둡 MapReduce 개발시, 개발환경을 어떻게 설정해야하는 것이 최선인지는 아직도 고민중입니다.
jar로 배포되어 Hadoop에 의해 로드되어 구동되는 구조적 특성상, 이클립스에 개발환경을 설정해서 뭔가를 해본다는 것이 상당한 제약이 많은 것이 사실이며, 이러한 이유 때문인지는 몰라도 아직 쓸만한 Eclipse Plugin하나 없는 실정입니다.
Hadoop 정식 배포버전의 contrib 폴더에는 누군가에 의해 개발된 hadoop plugin이 있는데, 어떻게 설치라도 해볼려고 하니 쉽지가 않네요, ant 빌드를 해야하는데 한번에 될리가 없고, 설정상 수정이나 추가가 필요한 부분이 있습니다.
그래서 대략 일주일 삽질끝에 정상 동작하는 이클립스 플러그인으로 빌드하는데 성공하였습니다.
아래의 파일은 이클립스 Indigo(3.7), Hadoop 1.1.0 기준으로 빌드되어 정상동작이 확인되었습니다.
hadoop-eclipse-plugin-1.1.0.jar
타버전의 빌드가 필요하신 분들은 아래 링크를 참고하세요.
(library 버전이 상위버전인 경우 정상동작 하지 않습니다.)
http://cloudfront.blogspot.kr/2012/07/how-to-run-mapreduce-programs-using.html
http://creatorw.tistory.com/entry/%EC%9D%B4%ED%81%B4%EB%A6%BD%EC%8A%A4%EC%97%90-%ED%95%98%EB%91%A1-%ED%94%8C%EB%9F%AC%EA%B7%B8%EC%9D%B8-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0
'Expired > Hadoop Hbase Nutch2' 카테고리의 다른 글
Hbase를 활용한 로그 모니터링 시스템 개발 (0) | 2017.04.15 |
---|---|
Hbase JSON API 사용하기 (0) | 2015.01.04 |
Nutch Cycle Step (0) | 2015.01.03 |