IT for developer/Flume (2) 썸네일형 리스트형 클라우데라 플룸(Flume) 2 -1 이제 대충 감을 잡았으니까.하둡과 연계해서 간단한 프로그램을 작성해봐야겠다.전달되는 로그들을 HDFS에 저장하고 저장된 로그를 맵리듀스를 이용해서 분석하는 정도? 현재 Flume은 하둡 0.20.2, 0.23를 지원한다.우선 확인해볼 것이 있다. 배치형식의 로그파일을 전달하는 것이아니라 실시간으로 생성되는 로그를 Flume은 어떻게 전달하고 있는지 확인해 봐야겠다. 아니면 별도로 구현을 해야하는 지 여부도~~ 지원하는 source 들을 살펴봐야 보면~~ 아직까지는 직접 지원해주는 것은 없는 듯하다. tail을 사용해서 로그파일에 새로운 데이터가 들어오면 이를 전달하도록 해서 비슷하게 동작하도록 해봐야겠다.source 타입에 exec 을 이용해서 tail -F 로 로그파일을 모니터링 한다. foo.sour.. 클라우데라 플룸(Flume) 1 ※ 링크들은 수시로 변경되므로 오류가 발생할 수도 있음. 주의사항: 해보면서 글을 쓰고 있으므로 잘못된 내용이 상당할 수 있음. Flume에 관한 많은 문서를 클라우데라에서 제공해 준다.https://cwiki.apache.org/confluence/display/FLUME/Index 설치 시에도 각 운영체제 환경마다 별도의 패키지를 이용하여 설치할 수 있다.https://ccp.cloudera.com/display/CDH4B2/Flume+Installation https://ccp.cloudera.com/display/CDHDOC/Flume+1.x+Installation 버전 0.9 에서는 Agent, Master, Collector를 별도를 실행한 듯 하지만, 버전 1.1 부터는 Agent만 실행한다.. 이전 1 다음
