본문 바로가기

Kafka

Kafka #2 클러스터 구축 & quick start Kafka Cluster 를 mac osx 2대의 서버로 구성해 본다. node1: 192.168.0.32 node2: 192.168.0.33 node1에 zookeeper와 broker 1 를 실행하고 node2에 broker 2 를 실행하는 구조의 cluster로 구성해 본다. 1. Download https://kafka.apache.org/downloads 에서 kafka를 다운받는다. 글 작성 시점의 최신 버전인 0.10.1.1 로 작성하였다. 같은 버전의 kafka를 받아서 각 노드에 압축을 풀어 설치한다. 2.zookeeper 실행 node1에서 zookeeper를 실행한다. 기본적으로 kafka는 zookeepr가 필수적으로 필요하다. 따라서 kafka 기본 설치파일에 내장되어 있다. 따라.. 더보기
Logstash(Shipper) 를 사용해 Kafka 메세지를 elasticsearch로 저장 1. download Logstash를 다운받아 압축을 푼다. https://www.elastic.co/kr/downloads/logstash 현재 최신 버전인 logstash-5.1.2 버전을 다운받는다. 보통 elasticsearch도 같은 버전으로 설치를 한다. 2. configuration logstash를 실행할때 지정한 config 파일에 따라 하나의 프로세스로 동작을 한다. 우리가 할껀 input을 kafka로 받아서 output을 elasticsearch로 보내는 것이 대한 config파일을 작성한다. logstash-metric.conf input { kafka { bootstrap_servers => "192.168.0.16:9092,192.168.0.18:9092" topics => .. 더보기
[Kafka] Kafka로 Log를 보내는 방법들 ELK 스택을 사용해 Log 관리 시스템을 만들때 Kafka가 중간에 메세지 큐로서 주로 사용된다. 여러 app들이 kafka로 log 메세지를 보내는 방법에는 여러가지가 있다. 참조: https://www.elastic.co/kr/blog/just-enough-kafka-for-the-elastic-stack-part1 1. logstash(shipper) 위 그림처럼 Logstash를 사용해서 Kafka로 app에서 생성한 로그파일을 메세지로 전달할 수 있다. https://www.elastic.co/kr/downloads/logstash 에서 logstash를 다운받아 압축을 푼다. config파일을 만들어서 logstash를 실행할 수 있다. input은 파일이고 output은 kafka가 되도록.. 더보기
kafka #3 Kafka-Manager 설치 Kafka-Manager 설치 Yahoo에서 만든 kafka-Manager로 Kafka를 쉽게 컨트롤이 가능하다.https://github.com/yahoo/kafka-manager 에서 쉽게 따라할 수 있다. 1. Download sourcehttps://github.com/yahoo/kafka-manager 에서 소스를 다운로드 한다. 그리고 압축을 풀어준다. 2. Buildsbt로 프로젝트를 build 한다. ./sbt clean dist./sbt run 단, java 8이 설치가 되어 있어야 하며, 환경변수에도 등록이 되어 있어야 한다. $ PATH=/usr/local/oracle-java-8/bin:$PATH \ JAVA_HOME=/usr/local/oracle-java-8 \ /path/to/.. 더보기