2017/03 썸네일형 리스트형 Kafka #2 클러스터 구축 & quick start Kafka Cluster 를 mac osx 2대의 서버로 구성해 본다. node1: 192.168.0.32 node2: 192.168.0.33 node1에 zookeeper와 broker 1 를 실행하고 node2에 broker 2 를 실행하는 구조의 cluster로 구성해 본다. 1. Download https://kafka.apache.org/downloads 에서 kafka를 다운받는다. 글 작성 시점의 최신 버전인 0.10.1.1 로 작성하였다. 같은 버전의 kafka를 받아서 각 노드에 압축을 풀어 설치한다. 2.zookeeper 실행 node1에서 zookeeper를 실행한다. 기본적으로 kafka는 zookeepr가 필수적으로 필요하다. 따라서 kafka 기본 설치파일에 내장되어 있다. 따라.. 더보기 Kafka #1 소개 #kafka란? https://kafka.apache.org LinkedIn 개발한 분산 메세징 시스템이다. kafka.apche.org 에서는 A dstributed Streaming platform 라고 설명하고 있다. 대용량 실시간 처리에 특화 되어 있다. #사용 목적 스트리밍 어플리케이션의 데이터 파이프 라인으로 사용 대용량으로 발생하는 데이터의 중간 버퍼로서 메세지 큐 시스템을 사용하는 곳에 사용될 수 있음 (예를 들어 ELK 스택에서 Logstahs -> Kafka -> Elasticsearch로 중간 메세지 버퍼 역할) #특징 클러스터로 구성 Zookeeper 로 분산처리 publish-subscribe 모델 #비교대상 Rabbit MQ Active MQ #현황 비교대상인 다른 시스템과 다르.. 더보기 이전 1 2 다음