Kafka #1 소개

#kafka란?

https://kafka.apache.org

LinkedIn 개발한 분산 메세징 시스템이다. 

kafka.apche.org 에서는 A dstributed Streaming platform 라고 설명하고 있다. 

대용량 실시간 처리에 특화 되어 있다.

#사용 목적

• 스트리밍 어플리케이션의 데이터 파이프 라인으로 사용
• 대용량으로 발생하는 데이터의 중간 버퍼로서 메세지 큐 시스템을 사용하는 곳에 사용될 수 있음
  (예를 들어 ELK 스택에서 Logstahs -> Kafka -> Elasticsearch로 중간 메세지 버퍼 역할)

#특징

• 클러스터로 구성
• Zookeeper 로 분산처리
• publish-subscribe 모델

#비교대상

• Rabbit MQ
• Active MQ

#현황

• 비교대상인 다른 시스템과 다르게 압도적인 인기를 끌고있음
• 대용량 로그 저장 시스템이나 스트리밍 시스템에서 필수적으로 사용되고 있음
• 다른 오픈소스에서 기본지원하는 Connector 가 많음

#참고

http://epicdevs.com/17

http://epicdevs.com/20

http://epicdevs.com/21