#kafka란?
LinkedIn 개발한 분산 메세징 시스템이다.
kafka.apche.org 에서는 A dstributed Streaming platform 라고 설명하고 있다.
대용량 실시간 처리에 특화 되어 있다.
#사용 목적
- 스트리밍 어플리케이션의 데이터 파이프 라인으로 사용
- 대용량으로 발생하는 데이터의 중간 버퍼로서 메세지 큐 시스템을 사용하는 곳에 사용될 수 있음
(예를 들어 ELK 스택에서 Logstahs -> Kafka -> Elasticsearch로 중간 메세지 버퍼 역할)
#특징
- 클러스터로 구성
- Zookeeper 로 분산처리
- publish-subscribe 모델
#비교대상
- Rabbit MQ
- Active MQ
#현황
- 비교대상인 다른 시스템과 다르게 압도적인 인기를 끌고있음
- 대용량 로그 저장 시스템이나 스트리밍 시스템에서 필수적으로 사용되고 있음
- 다른 오픈소스에서 기본지원하는 Connector 가 많음
#참고
'Big Data > Kafka' 카테고리의 다른 글
Kafka #2 클러스터 구축 & quick start (0) | 2017.03.11 |
---|---|
Logstash(Shipper) 를 사용해 Kafka 메세지를 elasticsearch로 저장 (0) | 2017.01.30 |
[Kafka] Kafka로 Log를 보내는 방법들 (1) | 2017.01.15 |
kafka #3 Kafka-Manager 설치 (0) | 2017.01.08 |