Apache Kafka Apache Kafka는 분산 이벤트 스트리밍 플래솜으로 많은 양의 데이터를 실시간으로 처리하고, 저장하고, 분석할 수 있도록 설계되었습니다. Kafka는 LinkedIn에서 개발되어 2011년에 오픈 소스로 공개되었고, 이후로 많은 기업이 데이터 파이프라인을 구축하는데 널리 사용되었습니다. 데이터 파이프라인이란..? 데이터를 한 위치에서 다른 위치로 이동시키는 과정을 의미한다. 이 과정은 데이터 수집, 변환, 로딩하는 일련의 단계를 포함할 수 있으며 이러한 단계는 종종 ETL( Extract, Transform, Load)라는 용어로 부릅니다. Kafka의 주요 기능 Subscribe/Publish 메시징 모델 프로듀서는 메시지를 생성하여 토픽에 발행(Publish)하고 컨슈머는..