1. 기술의 필요성요즘은 데이터가 ‘기록’이 아니라 '흐름'이 됐다. 수만 명이 동시에 접속하는 서비스, 실시간으로 쏟아지는 센서 정보, 금융 거래, 물류이동, 사용자 행동 로그까지. 이런 데이터는 들어오자마자 처리되지 않으면, 서비스는 병목을 겪고, 데이터는 흘러넘친다.이때 필요한 게 바로 Kafka다. Kafka는 말 그대로, 데이터가 흘러가는 파이프라인을 구성하는 시스템이다.오늘은 Kafka의 개념과 특징, 그리고 어떤 상황에서 유용하게 쓰이는지를 알아보자! 2. Kafka란?Kafka는 Apache Software Foundation에서 만든 오픈소스 분산 메시징 시스템이다. 흔히 스트리밍 플랫폼, 또는 이벤트 로그 시스템이라고도 불린다.기본 원리는 아래와 같이 설명할 수 있다.**생산자(Pr..
