컨슈머 그룹이란

컨슈머는 토픽에서 메시지를 읽어오는 역할을 하는데, 컨슈머 그룹은 동일한 역할을 하는 컨슈머들을 모아놓은 것이다. 하나의 토픽에 여러 컨슈머 그룹이 동시에 접속해 메시지를 가져올 수 있다.

• 모두 동일한 컨슈머 그룹에 존재한다면, 메시지는 컨슈머들에 대해 효과적으로 로드밸런싱 된다
• 모두 다른 컨슈머 그룹에 존재한다면, 메시지는 컨슈머들에 대해 브로드캐스팅 된다

리밸런싱

각 컨슈머 그룹은 확장성과 내구성을 위해 여러 소비자 인스턴스로 구성된다.

카프카는 컨슈머가 메시지 소비를 효율적으로 하기 위해 파티션마다 컨슈머를 독점적으로 배치해서 "공정한 공유"를 할수 있도록 소유권을 배정 한다. 컨슈머 그룹에 새로운 컨슈머가 추가되면 일부 파티션을 새롭게 배정한다. 컨슈머가 제거되면 해당 파티션을 다시 다른 컨슈머들에게 배정한다

• 이렇게 컨슈머들에게 파티션 소유권을 배정하는 것을 리밸런싱이라고 한다.

다만, 리밸런싱 하는 동안 일시적으로 컨슈머는 메시지를 가져올 수 없다.

• 컨슈머 그룹 내에서 리밸런스가 발생하면 토픽의 각 파티션마다 하나의 컨슈머가 연결된다.
• 그리고 리밸런스가 끝나게 되면 컨슈머들은 각자 담당하고 있는 파티션으로 부터 메시지를 가져오게 된다.

컨슈머 독점 배치

토픽의 파티션에는 하나의 컨슈머만 배정될 수 있다. 카프카는 파티션과 컨슈머를 1:1로 배치하려고 한다. (독점적으로 배치하여 공정한 공유를 하도록 소유권을 배정)

(Case 1) 컨슈머 그룹이 파티션의 수 보다 적은 경우

파티션보다 컨슈머의 수가 적다면 특정 컨슈머에게 여러 파티션이 배정된다.

• 그래서 파티션의 수와 컨슈머의 수를 맞추는 것이 일반적이다.

(Case 2) 컨슈머 그룹이 파티션의 수 보다 적은 경우

case 1과 동일

(Case 3) 컨슈머 그룹과 파티션의 수가 동일한 경우

일반적으로 파티션의 수와 컨슈머의 수가 동일하게 맞추는 것이 일반적이다.