DevOps/Kafka
-
[Kafka] Kafka를 처음 공부할 때 보면 좋은 내용들DevOps/Kafka 2023. 1. 8. 00:57
Kafka 처음 사용할 때 알면 좋은 것들 이 글은 제가 Kafka를 사용하면서 겪은 경험보다는 Kafka를 공부하면서 처음 사용할 때 알면 좋은 것들의 이론에 대해 정리한 글입니다. 참고한 곳은 맨 아래에 있습니다. Kafka 기본 Cluster, Broker란? Lag 란? Topic, Partition 이란? 레코드란? 컨트롤러란? 코디네이터란? 데이터 삭제 Replication Factor란? 리더 팔로워란? ISR 이란? Producer Producer 주요 옵션 ack=all과 브로커의 min.insync.replicas 옵션의 관계 Consumer Consumer 대표 옵션 컨슈머 그룹이란? 컨슈머 리밸런스 특징 컨슈머 하트비트란? 컨슈머 그룹 특징 토픽의 파티션에는 하나의 컨슈머만 연결 가..
-
[Kafka] acks=all 일 때 min.insync.replicas=2 설정을 권장하는 이유DevOps/Kafka 2022. 10. 14. 01:05
acks=all 일 때 min.insync.replicas=2로 설정해야 하는 이유는 무엇일까? acks=all : 리더는 ISR의 팔로워로부터 데이터에 대한 ack를 기다리고, 하나의 팔로워가 있는 한 데이터는 손실되지 않으며 데이터 무손실에 대해 가장 강력하게 보장 ISR: In Sync Replica의 약어로 현재 리플리케이션이 되고 있는 리플리케이션 그룹(replication group)을 의미 min.insync.replicas: 최소 리플리케이션 팩터를 지정하는 옵션 Replication Factor 는 토픽의 파티션의 복제본을 몇 개를 생성할 지에 대한 설정 본 내용에 들어가기 전에 카프카 용어에 대해 간략하게 정리하면 위와 같습니다. 여기서 이번 글에서는 min.insync.replicas..