전체 글
-
[Cassandra] Cassandra vnode란?Computer Science/Cassandra 2024. 2. 13. 00:20
Cassandra vnode란 무엇일까? 카산드라에서 node라는 개념 하위에 vnode 라는 것이 존재하는데요. vnode는 무엇이며 카산드라에서 vnode를 사용하는 이유가 무엇인지 알아보겠습니다. (vnode 개념 찍먹하기) 들어가기 전에 Cassandra를 사용할 때 노드마다 데이터 분산을 균등하게 하기 위해서는 파티셔닝을 올바르게 진행해야 합니다. 혹시나 카산드라 토큰 할당 방식에 대해 모르고 있다면 여기 에서 토큰 할당 방법에 대해서 보고 오는 것을 추천드립니다. 카산드라 토큰의 범위는 -2^63 to +2^63 -1 이고, Partitioner는 Murmur3Partitioner(default)를 사용하여 데이터 분배를 진행합니다. (Link) node start range end range..
-
[Cassandra] Cassandra Consistency Level 이란?Computer Science/Cassandra 2024. 2. 12. 01:49
Cassandra Consistency Level 알아보자 이번 글에서는 카산드라 Write, Read 각각 Consistency Level에 대해서 어떤 특징이 있는지 알아보겠습니다. Casssandra CAP 특징 카산드라는 CAP 3가지 특징 중에 AP 시스템으로 높은 가용성과 파티션 허용 오차를 제공합니다. 상황에 따라 CP시스템으로 동작하도록 설정할 수도 있습니다. 즉, 카산드라에서는 Wrtie, Read의 Consitency Level을 어떤 값으로 설정하냐에 따라서 AP 시스템이 될 수도 있고, CP 시스템이 될 수도 있습니다. Consistency Level 이란? 일관성 수준은 코디네이터(coordinator) 노드가 non-lightweight transaction을 성공적으로 처리하기..
-
[Cassandra] Cassandra Partition에 대해 알아보자Computer Science/Cassandra 2024. 2. 5. 01:23
Cassandra Partition에 대해 알아보자 고가용성과 확장성을 위해 설계된 분산형 NoSQL 데이터베이스 시스템인 Cassandra에서 파티셔닝은 중요한 개념입니다. Cassandra는 데이터를 더 작은 파티션으로 나누어 클러스터에 분산하는 과정인 파티셔닝을 통해서 여러 노드에 걸쳐 데이터를 저장합니다. 카산드라를 사용할 때 성능을 최적화하고 데이터 분산을 균일하게 하기 위해서는 파티셔닝을 제대로 이해하고 구성하는 것은 아주 중요하고 필수적입니다. (안그러면 카산드라 사용하는 이유 및 효율성이 매우 떨어지는..) 본격적인 내용을 들어가기 전에 가볍게 Cassandra Partition Key, Clustering Key, Primary Key에 대해서 살짝만 알아보겠습니다. Primary Key..
-
[Kafka] Kafka를 처음 공부할 때 보면 좋은 내용들DevOps/Kafka 2023. 1. 8. 00:57
Kafka 처음 사용할 때 알면 좋은 것들 이 글은 제가 Kafka를 사용하면서 겪은 경험보다는 Kafka를 공부하면서 처음 사용할 때 알면 좋은 것들의 이론에 대해 정리한 글입니다. 참고한 곳은 맨 아래에 있습니다. Kafka 기본 Cluster, Broker란? Lag 란? Topic, Partition 이란? 레코드란? 컨트롤러란? 코디네이터란? 데이터 삭제 Replication Factor란? 리더 팔로워란? ISR 이란? Producer Producer 주요 옵션 ack=all과 브로커의 min.insync.replicas 옵션의 관계 Consumer Consumer 대표 옵션 컨슈머 그룹이란? 컨슈머 리밸런스 특징 컨슈머 하트비트란? 컨슈머 그룹 특징 토픽의 파티션에는 하나의 컨슈머만 연결 가..