분류 전체보기
-
[Cassandra] Cassandra Insert와 Update 차이가 무엇일까?Computer Science/Cassandra 2024. 4. 20. 00:07
Cassandra Insert와 Update 차이가 무엇일까? 카산드라는 append 모델을 사용하기 때문에 INSERT와 UPDATE 작업 사이에 근본적인 차이가 없습니다. 기존 행에 존재하는 PK와 동일한 데이터를 INSERT 하면 UPDATE가 되고 UPDATE를 했는데 PK가 존재하지 않으면 신규 row를 생성한다는 특징을 가지고 있습니다. 실제 테스트를 해보면서 INSERT, UPDATE 각각 어떤 특징을 가지고 있는지 좀 더 알아보겠습니다. (테스트 Cassandra 버전: 4.0.6) CREATE TABLE experiment ( id text PRIMARY KEY, info text); 카산드라 테이블 하나를 생성 하겠습니다. 그리고 2가지 경우의 쿼리를 실행 해보겠습니다. Part1 IN..
-
[Cassandra] Cassandra truncate 이후 snapshot 제거Computer Science/Cassandra 2024. 4. 10. 21:57
Cassandra truncate 이후 snaptshot 제거 truncate TRUNCATE test_keyspsace.user_activity; 카산드라에서도 truncate 명령어로 테이블의 데이터를 지울 수 있다. 하지만 데이터를 다시 복구해야 할 수도 있기 때문에 스냅샷이라는 데이터를 남겨놓는다. 즉, truncate 한다고 해서 바로 Disk 사용량이 줄어들지 않고 스냅샷을 제거해야 서버의 Disk 사용량이 줄어들게 된다. snapshot 제거 ./nodetool clearsnapshot {keyspace} --all ex) ./nodetool clearsnapshot test_keyspsace --all Cassandra TRUNCATE 작업 후에 위의 명령어로 SNAPSHOT 제거도 필요하..
-
[MySQL] MySQL 인덱스 컨디션 푸시다운이란?Computer Science/Database 2024. 4. 10. 01:42
MySQL 인덱스 컨디션 푸시다운 이란? MySQL 5.6 버전부터는 인덱스 컨디션 푸시다운(Index Condition Pushdown) 이라는 기능이 도입 되었는데요. 어떤 내용인지 알아보겠습니다. 인덱스 컨디션 푸시 다운 secondary index에만 사용됩니다. 전체 row 읽기의 수를 줄여 I/O 작업을 줄이는 것. 인덱스를 범위 제한 조건으로 사용하지 못하는 쿼리에 한해서 발생하는 것 같음 (LIKE %name%, like > 10 같이 인덱스를 이용하지 못하는 범위 검색을 의미하는 것 같음) InnoDB Clustered index의 경우, 전체 레코드가 InnoDB 버퍼에 존재하기 때문에, 인덱스 컨디션 푸시다운을 사용해도 I/O가 감소하지 않음 MySQL SQL 수행 절차 MySQL 엔..
-
[Cassandra] Cassandra는 데이터를 어떻게 쓸까?Computer Science/Cassandra 2024. 2. 17. 00:58
Cassandra는 데이터를 어떻게 쓸까? 이번 글은 잘못된 정보 또는 뇌피셜 정보가 많이 섞여 있을 수 있음을 미리 말씀드리면서, 카산드라가 데이터를 저장(INSERT)할 때 내부적으로 어떤 과정을 거치는지에 대해서 정리해보겠습니다. 커밋 로그(Commit log) 데이터 쓰기 memtable 데이터 쓰기 memtable 데이터 플러시(flush) => memtable이 설정한 용량을 넘었을 경우 SSTables Disk에 데이터 저장 카산드라에서 쓰기(INSERT) 작업이 발생했을 때 위와 같은 동작이 존재합니다. 그림에서 보면 memtable은 메모리에 있고, 커밋 로그, SSTable은 Disk에 있는 것을 알 수 있습니다. 각 특징은 아래와 같습니다. Memtable – Memtable은 메모리..
-
[Cassandra] Cassandra vnode란?Computer Science/Cassandra 2024. 2. 13. 00:20
Cassandra vnode란 무엇일까? 카산드라에서 node라는 개념 하위에 vnode 라는 것이 존재하는데요. vnode는 무엇이며 카산드라에서 vnode를 사용하는 이유가 무엇인지 알아보겠습니다. (vnode 개념 찍먹하기) 들어가기 전에 Cassandra를 사용할 때 노드마다 데이터 분산을 균등하게 하기 위해서는 파티셔닝을 올바르게 진행해야 합니다. 혹시나 카산드라 토큰 할당 방식에 대해 모르고 있다면 여기 에서 토큰 할당 방법에 대해서 보고 오는 것을 추천드립니다. 카산드라 토큰의 범위는 -2^63 to +2^63 -1 이고, Partitioner는 Murmur3Partitioner(default)를 사용하여 데이터 분배를 진행합니다. (Link) node start range end range..
-
[Cassandra] Cassandra Consistency Level 이란?Computer Science/Cassandra 2024. 2. 12. 01:49
Cassandra Consistency Level 알아보자 이번 글에서는 카산드라 Write, Read 각각 Consistency Level에 대해서 어떤 특징이 있는지 알아보겠습니다. Casssandra CAP 특징 카산드라는 CAP 3가지 특징 중에 AP 시스템으로 높은 가용성과 파티션 허용 오차를 제공합니다. 상황에 따라 CP시스템으로 동작하도록 설정할 수도 있습니다. 즉, 카산드라에서는 Wrtie, Read의 Consitency Level을 어떤 값으로 설정하냐에 따라서 AP 시스템이 될 수도 있고, CP 시스템이 될 수도 있습니다. Consistency Level 이란? 일관성 수준은 코디네이터(coordinator) 노드가 non-lightweight transaction을 성공적으로 처리하기..
-
[Cassandra] Cassandra Partition에 대해 알아보자Computer Science/Cassandra 2024. 2. 5. 01:23
Cassandra Partition에 대해 알아보자 고가용성과 확장성을 위해 설계된 분산형 NoSQL 데이터베이스 시스템인 Cassandra에서 파티셔닝은 중요한 개념입니다. Cassandra는 데이터를 더 작은 파티션으로 나누어 클러스터에 분산하는 과정인 파티셔닝을 통해서 여러 노드에 걸쳐 데이터를 저장합니다. 카산드라를 사용할 때 성능을 최적화하고 데이터 분산을 균일하게 하기 위해서는 파티셔닝을 제대로 이해하고 구성하는 것은 아주 중요하고 필수적입니다. (안그러면 카산드라 사용하는 이유 및 효율성이 매우 떨어지는..) 본격적인 내용을 들어가기 전에 가볍게 Cassandra Partition Key, Clustering Key, Primary Key에 대해서 살짝만 알아보겠습니다. Primary Key..
-
[Kafka] Kafka를 처음 공부할 때 보면 좋은 내용들DevOps/Kafka 2023. 1. 8. 00:57
Kafka 처음 사용할 때 알면 좋은 것들 이 글은 제가 Kafka를 사용하면서 겪은 경험보다는 Kafka를 공부하면서 처음 사용할 때 알면 좋은 것들의 이론에 대해 정리한 글입니다. 참고한 곳은 맨 아래에 있습니다. Kafka 기본 Cluster, Broker란? Lag 란? Topic, Partition 이란? 레코드란? 컨트롤러란? 코디네이터란? 데이터 삭제 Replication Factor란? 리더 팔로워란? ISR 이란? Producer Producer 주요 옵션 ack=all과 브로커의 min.insync.replicas 옵션의 관계 Consumer Consumer 대표 옵션 컨슈머 그룹이란? 컨슈머 리밸런스 특징 컨슈머 하트비트란? 컨슈머 그룹 특징 토픽의 파티션에는 하나의 컨슈머만 연결 가..