고양이 두 잔

목차 회사에서 카프카를 사용한 데이터 파이프라인을 스터디하다 보니 데이터 추적을 위한 스키마의 필요성을 깨달았다. 그리고 검색을 해 본 결과 내가 찾던 대상이 레지스트리 스키마이며, 카프카를 사용하는 데 있어서는 사실상의 필수라 했다. 바쁘게 구현하느라 코드의 품질이 떨어지긴 하지만 그나마라도 다음 글에 올려두기로 하고, 이 글에서는 스키마 레지스트리와 Avro에 대해 짧게 짚고 넘어가자. Schema Registry 스키마 레지스트리는 일종의 데이터 저장소이다. RDBMS와 같이 스키마를 만들어서 중간에 자료를 저장하는 역할을 한다. 특별히 여러 언어와 서비스에서 사용하는 Avro 스키마를 저장 및 버전관리를 해주는 앱으로 보면 된다. 이를 통해 데이터의 생산(Produce)과 소비(Consume)가 ..

목차 NoSQL NoSQL은 Not only SQL의 약자이며, 기존의 관계형 데이터베이스에서 벗어난 저장방식을 가리킨다. 이에 관한 더 자세한 설명 및 SQL과의 비교는 예전에 정리한 적이 있으므로, 해당 게시글로 대체한다. [데이터베이스]SQL vs. NoSQL [데이터베이스]SQL vs. NoSQL NoSQL는 Not only SQL의 약자로, SQL만을 사용하지 않는 DBMS(DataBase Management System)을 말한다. 관계형 데이터베이스를 주로 사용하는 SQL과 달리 여러 유형의 데이터베이스를 사용하는 넓은 범위라고 보 gnidinger.tistory.com 이 글에서는 Node.js, TypeScript, 그리고 mongoose를 사용하는 환경을 기반으로 mongoDB의 1:N..

목차 개인 프로젝트를 진행하면서 이름만 많이 듣던 Reactive mongo DB를 사용하고 있다. 잘 모르는 채로 더듬더듬 쓰면서 경험치가 쌓이다 보니, 이제야 전반적인 개념이 궁금해져서 정리 시작. MongoDB 몽고 디비는 HUMONGOUS DB를 줄인 표현이다. 그 이름대로 대용량 환경에 대응하기 위해 개발되었다. 또한 몽고디비는 대표적인 NoSQL DB 중 하나이며, 문서 지향(Document-Oriented) 데이터 모델을 사용하고 JSON과 비슷한 동적 스키마형 도큐먼트(몽고DB에서는 이를 BSON이라 부른다)로 데이터를 저장 및 조회한다. 이베이, 뉴욕 타임스, 구글, 페이스북 등이 이 몽고디비를 주력으로 사용하고 있으며, 메모리 내에서 작업하도록 설계되어 있기 때문에 같은 조건에서 RDB..

Cache 전에 메모리에 대한 개념을 정리할 때, 캐시에 대해 적은 적이 있다. 쉽게 말하자면 캐시란 CPU와 메인 메모리 사이의 속도차에 의해 발생하는 병목현상을 줄이기 위해 존재한다. 이를 위해 CPU가 자주 사용할 것으로 예측되는 데이터를 메인 메모리로부터 미리 로드해 두는 기능을 하는데, 이때 적중률을 높이기 위해 사용되는 개념이 시간/공간/순차적 지역성이었다. 추가로 CPU는 메인 메모리를 읽기 전에 먼저 캐시를 확인하도록 조정되어 있다. Redis 레디스는 2009년 미국에서 태어난, 비교적 젊은 DBMS이다. 태어난지 얼마 되지 않았지만, NoSQL In-Memory DB 중에선 그 순위가 최상위권(4위)에 위치한다. 조금 구체적으로 레디스는 기존의 테이블 모양이 아닌 키-값(Key-Valu..

NoSQL는 Not only SQL의 약자로, SQL만을 사용하지 않는 DBMS(DataBase Management System)을 말한다. 관계형 데이터베이스를 주로 사용하는 SQL과 달리 여러 유형의 데이터베이스를 사용하는 넓은 범위라고 보면 된다. SQL과 NoSQL은 데이터가 만들어지는 방식, 데이터의 종류, 저장하는 방법 등이 다르다. 하나씩 천천히 살펴보자. 데이터 저장(Storage) 관계형 DB SQL을 이용해 정해진 규칙에 따라 만들어진 테이블에 데이터를 저장 미리 작성된 스키마를 기반으로 정해진 형식에 맞춰 데이터를 저장해야 함 NoSQL - 여러가지 모델을 사용해 데이터를 저장한다. Key-Value Store - 데이터가 Key-Value의 쌍으로 저장된다. Value엔 모든 형태의..