Data Engineering/Database2 BigQuery 파티셔닝과 클러스터링 소개 이번 글에서는 GCP 에서 제공하는 데이터웨어하우스 서비스인 BigQuery 에서 제공하는 파티셔닝과 클러스터링에 대해서 소개하고자 합니다. 주로 대량의 데이터를 저장하고 처리하는 목적으로 사용되는 데이터베이스이기 때문에 테이블 설정이 잘 되어 있지 않는 경우에는 생각 이상의 비용을 초래할 수 있습니다. 물론, 쿼리 자체도 튜닝이 되면 좋지만, 동일한 쿼리라는 가정 하에 테이블 성능을 최적화하는 방법들에 대해서 알아보는 글입니다. BigQuery 비용 체계 제일 먼저 짚고 넘어가고 싶은 부분은 비용입니다. 사실 성능이 어느 정도 저하되었다고 하더라도, BigQuery 의 드레멜 엔진과 저장 방식을 통해 성능이 어느 정도 잘 나옵니다. 이러한 부분들이 있더라도 읽지 않아도 되는 데이터를 읽는 경우에는.. 2023. 11. 1. SQLite 를 통해 배우는 데이터베이스 여행 소개 최근 들어 이것저것 해보면서 재밌는 것을 찾아보는 시간들을 지났습니다. 그러면서 현재 업무 특성상 많이 접하는 데이터베이스에 대해서 문득 궁금증이 생겼습니다. 이전부터 데이터베이스 시스템에 대한 설계나 구조로 데이터를 효율적으로 조회하거나 저장하는 방법들 등에 대해서는 연구도 해봤고 실전도 조금 해봤습니다. 하지만 실제로 내부 데이터베이스 엔진이 어떻게 구성되고 코드 레벨에서 어떻게 구현이 되었는지 궁금해 본적이 없다는 것을 알게 되면서 한번 도전해보기로 했습니다. 여행 목표 이번 여행 목표는 데이터베이스 구조를 파악하고 전반적으로 코드가 어떻게 돌아가는지 확인하는 것입니다. 부가적인 목표는 C 언어도 학습하고 SQLite 와 다른 데이터베이스 시스템 (PostgreSQL 등) 이 어떻게 다른지 원.. 2023. 7. 8. 이전 1 다음
