[Datamates] dbt 모델에 컬럼 레벨 리니지 구축하기
dbt 산출물과 카탈로그 정보를 SQLGlot으로 분석해 컬럼 간 의존 관계를 계산하고 PostgreSQL에 메타데이터로 저장한 과정을 정리한다.
Recent posts
[Datamates] 데이터 플랫폼의 Spark + Iceberg를 DuckDB + DuckLake로 전환한 이유
데이터 규모에 비해 무거웠던 Spark와 Iceberg 중심 구조를 DuckDB와 DuckLake로 단순화한 과정과 결과를 정리한다.
[Datamates] 데이터 품질 진단 페이지 설계
dbt 테스트 결과에 원인, 영향 범위와 이력을 연결해 데이터 품질 문제의 조치 순서를 정하는 진단 페이지를 설계한다.
[Datamates] Superset 기반 데이터 분석 기능 통합
Apache Superset을 시각화 엔진으로 사용하면서 데이터 플랫폼 안에서 하나의 분석 기능처럼 제공하는 통합 구조를 설계한다.
[dbt] dbt 기반 데이터 모델링과 파이프라인 설계
테스트 프로젝트로 dbt의 모델 실행, 품질 검증, 메타데이터 산출, 환경 분리를 실측해 도구가 제공하는 범위와 제공하지 않는 범위를 정리한다.