[Airflow] start_date, logical date, data interval 개념 정리
Airflow 스케줄링의 DAG Run, schedule, data interval, logical date, start_date 관계와 catchup·timetable에 따라 첫 실행 시각이 달라지는 조건을 정리한다.
Recent posts
[dbt] Semantic Layer 지표 정의 구조와 마트 테이블 방식 비교
dbt v1.12 최신 YAML 스펙 기준으로 Semantic Layer의 구성 요소와 entity·dimension·metric 정의 구조를 설명하고, 같은 질문에 대해 마트 테이블 방식과 비교해 SQL 생성 주체, 테이블 수, 정의 변경 범위의 차이를 정리한다.
[Spark] Spark Standalone과 YARN 클러스터 매니저 비교
Spark Standalone과 YARN이 익스큐터를 배치하고 자원을 나누는 방식과, 같은 설정 키를 두 매니저가 다르게 읽는 지점을 Spark 3.5 기준으로 정리한다.
[Spark] Iceberg 압축 이후 Spill 증가 원인 분석
Iceberg 데이터 파일을 압축한 뒤 Spark MERGE의 태스크당 입력 크기가 커지면서 실행 메모리 한도를 넘고 Spill이 증가한 원인을 정리한다.
[Databricks] Delta Lake Z-Order 다차원 정렬과 파일 건너뛰기
Delta Lake의 Z-Order가 여러 컬럼 값을 같은 파일에 모으는 원리와 정렬 방식별로 읽는 파일 수의 차이, 적용 방법과 컬럼 선택 기준, Liquid Clustering과의 차이를 정리한다.