5 Useful Loop Patterns in dbt

Common and generally applicable Jinja Loops for SQL transformation in dbt

https://blog.det.life/5-useful-loop-patterns-in-dbt-f1d959ab38b9

dbt에서 Jinja 루프의 5가지 주요 패턴

동적 CASE 문 생성

•

목적: 제품명과 카테고리 간의 매핑을 자동화하여 데이터 분류를 효율적으로 수행

•

구현 방법:

{% set type_mapping = {
  "shirt": "clothing",
  "truck": "vehicle",
  "hat": "clothing"
} %}

case
  {% for key, value in type_mapping.items() %}
    when product_name == '{{ key }}' then '{{ value }}'
  {% endfor %}
  else 'other'
end as product_type
SQL
복사

•

장점:

◦

매핑 규칙 변경 시 dictionary만 수정하면 됨

◦

수동으로 CASE 문을 작성할 필요가 없음

◦

코드의 가독성과 유지보수성 향상

UNION 문 생성

•

목적: 여러 관련 테이블의 데이터를 하나로 통합

•

구현 방법:

{% set products = ["pants", "shirts", "shoes"] %}

{% for product in products %}
  select
    id,
    product_name,
    product_price
  from {{ ref('seed_' + product) }}
  {% if not loop.last %}union all{% endif %}
{% endfor %}
SQL
복사

•

장점:

◦

새로운 제품 테이블 추가 시 리스트만 업데이트하면 됨

◦

동일한 구조를 가진 여러 테이블을 쉽게 통합

◦

코드 중복 최소화

CTE 자동화

•

목적: 여러 소스 테이블에 대한 공통 테이블 표현식을 자동 생성

•

구현 방법:

{% set sources = ["customers", "orders", "inventories"] %}

with
{% for source in sources %}
  {{ source }}_cte as (
    select * from {{ ref('seed_' + source) }}
  )
  {% if not loop.last %},{% endif %}
{% endfor %}
SQL
복사

•

장점:

◦

복잡한 조인 쿼리를 더 깔끔하게 구성

◦

새로운 데이터 소스 추가가 용이

◦

일관된 CTE 네이밍 컨벤션 유지

유연한 집계 처리

•

목적: 여러 지역이나 카테고리에 대한 집계를 자동화

•

구현 방법:

{% set regions = ["north", "south", "east", "west"] %}

select
  {% for region in regions %}
    sum({{ region }}_sales) as total_{{ region }}_sales
    {% if not loop.last %}, {% endif %}
  {% endfor %}
SQL
복사

•

장점:

◦

새로운 지역 추가 시 리스트만 수정하면 됨

◦

일관된 집계 로직 적용

◦

실수 가능성 감소

함수 파라미터 생성

•

목적: 통계 함수에 대한 여러 파라미터를 동적으로 생성

•

구현 방법:

{% set percentiles = range(25, 99, 25) %}

select
  {% for p in percentiles %}
    percentile_cont({{ p }} / 100)
      within group (order by price) as price_p{{ p }}
    {% if not loop.last %}, {% endif %}
  {% endfor %}
SQL
복사

•

장점:

◦

분위수 계산을 자동화

◦

파라미터 값의 범위를 쉽게 조정 가능

◦

여러 지표에 대한 일관된 통계 계산

모범 사례와 주의사항:

루프 사용 시 고려사항:

•

적절한 들여쓰기로 가독성 유지

•

loop.last를 활용한 구분자(쉼표 등) 관리

•

명확한 변수명과 주석 사용

성능 최적화:

•

너무 큰 리스트나 복잡한 로직은 피하기

•

생성된 SQL의 실행 계획 확인

•

적절한 테스트 케이스 작성

유지보수성:

•

리스트나 딕셔너리는 별도 매크로나 설정 파일로 관리

•

문서화를 통한 패턴 사용법 공유

•

일관된 네이밍 컨벤션 유지