Principles of Data layers in Data Platform

데이터 플랫폼의 주요 계층 구조:

Staging 계층 (원재료 입고)

•

Raw Layer

◦

소스 시스템의 데이터를 있는 그대로 저장

◦

Snowflake, BigQuery, RedShift 등의 데이터 웨어하우스에 적재

◦

ELT 도구(Fivetran, Stitchdata 등)로 데이터 로드

◦

데이터 엔지니어링 팀이 관리하며 스키마 수정 불가

◦

명명 규칙: <SOURCE_SYSTEM_NAME>_<BRAND_NAME>

•

Standardised Layer

◦

올바른 데이터 타입으로 변환

◦

메타데이터 관리 (설명, PII 분류 등)

◦

데이터 변경 이력 관리

◦

필요한 데이터 서브셋만 포함

Core 계층 (요리 준비)

•

Prep Layer

◦

여러 소스의 데이터를 일관된 구조로 통합

◦

속성 매핑 및 비즈니스 키 식별

◦

범용 데이터 정제 규칙 적용

•

Conformed Layer

◦

비즈니스 규칙과 복잡한 변환 적용

◦

전사적 데이터 도메인 구축

◦

단일 진실 공급원(Single Source of Truth) 역할

◦

Reference Data를 활용한 데이터 보강

Presentation 계층 (고객 서빙)

•

Data Mart

◦

Star Schema 모델 사용 (Kimball 방법론)

◦

분석 목적에 최적화된 구조

◦

Fact 테이블과 Dimension 테이블로 구성

•

Report

◦

완전히 비정규화된 데이터셋 제공

◦

미리 조인되고 집계된 데이터

◦

경영진이 직접 접근 가능

성공적인 데이터 플랫폼 운영을 위한 핵심 요소:

분석가/비즈니스 팀과의 지속적인 소통

데이터 사용 현황 모니터링

민첩성 확보

지속적인 피드백과 개선

주목할 만한 점:

•

Medallion 아키텍처(Bronze, Silver, Gold)는 Databricks가 도입한 명명 규칙일 뿐, 기술적 특징은 없음

•

소규모/저성숙도 조직의 경우 Data Vault 패턴 도입은 불필요

•

데이터 계약(Data Contract)이 중요: 데이터 가용성, SLA 합의, 구조 변경 관리 등

이러한 계층 구조를 통해 일관성, 신뢰성, 중복 제거, 민첩성, 접근성을 확보하여 데이터 기반 의사결정을 지원합니다.