Search
💽

Data Engineering

YUKI’s DEV BLOG
Apache Spark
11
Name
Tags
Date
Category
[러닝 스파크 3장] 아파치 스파크의 정형화 API
Open
Data Engineering
Apache Spark
2023/03/03
[러닝스파크 4장] 스파크 SQL과 데이터 프레임
Open
Apache Spark
Learning Spark
책 정리
Data Engineering
2023/03/17
[러닝스파크 6장-2] Spark Dataset 개념과 이해
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/03/28
[러닝스파크 5장] 스파크 SQL과 데이터 프레임: 외부 데이터 소스와 소통하기
Open
Data Engineering
Apache Spark
Learning Spark
2023/03/21
[러닝스파크 1장] 아파치 스파크의 분산 실행
Open
Apache Spark
Data Engineering
책 정리
Learning Spark
2023/02/17
[러닝 스파크 2장] 아파치 스파크 시작
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/02/24
[러닝스파크 11장] 아파치 스파크로 머신러닝 파이프라인 관리, 배포 및 확장
Open
Data Engineering
Learning Spark
Apache Spark
책 정리
2023/05/01
[러닝 스파크 9장] 아파치 스파크를 통한 안정적인 데이터 레이크 구축 + 델타 레이크
Open
Data Engineering
Learning Spark
Apache Spark
2023/04/17
[러닝스파크 10장] MLlib을 사용한 머신러닝
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/04/21
[러닝 스파크 7장] 스파크 애플리케이션의 최적화 및 튜닝
Open
Data Engineering
Apache Spark
Learning Spark
2023/04/07
[러닝스파크 6장] 스파크 SQL과 데이터 세트
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/03/25
Apache Airflow
30
Name
Tags
Date
Category
Airflow with ECS task operator (Fargate Spot)
Open
Apache Airflow
Data Engineering
2024/06/02
Airflow Latest only operator 작성
Open
Apache Airflow
Data Engineering
2024/06/02
Airflow DagFile Processing error 해결 및 파싱 안정화 (DagBag import timeout, EFS를 얹은)
Open
Apache Airflow
Data Engineering
2024/12/05
Airflow API 톺아보기
Open
Apache Airflow
2023/12/17
Airflow 자주 쓰는 명령어 정리
Open
Apache Airflow
2023/11/23
[Airflow] Dag Dependencies (TriggerDagRunOperator, Sensor, ExternalTaskSensor)
Open
Apache Airflow
2023/11/17
[Airflow] Task-Group & Dynamic Dags
Open
Apache Airflow
Data Engineering
2023/11/20
Airflow 설치 방법
Open
Data Engineering
Apache Airflow
2023/11/07
Airflow - Gsheet 사용법 정리
Open
Apache Airflow
Data Engineering
2023/11/03
[Airflow] Metadatabase로 RDS 교체
Open
Apache Airflow
2023/10/17
[Airflow] Jinja Template with Airflow
Open
Apache Airflow
2023/10/12
MySQL 테이블 복사하기(S3 Connection, MySQL Connection, sql_to_s3)
Open
Apache Airflow
Data Engineering
2023/10/01
[Airflow] Primary Key Uniqueness란?, Upsert
Open
Apache Airflow
Data Engineering
2023/09/20
[Airflow] Open Weathermap DAG 구현
Open
Data Engineering
Apache Airflow
2023/09/16
Yahoo Finance API DAG(update symbol) 작성
Open
Apache Airflow
Data Engineering
2023/09/15
데이터 파이프라인 입문
Open
Apache Airflow
Data Engineering
2023/09/15
Apache Airflow 입문 및 구조, 개념
Open
Apache Airflow
Data Engineering
2023/09/15
[Airflow] 세계 나라 정보 API 사용 DAG
Open
Apache Airflow
Data Engineering
2023/09/04
airflow.cfg, 타임존 설명
Open
Apache Airflow
Data Engineering
2023/09/05
[Airflow] Summary table 만들기 (ELT version 1)
Open
Apache Airflow
Data Engineering
2023/04/17
Airflow 운영 상의 어려움 + Executor 개념 + Airflow 아키텍처 리뷰
Open
Apache Airflow
Data Engineering
2023/04/21
Transaction
Open
Apache Airflow
Data Engineering
2023/09/15
Airflow docker-compose 리뷰 및 운영 고민 + .airflowignore
Open
Apache Airflow
Data Engineering
2023/04/08
[Airflow] Custom 컴포넌트 빌드
Open
Apache Airflow
2023/08/17
Airflow with Test in CI
Open
Apache Airflow
Data Engineering
2023/08/30
Backfill과 Airflow
Open
Apache Airflow
Data Engineering
2023/09/12
Airflow worker node dns resolution 문제 (Airflow Worker 로그 접근 문제 해결방법)
Open
Apache Airflow
Data Engineering
2024/12/15
Airflow on Kubernetes
Open
Apache Airflow
Data Engineering
k8s
2024/01/17
Airflow 아키텍처 및 Executor들
Open
Apache Airflow
Data Engineering
2024/01/17
Airflow DAG 작성(PythonOperator, params, context, Xcom, Airflow.cfg, DAG Parameters)
Open
Apache Airflow
Data Engineering
2023/11/07
Elasticsearch
3
Name
Tags
Date
Category
[엘라스틱 서치 실무 가이드] 5장 데이터 집계
Open
엘라스틱서치 실무가이드
Elasticsearch
Data Engineering
책 정리
2024/06/10
[배민] 실시간 인덱싱을 위한 Elasticsearch 구조를 찾아서 (feat. nested 구조 최적화 과정)
Open
Elasticsearch
Tech Blog Review
Data Engineering
2024/06/09
[엘라스틱 서치 실무 가이드] 4장 데이터 검색
Open
Elasticsearch
엘라스틱서치 실무가이드
책 정리
Data Engineering
2024/06/02
Kafka
14
Name
Tags
Date
Category
[아파치 카프카] 토픽 정책과 ISR
Open
Kafka
Data Engineering
Backend
2024/06/16
Opensearch sink connector(feat. MSK)
Open
Kafka
Backend
Data Engineering
2024/04/18
[카프카] 멱등성 프로듀서, 트랜잭션 프로듀서와 컨슈머
Open
Backend
Data Engineering
Kafka
2024/04/16
[카프카] 카프카 프로듀서 정리
Open
Kafka
Backend
Data Engineering
2024/04/06
[카프카] 카프카 컨슈머 소개
Open
Kafka
Backend
Data Engineering
2024/04/06
카프카 핵심 가이드 14장 - 스트림 처리
Open
Data Engineering
Kafka
2024/12/08
카프카 핵심 가이드 ch.9 (데이터 파이프라인)
Open
Data Engineering
Kafka
2024/11/10
카프카 핵심 가이드 ch.10 (미러 메이커)
Open
Data Engineering
Kafka
2024/11/10
AB180의 카프카 도입 및 실시간 아키텍처 개선 사례 (리뷰)
Open
Data Engineering
Kafka
2024/09/28
카프카 핵심 가이드 ch.6 (카프카 내부 매커니즘)
Open
Data Engineering
Kafka
2024/09/28
카프카 핵심 가이드 5장
Open
Data Engineering
Kafka
2024/09/22
카프카 프로듀서 (카프카 핵심 가이드 ch 3)
Open
Data Engineering
Kafka
2024/09/08
카프카 핵심 가이드 ch.1
Open
Kafka
2024/09/01
카프카 핵심 가이드 ch.2
Open
Kafka
2024/09/01
redis
1
Name
Tags
Date
Category
Data Engineering
52
Name
Tags
Date
Category
[아파치 카프카] 토픽 정책과 ISR
Open
Kafka
Data Engineering
Backend
2024/06/16
[엘라스틱 서치 실무 가이드] 5장 데이터 집계
Open
엘라스틱서치 실무가이드
Elasticsearch
Data Engineering
책 정리
2024/06/10
[배민] 실시간 인덱싱을 위한 Elasticsearch 구조를 찾아서 (feat. nested 구조 최적화 과정)
Open
Elasticsearch
Tech Blog Review
Data Engineering
2024/06/09
Airflow with ECS task operator (Fargate Spot)
Open
Apache Airflow
Data Engineering
2024/06/02
Airflow Latest only operator 작성
Open
Apache Airflow
Data Engineering
2024/06/02
[엘라스틱 서치 실무 가이드] 4장 데이터 검색
Open
Elasticsearch
엘라스틱서치 실무가이드
책 정리
Data Engineering
2024/06/02
Opensearch sink connector(feat. MSK)
Open
Kafka
Backend
Data Engineering
2024/04/18
[카프카] 멱등성 프로듀서, 트랜잭션 프로듀서와 컨슈머
Open
Backend
Data Engineering
Kafka
2024/04/16
[카프카] 카프카 프로듀서 정리
Open
Kafka
Backend
Data Engineering
2024/04/06
[카프카] 카프카 컨슈머 소개
Open
Kafka
Backend
Data Engineering
2024/04/06
Airflow DagFile Processing error 해결 및 파싱 안정화 (DagBag import timeout, EFS를 얹은)
Open
Apache Airflow
Data Engineering
2024/12/05
[Airflow] Task-Group & Dynamic Dags
Open
Apache Airflow
Data Engineering
2023/11/20
Airflow 설치 방법
Open
Data Engineering
Apache Airflow
2023/11/07
Airflow - Gsheet 사용법 정리
Open
Apache Airflow
Data Engineering
2023/11/03
MySQL 테이블 복사하기(S3 Connection, MySQL Connection, sql_to_s3)
Open
Apache Airflow
Data Engineering
2023/10/01
[Airflow] Primary Key Uniqueness란?, Upsert
Open
Apache Airflow
Data Engineering
2023/09/20
[Airflow] Open Weathermap DAG 구현
Open
Data Engineering
Apache Airflow
2023/09/16
Yahoo Finance API DAG(update symbol) 작성
Open
Apache Airflow
Data Engineering
2023/09/15
데이터 파이프라인 입문
Open
Apache Airflow
Data Engineering
2023/09/15
Apache Airflow 입문 및 구조, 개념
Open
Apache Airflow
Data Engineering
2023/09/15
[Airflow] 세계 나라 정보 API 사용 DAG
Open
Apache Airflow
Data Engineering
2023/09/04
airflow.cfg, 타임존 설명
Open
Apache Airflow
Data Engineering
2023/09/05
[Airflow] Summary table 만들기 (ELT version 1)
Open
Apache Airflow
Data Engineering
2023/04/17
Airflow 운영 상의 어려움 + Executor 개념 + Airflow 아키텍처 리뷰
Open
Apache Airflow
Data Engineering
2023/04/21
Transaction
Open
Apache Airflow
Data Engineering
2023/09/15
Airflow docker-compose 리뷰 및 운영 고민 + .airflowignore
Open
Apache Airflow
Data Engineering
2023/04/08
Airflow with Test in CI
Open
Apache Airflow
Data Engineering
2023/08/30
Backfill과 Airflow
Open
Apache Airflow
Data Engineering
2023/09/12
[러닝 스파크 3장] 아파치 스파크의 정형화 API
Open
Data Engineering
Apache Spark
2023/03/03
[러닝스파크 4장] 스파크 SQL과 데이터 프레임
Open
Apache Spark
Learning Spark
책 정리
Data Engineering
2023/03/17
[러닝스파크 6장-2] Spark Dataset 개념과 이해
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/03/28
[러닝스파크 5장] 스파크 SQL과 데이터 프레임: 외부 데이터 소스와 소통하기
Open
Data Engineering
Apache Spark
Learning Spark
2023/03/21
[러닝스파크 1장] 아파치 스파크의 분산 실행
Open
Apache Spark
Data Engineering
책 정리
Learning Spark
2023/02/17
[러닝 스파크 2장] 아파치 스파크 시작
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/02/24
[러닝스파크 11장] 아파치 스파크로 머신러닝 파이프라인 관리, 배포 및 확장
Open
Data Engineering
Learning Spark
Apache Spark
책 정리
2023/05/01
[러닝 스파크 9장] 아파치 스파크를 통한 안정적인 데이터 레이크 구축 + 델타 레이크
Open
Data Engineering
Learning Spark
Apache Spark
2023/04/17
[러닝스파크 10장] MLlib을 사용한 머신러닝
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/04/21
[러닝 스파크 7장] 스파크 애플리케이션의 최적화 및 튜닝
Open
Data Engineering
Apache Spark
Learning Spark
2023/04/07
[러닝스파크 6장] 스파크 SQL과 데이터 세트
Open
Data Engineering
Apache Spark
Learning Spark
책 정리
2023/03/25
Datahub가 메타 데이터를 저장하는 방식 (ElasticSearch, MetaDB)
Open
Data Engineering
datahub
2024/12/27
Airflow worker node dns resolution 문제 (Airflow Worker 로그 접근 문제 해결방법)
Open
Apache Airflow
Data Engineering
2024/12/15
카프카 핵심 가이드 14장 - 스트림 처리
Open
Data Engineering
Kafka
2024/12/08
Airflow on Kubernetes
Open
Apache Airflow
Data Engineering
k8s
2024/01/17
카프카 핵심 가이드 ch.9 (데이터 파이프라인)
Open
Data Engineering
Kafka
2024/11/10
카프카 핵심 가이드 ch.10 (미러 메이커)
Open
Data Engineering
Kafka
2024/11/10
AB180의 카프카 도입 및 실시간 아키텍처 개선 사례 (리뷰)
Open
Data Engineering
Kafka
2024/09/28
카프카 핵심 가이드 ch.6 (카프카 내부 매커니즘)
Open
Data Engineering
Kafka
2024/09/28
(Dbt) Data build tool - model 톺아보기
Open
Data Engineering
2024/09/25
카프카 핵심 가이드 5장
Open
Data Engineering
Kafka
2024/09/22
Airflow 아키텍처 및 Executor들
Open
Apache Airflow
Data Engineering
2024/01/17
Load more