Amazon Data Firehose와 Apache Iceberg를 이용한 Transactional Data Lake 구축하기

CDC 기반 upserting 기능을 제공하는 Transactional Data Lake를 Apache Iceberg와 Amazon Kinesis Data Firehose를 이용해서 구축하는 방법을 소개합니다. Amazon Kinesis Data Firhose에서 MySQL과 같은 RDS에서 발생하는 CDC 데이터를 실시간으로 S3에 Apache Iceberg 포맷으로 저장할 수 있습니다. 이러한 Amazon Kinesis Data Firehose를 이용한 Transactional Data Lake 아키텍처 구축 방법을 소개합니다. - GitHub: https://github.com/aws-samples/transactional-datalake-using-amazon-datafirehose-iceberg - 짧은 데모 영상 보기: https://youtu.be/t9gLkpGY4es AWS 스타트업 팀에서는 스타트업 전문가에게 사업 지원, 클라우드 기술, 비용 등과 관련하여 상담 받을 수 있는 Meet the Expert 프로그램을 운영하고 있습니다. 상담을 통해 궁금하신 점을 해결해 보세요. https://pages.awscloud.com/office-hour-startup.html #ApacheIceberg #DataLake #AWSDMS