Delta Live Tables에서 CDC 처리: 브론즈, 실버, 골드 테이블 구현 시 dlt.apply_changes 활용 방법

소개 저는 데이터브릭스에서 raw 데이터를 수집할 때 AWS DMS 를 활용하고 있습니다.AWS RDS 에서 생성된 binary log 를 기반으로 데이터 변경분과 관련된 parquet 파일을 S3에 생성합니다. 그리고 생성된 parquet 파일을 데이터브릭스에서 제공하는 autoloader 의 기능 중 directory listing mode 를 기반으로 CDC 처리를 진행하고 있습니다. 이때 bronze, silver, gold 테이블을 ...