데이터 플로우(airflow)
1.
로컬에 스펙트로그램 이미지가 저장이 되면 해당 이미지를 로컬 mysql db에도 저장을 해준다
2.
저장이 완료되면 해당 mysql을 s3에 hook 시켜준다
3.
이 때 s3에는 upsert 방식으로 업데이트를 해준다
OLAP 환경
1.
s3로부터 google drive로 데이터를 내려받는다
2.
만약, 네트워크 IO를 줄이기 위해서는 드라이브가 아닌 Colab 디렉토리 내에 저장으로 하면 모델을 더 빠르게 돌릴 수 있지만 해당 모델이 복잡하지 않다고 판단이 되기 때문에