개요 - Apache Airflow에 대한 개념 설명 및 어떠한 분야에서 사용되어야 적합한지에 대한 이론 설명 ■ Apache Airflow 란? - Data Pipeline을 처리하기 위해 배치 태스크에 중심을 둔 Framework 이다. - 유연한 Python Framework를 사용해 쉽게 Data Pipeline을 구축할 수 있게 해 준다. - Data Process 과정에서 중요한 역할 을 수행하며 분산 시스템에서 발생하는 작업을 조율한다. - 직접적으로 Data 처리 작업을 수행하지는 않지만, Data 처리를 위한 다양한 구성 요소들을 조정한다. 1. Data Pipeline - 데이터 파이프라인은 여러 Task 또는 동작을 구성하여 원하는 결과를 얻는다. - 각 Task는 정해진 순서대로 진..
