[Airflow] Airflow UI

개요

docker-compose를 통해 Airflow를 설치하고, Airflow Web UI를 띄우는 부분까지 성공하였습니다. 이번에는 Airflow Web UI를 둘러보며 무슨 기능이 존재하는지 확인해보도록 하겠습니다.

 

* Airflow 설치를 진행하려면 다음 글을 참고하세요.

https://twodeveloper.tistory.com/99

[Airflow] Airflow Install

---

Airflow Web UI

1. 로그인 이 후 UI

다음과 같이 DAG 들이 위치해 있는 것을 확인할 수 있습니다. 맨 위에 보이는 'download_rocket_launches'는 책의 예제 스크립트를 가져와서 dag 디렉토리에 집어넣은 이 후 띄어진 모습입니다. 'download_rocket_launches'를 기반으로 Airflow Web UI를 둘러보도록 하겠습니다.

---

2. Airflow Graph View

다음과 같이 Graph View에는 Dag의 구조와 모든 Task 실행 순서 및 실행 방법을 연결해 보여주고 있습니다.

 

2.1 상태 범례

실행 시에 볼 수 있는 모든 상태 색상을 표시해 주며, 위 보시는 바와 같이 상태 범례를 보며 Dag의 상태를 확인할 수 있습니다.

 

2.2 Dag 실행

Toggle 버튼을 통해 Dag를 On/Off로 실행 및 정지 시킬 수 있습니다. Dag를 실행 시키기 위해서는 먼저 Toggle 버튼을 'On' 시키고, 

 

그 다음 위에 보이는 재생 버튼을 눌러 실행시킵니다.

 

2.3 결과 확인

'notify' 태스크를 클릭하면 다음과 같은 창이 뜹니다. notify 태스크를 통해 dag의 결과를 확인합니다. 실제 구현시에는 슬랙이나 이메일을 통해 새로 다운로드한 이미지 정보를 확인할 수 있습니다. 보이는 로그 부분은 단순하게 다운로드 된 이미지 개수를 출력하도록 하였습니다.

 

2.4 Log 확인

Task를 클릭하여 'Log'를 클릭하면 해당 Task의 Log를 확인할 수 있습니다. 위 부분은 'notify' Task의 Log 입니다.