목록Airflow 개념 (1)

데이터를 기반으로

Airflow 개념 및 설치

[ Airflow 살펴보기 ] Airflow란, 워크플로우를 개발하고 모니터링하기 위한 오픈 소스 솔루션 이다. Airflow의 기능 중 스케줄링과 데이터 파이프라인 관리 등이 존재한다. 그 중 파이프라인에 대한 부분에 간단한 예시가 있다. 목적 : 실시간 날씨 데이터를 대시보드에 보여주고 싶다. 위와 같은 목표를 실행하기 위해 각각 세분화된 프로세스를 나누어야한다. 1. 먼저 날씨 API를 통해 일기 예보 데이터를 가져온다. 2. 서비스 목적에 맞도록 데이터를 정제하거나 변환한다. (예. 온도를 화씨에서 섭씨로 변환) 3. 변환된 데이터를 날씨 대시보드로 전송한다. 이렇게 3가지의 프로세스(이후에는 task라고 지칭함)를 나눠 각각 실행하며, 오류를 관리할 수 있도록 할 수 있는게 airflow의 파이..
스터디/Apache Airflow 2023. 3. 24. 15:38
이전 Prev 1 Next 다음