데이터를 기반으로

DAG에 새로운 스크립트를 업로드하고 나서 웹에서 확인하는데 보여지지 않아 기존에 띄워져 있던 webserver를 재실행하고자 했다. 그래서, 커널을 열고 기존 처럼 webserver 를 실행하면 재실행이 될 줄 알았는데, 위 사진과 같이 실행이 안되고, Can't connect to 메시지를 보이며 계속 멈춘 상태가 되었다. 그래서 특정 포트를 지정하고 실행해보고자 아래와 같이 실행했다. 8080 포트로 강제 부여해서 실행할 수 있을까? 하는 시도로 해보았지만...결과는 동일했다. 여기 저기 찾아보니 실행되고 있는 것을 종료시키고 실행해야된다고 나와있었다. 명령어 : ps -f -> 현재 실행되고 있는 모든 프로세스들을 보여준다. 명령어 : kill - (종료하고자 하는 PID) -> 해당 프로세스(P..

[ Airflow 살펴보기 ] Airflow란, 워크플로우를 개발하고 모니터링하기 위한 오픈 소스 솔루션 이다. Airflow의 기능 중 스케줄링과 데이터 파이프라인 관리 등이 존재한다. 그 중 파이프라인에 대한 부분에 간단한 예시가 있다. 목적 : 실시간 날씨 데이터를 대시보드에 보여주고 싶다. 위와 같은 목표를 실행하기 위해 각각 세분화된 프로세스를 나누어야한다. 1. 먼저 날씨 API를 통해 일기 예보 데이터를 가져온다. 2. 서비스 목적에 맞도록 데이터를 정제하거나 변환한다. (예. 온도를 화씨에서 섭씨로 변환) 3. 변환된 데이터를 날씨 대시보드로 전송한다. 이렇게 3가지의 프로세스(이후에는 task라고 지칭함)를 나눠 각각 실행하며, 오류를 관리할 수 있도록 할 수 있는게 airflow의 파이..