Operator 파악하기

airflow DAGs 에서 파이썬 오퍼레이터가 정확히 어떻게 작동되는지에 대한 개념이 애매한 상태로 실무에서 적용해보고자 시도해본 적이 많았다.

 

그때마다 굉장한 어려움이 있었는데..역시 도서를 보고 개념부터 이해해가니 쉽게 이해할 수 있었다.

 

우선 함수를 정의 하는 부분의 코드들이 상단에 있다는 가정하에,

 

def action_func(x) :
	y = x+2
	return y
    
    
get_pictures = PythonOperator(
    task_id="get_pictures", 
    python_callable=action_func, 
    dag=dag
)

 

위와 같은 코드에서 예로 들어 설명을 한다면, 실제로 파이썬 작업이 이루어지는 것은 함수 action_func 안의 코드이다.

해당 함수를 선언하기 위해서 하단의 Python 오퍼레이터를 구체화하는 코드라고 생각하면 된다.

 

BashOperator 는 파이썬 오퍼레이터와 비슷한 구조이지만, shell 스크립트를 사용할 수 있는 오퍼레이터이다.

 

큰 틀에서 보면 태스크 안에 각각의 오퍼레이터들이 작동하는 방식이다.