데이터를 기반으로

airflow DAGs 에서 파이썬 오퍼레이터가 정확히 어떻게 작동되는지에 대한 개념이 애매한 상태로 실무에서 적용해보고자 시도해본 적이 많았다. 그때마다 굉장한 어려움이 있었는데..역시 도서를 보고 개념부터 이해해가니 쉽게 이해할 수 있었다. 우선 함수를 정의 하는 부분의 코드들이 상단에 있다는 가정하에, def action_func(x) : y = x+2 return y get_pictures = PythonOperator( task_id="get_pictures", python_callable=action_func, dag=dag ) 위와 같은 코드에서 예로 들어 설명을 한다면, 실제로 파이썬 작업이 이루어지는 것은 함수 action_func 안의 코드이다. 해당 함수를 선언하기 위해서 하단의 Py..

도서명 : 혼자 공부하는 머신러닝+딥러닝 출판사 : 한빛미디어 지은이 : 박해선 지음 독서 기간 : 2023-04-10 ~ 2022-04-22 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 혼공시리즈 책을 기존에 접하면서 굉장히 좋다고 느꼈기에, 해당 도서를 신청해서 독서해보지 않을 수 없었다. 머신러닝과 딥러닝을 혼자 공부할 때 엄청난 어려움들이 있었고 그렇게 어려움이 있던 분야의 공부를 혼공 시리즈는 어떻게 풀어냈을지 궁금하여 채택하게 되었다. 먼저, 목차부터 확인해보면 아래와 같다. Chapter 01 나의 첫 머신러닝 ▶ 이 생선의 이름은 무엇인가요? __ 01-1 인공지능과 머신러닝, 딥러닝 ▶ 인공지능과 머신러닝, 딥러닝은 무엇일까요? __ 01-2 코랩과 주피터 노트북 ▶ 코..

DAG 란? -> 방향성 비순환 그래프(Directed Acyclic Grapch)라고 부르며, airflow에서 각 태스크 별로 어떻게 실행되는 지 순서를 확인할 수 있는 그래프이며, 해당 그래프로 전체 파이프라인을 직관적으로 표현할 수 있다. 화살표의 관계는 방향성의 시작점의 태스크가 완료되어야 방향성이 가리키는 태스크를 실행할 수 있다는 의미이다. 이러한 관계이기에, 반복이나 순환을 허용하지 않는다. 만약, 허용하게 된다면 논리적 오류가 발생되어 교착상태(데드락 = deadlock)로 이어진다. [ 예시 사진 ] 태스크 1의 순서인 첫번째가 혹시, 병렬 구조로 2개의 태스크가 독립적으로 이루어지는 케이스들도 존재한다. 해당 태스크는 병렬로 실행하여 가용 컴퓨팅 리소스를 더 효율적으로 사용할 수 있다..

[ Airflow 살펴보기 ] Airflow란, 워크플로우를 개발하고 모니터링하기 위한 오픈 소스 솔루션 이다. Airflow의 기능 중 스케줄링과 데이터 파이프라인 관리 등이 존재한다. 그 중 파이프라인에 대한 부분에 간단한 예시가 있다. 목적 : 실시간 날씨 데이터를 대시보드에 보여주고 싶다. 위와 같은 목표를 실행하기 위해 각각 세분화된 프로세스를 나누어야한다. 1. 먼저 날씨 API를 통해 일기 예보 데이터를 가져온다. 2. 서비스 목적에 맞도록 데이터를 정제하거나 변환한다. (예. 온도를 화씨에서 섭씨로 변환) 3. 변환된 데이터를 날씨 대시보드로 전송한다. 이렇게 3가지의 프로세스(이후에는 task라고 지칭함)를 나눠 각각 실행하며, 오류를 관리할 수 있도록 할 수 있는게 airflow의 파이..

시작 일시 : 2023.03.24 해당 독서를 기반으로 웹 서칭 or udemy를 통해서 스터디를 진행하고자 한다.

도서명 : 트랜스포머를 활용한 자연어 처리 출판사 : 한빛미디어 지은이 : 루이스 턴스톨, 레안드로 폰 베라, 토마스 울프 지음 독서 기간 : 2023-03-10 ~ 2022-03-26 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 이번에는 요즘 실무에서 가장 많이 활용하고 있는 NLP관련된 도서를 택해서 읽어보았다. 아직 지식이 부족해 읽는 데 생각보다 어려움을 느낀 책이었다. 머릿글에서 설명이 나오는 부분이지만, 해당 도서를 구매하실 분들은 최소한의 Transformer 의 개념과 기본적인 딥러닝, LSTM 등 NLP 자연어 관련 모델링을 한번 정도는 구현을 해본 분들이 읽기에 적합한 도서 같다. [ 목차 ] CHAPTER 1 트랜스포머 소개 CHAPTER 2 텍스트 분류 CHAPTE..