데이터를 기반으로

도서명 :  머신러닝 리스크 관리 with 파이썬출판사 : 한빛미디어 지은이 : 패트릭 홀,제임스 커티스,파룰 판데이 지음 독서 기간 : 2024-06-15 ~ 2024-06-21 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다."  작년 부터 다짐한 것은 '분석가'가 아닌 '엔지니어'의 길로 조금은 틀어봐야겠다 라는 생각으로 공부를 하고 있는 중이다. 그러던 중 회사 업무가 ML 업무가 주어진 적도 있었고, 현재는 MLops 파이프라인 구축을 진행할 예정이다. 이러한 상황에서 해당 도서는 생각보다 많은 도움이 되었다. 단순히 모델러들의 입장에서도 더 좋은 더 robust한 모델을 만들기 위해 도움이 되겠지만, MLops 구축하는 분들에게도 도움이 될만한 책이라고 보여진다. 우선, 목차 부터..

도서명 : 데이터 메시(Data Mesh) 효과적인 데이터 활용을 위한 데이터 메시 도입 가이드 출판사 : 한빛미디어 지은이 : 세막 데그하니지음 독서 기간 : 2023-12-25 ~ 2024-01-06 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 우선 목차 부터 확인해보자. [ 목차 ] 프롤로그 진화적 소프트웨어 아키텍처 P.1 실생활에서의 데이터 메시 P.2 왜 데이터 메시로 변환해야 하는가 P.3 앞으로 가야 할 길 [PART 1 데이터 메시란] CHAPTER 1 데이터 메시를 요약하면 CHAPTER 2 데이터의 도메인 오너십 원칙 CHAPTER 3 제품으로서의 데이터 원칙 CHAPTER 4 셀프 서비스 데이터 플랫폼의 원칙 CHAPTER 5 연합 컴퓨팅 거버넌스의 원칙 [PART..

도서명 : 데이터 드리븐 리포트(상사와 고객을 설득하는 데이터 기반의 의사결정 with 파이썬) 출판사 : 한빛미디어 지은이 : 이상석 지음 독서 기간 : 2023-11-10 ~ 2022-11-22 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 우선 목차 부터 확인해보자. ｜1장 ｜ 데이터 드리븐 보고 1.1 일상의 보고 상황 1.2 데이터 드리븐 의사결정이란 1.3 데이터 드리븐 보고란 1.4 데이터 드리븐 보고 5원칙 ｜2장 ｜ 데이터 드리븐 보고 절차 2.1 데이터 드리븐 보고 전략 2.2 분석 전 알아야 하는 용어 2.3 분석 목표 설정 2.4 계획서 작성 2.5 데이터 선정 2.6 분석 방법 결정 및 해석/검증 2.7 보고 대상자에 따른 보고 방식 ｜3장 ｜ 데이터 드리븐 보고 ..

빅데이터 기술에서 가장 먼저 예로 들 수 있는 것이 'Hadoop'과 'NoSQL'이다. 웹 서버 등에서 생성된 데이터는 처음에는 RDB와 NoSQL 등의 텍스트 데이터에 저장된다. 그 후 모든 데이터가 Hadoop으로 모이고 거기서 대규모 데이터 처리가 실행된다. 기존 RDB에 대용량 데이터들을 처리하는데 한계가 생겼으며 이를 해결하기 위해 'Hadoop'과 'NoSQL'이 각각 다른 형태로 나온 것이다. [ Hadoop ] Hadoop은 다수의 컴퓨터에서 대량의 데이터 처리하기 위한 시스템이다. 전세계의 웹페이지를 모아서 검색 엔진을 만들고자할 때, 방대한 데이터를 저장해둘 스토리지와 순차적으로 데이터 처리를 할 수 있는 구조가 필요하다. 그러기 위해서는 수 백, 수천 대의 컴퓨터가 이용되어야 하며 ..

현재 회사를 입사 후 처음으로 책 한권을 잡고 쭉 공부해보자 라는 마음을 먹은 첫 도서이다. 입사 직무를 데이터 사이언티스트로 들어와 가장 많이 필요로 했던 기술들이 ETL 기술을 필두로 다양한 엔지니어 기술들이었다. 하여, 해당 도서를 개인적으로 읽어보며 챕터 별로 정리해 볼 생각이다. 우선 간단하게 목차부터 확인해보자. CHAPTER 1 빅데이터의 기초 지식 _ 1 1-1 [배경] 빅데이터의 정착 3 1-2 빅데이터 시대의 데이터 분석 기반 11 1-3 [속성 학습] 스크립트 언어에 의한 특별 분석과 데이터 프레임 26 1-4 BI 도구와 모니터링 33 1-5 요약 42 CHAPTER 2 빅데이터의 탐색 _ 43 2-1 크로스 집계의 기본 45 2-2 열 지향 스토리지에 의한 고속화 56 2-3 애드..

airflow DAGs 에서 파이썬 오퍼레이터가 정확히 어떻게 작동되는지에 대한 개념이 애매한 상태로 실무에서 적용해보고자 시도해본 적이 많았다. 그때마다 굉장한 어려움이 있었는데..역시 도서를 보고 개념부터 이해해가니 쉽게 이해할 수 있었다. 우선 함수를 정의 하는 부분의 코드들이 상단에 있다는 가정하에, def action_func(x) : y = x+2 return y get_pictures = PythonOperator( task_id="get_pictures", python_callable=action_func, dag=dag ) 위와 같은 코드에서 예로 들어 설명을 한다면, 실제로 파이썬 작업이 이루어지는 것은 함수 action_func 안의 코드이다. 해당 함수를 선언하기 위해서 하단의 Py..