일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- Python
- 에어플로
- 머신러닝
- 딥러닝
- API
- 분석
- Ai
- 방콕여행
- 통계분석
- 패스트캠퍼스
- 데이터 분석
- 패캠챌린지
- 자동매매프로그램
- airflow
- 파이썬
- 태국여행
- 직장인자기계발
- 독서리뷰
- EDA
- correlation
- 파이썬을활용한시계열데이터분석A-Z올인원패키지
- 리뷰
- 활성화함수
- DAGs
- 데이터분석
- 빅데이터
- 직장인인강
- 상관분석
- 패스트캠퍼스후기
- 데이터
- Today
- Total
데이터를 기반으로
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/yTzZn/btsARgGEKm9/ixqpgqU93JhtMFkUKcJVaK/img.png)
도서명 : 데이터 드리븐 리포트(상사와 고객을 설득하는 데이터 기반의 의사결정 with 파이썬) 출판사 : 한빛미디어 지은이 : 이상석 지음 독서 기간 : 2023-11-10 ~ 2022-11-22 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 우선 목차 부터 확인해보자. |1장 | 데이터 드리븐 보고 1.1 일상의 보고 상황 1.2 데이터 드리븐 의사결정이란 1.3 데이터 드리븐 보고란 1.4 데이터 드리븐 보고 5원칙 |2장 | 데이터 드리븐 보고 절차 2.1 데이터 드리븐 보고 전략 2.2 분석 전 알아야 하는 용어 2.3 분석 목표 설정 2.4 계획서 작성 2.5 데이터 선정 2.6 분석 방법 결정 및 해석/검증 2.7 보고 대상자에 따른 보고 방식 |3장 | 데이터 드리븐 보고 ..
빅데이터 기술에서 가장 먼저 예로 들 수 있는 것이 'Hadoop'과 'NoSQL'이다. 웹 서버 등에서 생성된 데이터는 처음에는 RDB와 NoSQL 등의 텍스트 데이터에 저장된다. 그 후 모든 데이터가 Hadoop으로 모이고 거기서 대규모 데이터 처리가 실행된다. 기존 RDB에 대용량 데이터들을 처리하는데 한계가 생겼으며 이를 해결하기 위해 'Hadoop'과 'NoSQL'이 각각 다른 형태로 나온 것이다. [ Hadoop ] Hadoop은 다수의 컴퓨터에서 대량의 데이터 처리하기 위한 시스템이다. 전세계의 웹페이지를 모아서 검색 엔진을 만들고자할 때, 방대한 데이터를 저장해둘 스토리지와 순차적으로 데이터 처리를 할 수 있는 구조가 필요하다. 그러기 위해서는 수 백, 수천 대의 컴퓨터가 이용되어야 하며 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/b1FxjI/btszjGsx0XU/ppIjZWtPb8DTyLDOkpM1f0/img.png)
현재 회사를 입사 후 처음으로 책 한권을 잡고 쭉 공부해보자 라는 마음을 먹은 첫 도서이다. 입사 직무를 데이터 사이언티스트로 들어와 가장 많이 필요로 했던 기술들이 ETL 기술을 필두로 다양한 엔지니어 기술들이었다. 하여, 해당 도서를 개인적으로 읽어보며 챕터 별로 정리해 볼 생각이다. 우선 간단하게 목차부터 확인해보자. CHAPTER 1 빅데이터의 기초 지식 _ 1 1-1 [배경] 빅데이터의 정착 3 1-2 빅데이터 시대의 데이터 분석 기반 11 1-3 [속성 학습] 스크립트 언어에 의한 특별 분석과 데이터 프레임 26 1-4 BI 도구와 모니터링 33 1-5 요약 42 CHAPTER 2 빅데이터의 탐색 _ 43 2-1 크로스 집계의 기본 45 2-2 열 지향 스토리지에 의한 고속화 56 2-3 애드..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/nnnEp/btsu8mTrloL/gz3clAEleBtYlaGL9Ib1K0/img.png)
도서명 : 개발자의 하루를 바꾸는 코파일럿 & 챗GPT 출판사 : 한빛미디어 지은이 : 마이클 D. 캘러핸 지음 독서 기간 : 2023-09-10 ~ 2022-09-22 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 요즘 개인적으로 GPT를 이용해서 사이드 프로젝트를 진행하고자 하여, 관심이 급 생겨서 신청하여 읽어본 도서이다. 챗 지피티를 시작으로 생성형 AI 가 엄청나게 쏟아져 나오는 요즘이다. 이러한 요즘 상황에서 어떻게 이 생성형 AI를 잘 사용하고 효율적으로 사용할 수 있을지에 대한 연구들이 굉장히 다방면으로 진행되고 있다. 조금 늦은감이 있지만, 이러한 연구에 조금 동참하게 된 상태이다. 우선 해당 도서의 목차를 먼저 살펴보자. 1장 소프트웨어 개발에 AI 활용하기 2장 셸 스..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/dfmulr/btstqsBYEv1/hBUwgCOl8LWywVZFNtcSn0/img.png)
저번 글에 이어서 2번째 통계적 검정법인 'Kolmogorov-smirnov test'에 대해서 정리를 하고자 한다. (줄여서 KS-Test라고 부르기도 한다.) 먼저, 해당 검정법은 정규분포와 해당 변수의 분포를 비교해서 얼마나 차이가 많이 나는지 비교하는 방법으로 진행된다. 좀 더 자세하게 말하면 정규분의 누적분포와 검정하고자 하는 변수의 누적분포를 서로 비교하는 방법이다. 해당 검정을 진행하기 위한 조건 및 권장 사항에 대해서 확인하면 다음과 같다. 1. N은 50개 이상인 경우에 권장한다. 2. 비모수 검정이기에 분포에 대한 가정이 필요없다. 3. 연속형 변수에 적합하다. 해당 검정법의 원래 목적은 2변수에 대한 누적분포를 서로 비교하는 것인데, 현시대에 많은 통계 패키지 및 Tool 들이 옵션값..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/X4t6N/btssk85J7H5/KTwQq7usAtJqQPJJ3El4K1/img.png)
이전 글에 이어 2번째 통계적 검정에 대해 알아보고자 한다. https://ds92.tistory.com/127 정규성 검정(Normality Test)(1) - 시각적 검정 통계학에서는 정규 분포를 굉장히 좋아하고 모든 분포가 정규 분포를 따르면 얼마나 좋을까? 라는 생각을 가끔 할 때도 있다. 이러한 이유는 모수적 통계 방법들을 적용하고 싶은 마음에서 나온 ds92.tistory.com [ 통계적 검정 ] 1. 샤피로-윌크 검정(Shapiro-Wilk test) → 정규성 검정에서 가장 많이 쓰이는 방법 중 하나이며 생각보다 위키피디아에 정리가 잘 되어 있었다. 해당 검정법은 가장 많이 쓰이는 검정법이며 작은 표본에서도 잘 작동하며, 정확한 검정을 제공하고 큰 표본에서는 검정 결과가 민감할 수 있다...