일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- 데이터 분석
- Ai
- Python
- 데이터분석
- 통계분석
- 직장인자기계발
- 에어플로
- correlation
- EDA
- 패스트캠퍼스후기
- 자동매매프로그램
- 직장인인강
- 분석
- 패캠챌린지
- API
- 리뷰
- 딥러닝
- 활성화함수
- 파이썬
- DAGs
- 패스트캠퍼스
- 파이썬을활용한시계열데이터분석A-Z올인원패키지
- 데이터
- 독서리뷰
- 빅데이터
- airflow
- 머신러닝
- 태국여행
- 방콕여행
- 상관분석
- Today
- Total
목록스터디 (63)
데이터를 기반으로
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/lmgI9/btr5Hp2kowG/m8WxKq75LD1FKD8NwpjQB0/img.png)
[ Airflow 살펴보기 ] Airflow란, 워크플로우를 개발하고 모니터링하기 위한 오픈 소스 솔루션 이다. Airflow의 기능 중 스케줄링과 데이터 파이프라인 관리 등이 존재한다. 그 중 파이프라인에 대한 부분에 간단한 예시가 있다. 목적 : 실시간 날씨 데이터를 대시보드에 보여주고 싶다. 위와 같은 목표를 실행하기 위해 각각 세분화된 프로세스를 나누어야한다. 1. 먼저 날씨 API를 통해 일기 예보 데이터를 가져온다. 2. 서비스 목적에 맞도록 데이터를 정제하거나 변환한다. (예. 온도를 화씨에서 섭씨로 변환) 3. 변환된 데이터를 날씨 대시보드로 전송한다. 이렇게 3가지의 프로세스(이후에는 task라고 지칭함)를 나눠 각각 실행하며, 오류를 관리할 수 있도록 할 수 있는게 airflow의 파이..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/em6mnp/btr5D2591Q8/Ag3C9B098H0SSgpIkj4l7k/img.png)
시작 일시 : 2023.03.24 해당 독서를 기반으로 웹 서칭 or udemy를 통해서 스터디를 진행하고자 한다.
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bgYfva/btrwpjoHKKs/15OH8kRLHac4USaJ4M1kyK/img.jpg)
드디어 마지막 후기를 올리는 날이 왔다. 누군가에겐 50일이 짧으면 짧고 길면 긴 기간이지만 직장인에게 퇴근 후 1시간 이상의 시간을 50일 연속으로 투자하는 것은 상당히 어려운 일이라는 것을 배우게 되었다. 하지만, 해당 환급 이벤트 때문에 진행한 것도 있지만 패스트 캠퍼스 강의를 듣는 수강자 모두에게 추천하고 싶은 이벤트이다. 돈을 떠나서 매일 1시간 이상을 투자하여 공부할 수 있는 구조이기에 이것만큼 효과적인 공부 스케쥴은 없는 것 같다. 그리고 어느 정도 강제성이 부여되어야 공부를 하게되는 사람이라(개인 마다 차이가 있을 수 있다) 너무나 좋은 효과를 얻어간다. 이번 후기는 크게 4가지 단계로 설명을 이어나가고자 한다. 1. 시작 누구에게나 시작은 두렵지만 설레는 법이다. 나에게 패스트캠퍼스 챌린..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/byS3Ad/btrvXUWrros/oSThU7rIw6l98oA9Km3FyK/img.png)
어제의 강의는 ARMA 이외에 추가적으로 X 독립변수를 반영하고 모델링을 해보았고 ARMAX의 한계를 이해하고 추후 방향을 정리해보았다. 오늘은 ARIMA 알고리즘에 대해 이해하고 패턴을 정리하는 시간을 가졌다. 왼쪽 화면은 강의 자료 화면이고 오른쪽 화면은 강의 화면이다. 그림에서 보이듯이 오른쪽 강의화면을 보면 강사님께서 ARIMA에 대한 개념을 설명해주고 있다. ARIMA와 여태까지 배운 ARMA와의 차이가 무엇인가? I 하나가 더 추가된건데 여기서 ARIMA의 세부 단어의 뜻을 알면 더 쉽게 이해가 간다. ARIMA란 , AUTO-REGRESSIVE INTEGRATED MOVING AVERAGE 이다. INTEGRATED 가 추가된 것이다. 통합된 이란 뜻으로 AR과 MA를 통합하는 것인데 여기서..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/TkpCB/btrvSetnvCK/Lb2xn6NcwVncU6YfpUkYm1/img.png)
어제의 강의는 ARMA를 실제 데이터에 적용하고 해석하는 시간을 가졌었다. 오늘은 ARMA 이외에 추가적인 독립변수를 반영하고 모델링하고 ARMAX의 한계를 이해하고 향후 방향성을 정리하는 시간을 가졌다. 왼쪽화면은 강의 자료 화면이고 오른쪽 화면은 강의 화면이다. 우선 회귀분석과 ARMA를 돌려서 비교를 해보고자 한다. 회귀를 돌려보니 정확도가 0.995가 나온 것으로 확인된다. 그리고 M2 통계량을 확인해보니 유의한것으로 확인되며 외도와 첨도, 잔차를 보면 정규분포를 따르는 것으로 보인다. 하지만, JB는 정규분포가 아니라고 이야기하고 있다. 실제로 그런지 한번 확인해봐야한다. 잔차의 그래프를 보니 ACF 가 높은 부분이 많고 PACF는 LAG(1~3) 부분의 상관이 높은 것이 몇개 확인되고 이후에 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/mOcku/btrvPez5dar/kuAk958lRTGLNj2skYOcDk/img.png)
어제의 강의는 실습을 통해 ARMA 패턴을 이해하고 그래프를 해석하는 방식의 강의가 이어졌다. 오늘은 실제 데이터를 가지고 ARMA를 적용하여 해석하고 분석하는 시간을 가지기로 했다. 왼쪽 화면은 강의자료이자 실습 화면이고 오른쪽 화면은 강의 화면이다. AR의 차수는 PACF그래프를 보고 가늠할 수 있고 MA는 ACF그래프롤 보고 차수를 정할 수 있었다. 이론적으로 ARMA(p,q)을 해당 ACF, PACF를 보고 파악하여 적용하는 방식으로 진행된다. 왼쪽의 출력그래프를 보면 가장 상단은 해당 데이터에 대한 PLOT 이고 중간에는 ACF이고 마지막은 PACF 그래프이다. 자세히 보면 ACF와 PACF 모두 LAG(1)에서 높은 상관관계가 보이고 있다. 즉, 해당 그래프를 보고 ARMA(1,1)로 적용해야..