일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- Python
- 상관분석
- correlation
- 데이터 분석
- 자동매매프로그램
- 방콕여행
- 딥러닝
- 패스트캠퍼스
- 에어플로
- 통계분석
- 파이썬을활용한시계열데이터분석A-Z올인원패키지
- 패캠챌린지
- 패스트캠퍼스후기
- 파이썬
- EDA
- 직장인인강
- 데이터분석
- 리뷰
- DAGs
- 분석
- airflow
- 태국여행
- 독서리뷰
- 직장인자기계발
- Ai
- 활성화함수
- 빅데이터
- 데이터
- 머신러닝
- API
- Today
- Total
목록스터디 (63)
데이터를 기반으로
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bsFakc/btrvL4YrJr8/b43hU2Vbtr2kRCmAQ7tkK0/img.png)
어제의 강의는 ARMA에 대한 이론적인 강의라고 했다면 오늘은 실습을 통해 ARMA의 패턴을 이해하는 시간을 가져보기로 했다. 왼쪽 화면은 강의 자료이자 실습 코드이고 오른쪽 화면은 강의화면이다. 왼쪽에 해당하는 실습 코드 중 ARMA 모델을 FIT 하는 부분이 있다. 해당 FIT을 한 후 FORECAST를 사용하여 STEP의 옵션을 주어 몇번째까지 예측할 것인지에 대한 추정치를 뽑을 수 있다. 예측치를 추출하면 3개자의 ARRAY의 값이 출력된다. 위 부터 FORECAST / STDERR / CONF_INT 라고 한다. FORECAST는 우리가 가장 유심히 봐야할 점추정값이고 STDERR는 표준편차 그리고 CONF_INT는 구간추정값이다. 우리는 점추정과 구간추정 값들을 유심히 봐야한다. 출력값을 자세..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/1LqVi/btrvGYqf5zO/ll2DNYmJ5rKFQw1BrOcf2K/img.png)
어제의 강의는 MA(이동평균)에 대한 이론적인 이해와 실습을 통해 어떻게 ACF가 나오는지 그래프를 그려보며 이해하는 시간을 가졌다. 오늘은 AR(자기회귀)알고리즘의 수학적 의미에 대한 이해를 하는 시간을 가졌다. MA와 동일하게 수학적 의미에 대한 이해를 하는 강의 부분이라 블로그 글로 정리할 수 있는 부분의 한계가 존재하여 다음 강의로 넘어가서 진행하고자한다. 수학적 의미를 넘어서 다음 강의에서는 자기회귀 알고리즘에 대한 실습을 통해 패턴을 이해하는 시간을 가지고자 한다. 왼쪽 화면은 강의 자료 화면이고 오른쪽 화면은 강의 화면이다. 왼쪽 plot 그래프는 ma(무한대)그래프를 그렸을 때라고 한다. 굉장히 현실적으로 있을 법한 그래프라 놀랍다. 하단의 ACF를 그린 것을 보면 시간이 지날 수록 점차 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/n9YcT/btrvAbQ4DHH/ABsvADKIhtN6tIKwkIjwhK/img.png)
어제의 강의에 이어 오늘은 MA부터 시작되었다. 데이터들의 전체적인 추세로 보는 하나의 지표인 MA가 데이터 분석적인 관점에서는 어떻게 사용되는지 확인할 수 있는 시간이었다. 오늘은 MA의 수식적은 증명과 이해로 강의가 시작되었다. 왼쪽 화면은 강의 자료 화면이고 오른쪽 화면은 강의 화면이다. 오늘은 MA에 대한 수식적인 증명을 진행한다고 한다. 해당 부분은 강의는 넘어가고 다음 강의부터 글을 남기고자 한다. (수식 증명에 대한 것은 딱히 글로 남길 수 있는 부분의 한계가 있기에..) 그렇게 다음 강의에서는 이동평균(MA) 알고리즘 실습으로 패턴을 이해하는 시간을 갖도록 했다. 실습에서는 Armaprocess 라는 함수를 통해 AR과 MA함수를 사용할 수 있다. 왼쪽 화면은 강의 자료 화면이고 오른쪽 화..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/d1nz9k/btrvwj9zoHy/5E3Z4q5ulV27VbuZ2F4v0K/img.png)
이제부터는 제대로된 시계열 알고리즘인 단순 선형 / 적분 선형 / 비선형 / 다변향 선형 확률 과정을 진행하고자 한다. 오늘의 강의는 단순 선형 확률과정의 방향과 백색잡음의 정의와 실습을 통해 이해도를 향상시키는 방향으로 진행되었다. 왼쪽은 강의 자료 화면이고 오른쪽은 강의 화면이다. 우선 일반 선형확률과정이란 시계열 데이터가 가우시안 백색 잡음의 현재값과 과거값의 선형 조합이라고 한다. 수식을 보면 백색잡음과 시점들의 특정한 비율을 곱한 것들의 무수한 합으로 보여진다. 가장 앞에 백색잡음이 존재하는 이유는 일반 선형확률과정의 세부적인 알고리즘 중 하나가 백색잡음이다. 이전에 봤던 개념이지만 리마인드 차원에서 한번 더 설명해주셨다. 잔차진단 중 한 가지이고 백색잡음은 정규분포이고 시간이 흘러도 평균이 0..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/BuFpF/btrvbgs5kxt/CY7PNBEuZukTqKDUruzNbK/img.png)
어제 강의는 실습 데이터를 기반으로 실제 정상성 테스트를 진행해보았고 나아가 랜덤워크 부분도 확인을 해보았다. 오늘의 강의는 예제 실습들을 더욱 세부적으로 확인해보며 정상성 변환에 대한 이해도를 높여보는 시간을 가지기로 했다. 왼쪽 화면은 강의자료 화면이고 오른쪽 화면은 강의 화면이다. 실습데이터는 항공사 승객수요 데이터로 진행을 했다. 정상성 테스트 전에 전처리 작업은 인덱싱을 월별로 조정해주는 작업을 진행했다. 우선 왼쪽 화면의 하단 그래프를 보면 왼쪽 상단은 raw 데이터로 그린 그래프이고 오른쪽 상단은 로그 변환한 것이고 왼쪽 하단은 차분을 한 번 한 그래프이고 오른쪽 하단은 차분 1번 후 로그 변환을 진행한 그래프이다. 각각의 그래프를 유심히 보면 각자의 차이점이 눈에 보인다. 우선 가장 먼저 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bd5tMU/btrvhNiBEXo/kd3BIla4Ak9jA1OaCnpCek/img.jpg)
오늘의 강의는 어제에 이어 실습을 통해 정상성 테스트를 하는 부분을 이어서 진행했다. 왼쪽 화면은 강의 자료이자 실습화면이고 오른쪽 화면은 강의 화면이다. 어제에 이어서 실습코드를 실행해보니 ADF는 비정상성을 말하고 KPSS는 정상성을 말하고 ACF그래프를 보니 시간이 지나면서 점차 하강하는 추세가 보여진다. 이렇게 각각이 다른 정상성에 대해 말해주고 있기에 한가지 테스트에 의존하여 결정하면 안된다고 한다. 일반적으로 OLS로 진행했을 때와 차분을 했을 때 각각의 통계량과 ACF를 비교해보면 모두 다 값이 일치하게 나오진 않는다. 먼저 기본적으로 가공하지 않은 raw data를 보면 ADF, KPSS 각각 비정상성을 의미할 때가 많다. 간혹 raw data가 모두 정상성을 가질 수 있지만 확률적으로 매..