데이터를 기반으로

오늘의 강의는 어제 끝마치지 못한 라쏘와 릿지에 대한 개념 설명으로 이어졌다. 어제 릿지와 라쏘가 Bi가 작아지게 하는 것이 목표라고 했다. 근데 정확히 Bi(계수)가 작아진다가 무슨 의미 일까? 좀 더 상세하게 강사님이 설명을 이어나가셨다. 왼쪽 화면은 강의 자료 화면이고 오른쪽은 강의 화면이다. 강사님은 매출과 광고에 대한 회귀식을 세워두고 ROI 개념을 곁들여 설명을 이어나가셨다. ROI(Return on Invest)라고 투자 대비 매출 효과라고 생각하면 된다. 여기서 Bi가 음수이면 광고비용을 줄이면 매출이 올라간다는 의미이다. 또는 1000보다 크면 해당 광고에 올인을 하는 것인데 둘 다 현실적으로는 어려운 부분이다. 그리고 데이터 분석을 진행했는데 어떤 광고는 계수가 음수가 나와 해당 광고에..

오늘의 강의 파트 3를 들어서는 간단한 목차의 리뷰로 강의가 시작되었다. 왼쪽은 강의를 들으며 블로그 글에 정리하는 화면이고 오른쪽은 강의 화면이다. 단순 선형 확률과정과 적분 선형 확률과정이 일반적인 시계열 데이터 모델에 가장 기본적인 모델이라 한다. 이러한 선현 확률과정보다 조금 더 난이도가 있는 것들은 비선형 확률과정과 다변량 선형확률과정이다. 비선형 확률과정은 비선형적인 관점으로 데이터를 분석하는 것인데 해당 과정이 딥러닝(DNN)에서 비선형 확률과정을 포함하고 있는 개념이다. 다변량 알고리즘은 기존 알고리즘과 다른게 y가 2개 이상인 것들을 다변량이라고 한다. 이후 강의에서는 정규화 방법론 알고리즘과 시계열 알고리즘의 차이를 보고자 한다.이전 강의들은 데이터 사이언스에 관한 내용들이었지만 이번 ..

오늘의 강의 파트 2를 정리하는 시간을 가지는 강의였다. 그래서 인증 사진은 인강을 들으며 블로그 글에 정리를 하고자하여 강의자료와 블로그 글 작성화면으로 인증샷을 대체할 예정이다. 왼쪽 화면은 블로그 글을 쓰며 메모하는 중이고 오른쪽 화면은 강의화면이다. 파트1에서는 데이터 분석 준비하기로 비시계열의 일반적인 데이터 분석 및 모델링에 대한 전반적인 내용과 프로세스를 공부해왔다. 파트2에서는 시계열 데이터 분석을 기준으로 설명변수와 종속변수에 대한 전처리를 진행해왔다. 파트 2에서는 크게 3가지 단계로 시계열 피처엔지니어링, 분석싸이클 완성, 현실적인 분석으로 진행을 해왔다. 그리고 파트2에서 독립변수를 기준으로는 VIF, PCA를 통한 유의미한 독립변수들로만 모델링을 하여 성능을 향상하는 방법을 배웠고..

오늘 강의는 정상성 통계량 확인과 정상성 테스트 실습을 진행했다. 왼쪽은 강의자료 화면이고 오른쪽은 강의화면이다. 정상성 테스트 부분을 보면 어디선가 본적이 있는 느낌이 들었다. 아니나 다를까 강의에서 강사님도 동일한 표현을 하시며 물어보았다. 바로 잔차 검정에서 본 부분과 동일했다. 해당 검증 방법이나 원리도 동일했다. 해당 테스트를 하는 방법은 크게 3가지가 있다. 시각화 테스트 / 기초통계 테스트 / 검정통계량 테스트 이다. 시각화 테스트란 왼쪽 화면에서도 보이듯이 그래프를 직접 그려보며 육안으로 확인하는 것을 의미한다. 기초통계 테스트는 특정시간에 따른 기초통계가 랜덤한지 파악하여 안정성을 확인 하는 것이다. 마지막으로 검정 통계량 테스트는 가설 검정의 단계라고 보면 된다. 정상성 테스트에서 귀무..

이번 강의는 저번 강의에 이어서 비정상성 데이터를 정상성으로 변환하여 예측 후 비정상성으로 다시 바꾸는 과정에 대한 설명으로 시작되었다. 왼쪽 화면은 강의 자료이고 오른쪽 화면은 강의 화면이다. 정상성의 대표 알고리즘은 백색소음이라 했고 비정상 프로세스를 대표하는 것은 랜덤 워크(Random Walk)라는 알고리즘이라 한다. 랜덤 워크는 랜덤하게 어떤 방향으로 이동할지 모르는 것을 랜덤워크라고 한다. 왼쪽 화면의 예제 그래프를 보면 어디로 갈지 방향성이 난해한 것들을 확인할 수 있다. 차분은 바로 이전 시점과 현재시점의 차이를 말한다. 차분은 Yt의 증가량이라고 본다. 차분은 보통 특정 범위에서 일정하게 나온다. 이렇게 차분을 한 값이 정상성을 따르고 그 이후 다시 비정상성으로 변환하려면 누적합을 진행해..

오늘의 강의는 약정상성과 강정상성의 강의인 어제 내용과 이어지는 강의였다. 어제 정상성에서는 시간이 흘러도 통계적인 특성이 달라지지 않는 것을 의미한다 했지만 실제 데이터가 시간이 흘러도 일정한 평균과 분산과 표준편차 등을 가지기는 힘든일이다. 그래서 약정상성과 강정상성을 나누어 보고자하는 것이다. 왼쪽 화면은 강의 자료이고 오른쪽 화면은 강의 화면이다. 강정상성의 가장 대표적인 예시는 백색잡음(White Noise)이다. 이상적인 데이터인 백색잡음 데이터는 강정상성의 예시이지만 이러한 데이터를 분석하는 것은 크게 의미가 있지 않다. 이유는 이렇게 시간이 흘러도 일정한 데이터를 분석해서 어떤 의미가 있겠는가? 이러한 부분 때문에 해당 데이터의 중점을 덜 두는 이유라고 한다. 아무튼, 백색잡음은 정규분포이..