데이터를 기반으로

가중치 초기화보다도 더 오래 잡고 이해가 안돼서 계속 보던 개념을 드디어 이해하여, 정리해보고자 한다. (약 2주 동안 보고 있었다...수 많은 why? 때문에...머리가 안 좋은 가...영어를 잘한다면 원본 논문을 보고 이해했을 텐데...얼른 영어공부를 해야겠다..) 먼저, 배치 정규화를 모색하게 된 배경부터 확인해보자. 이전 게시물에서 가중치 초기화에 대해 정리를 했었다. [ 배치 정규화(Batch Normalization)의 탄생 배경 ] → 가중치 초기화를 진행했음에도 훈련 도중 언제 어디서 가중치 소실/폭주 가 일어날 수 있다. 이를 예방하기 위해 신경망 학습을 진행하는 각 층에 입력되는 데이터를 평균과 분산으로 정규화하여 학습을 효율적으로 만든다. 배치 정규화를 이해하기 전 내부 공변량 변화(..

배치 정규화를 공부 중 추론이란 부분이 나왔다. 처음 듣는 단어이고 검색을 해보니 Prediction과는 다른 부분이었다. 우리가 흔히 아는 학습된 모델에 새로운 데이터를 넣고 결과를 보는 것이 보통은 Prediction의 프로세스이다. 하지만, Inference(이하 추론)은 조금은 다른 목적을 가지며 새로운 데이터를 모델에 넣는다. 우선, 추론이 무엇인지 먼저 확인해보자. https://koreapy.tistory.com/1108 [파이썬] Inference vs Prediction (추론 vs 예측) 차이점 추론 및 예측이라는 용어는 모두 독립 변수와 결과 간의 관계를 설명하는 모델을 찾기 위해 감독 방식으로 데이터에서 학습하는 작업을 설명합니다. 그러나 추론과 예측은 결과 모델의 사용과 korea..

가중치 초기화를 공부하면서 수 많은 'Why?' 가 뒤따라 와 이해한 내용을 토대로 해당 글을 작성하고자 한다. 먼저, 가중치 초기화가 필요해진 배경에 대해서 확인해보자. 같은 모델을 훈련시키더라도 가중치가 초기에 어떤 값을 가졌느냐에 따라서 모델의 훈련 결과가 달라지기도 하는 이러한 현상을 위해 가중치 초기화를 진행하게 되었다고 한다. 위 그림을 보면 좀 더 쉽게 이해가 갈 수 있다. 우리는 경사하강법을 통해 Local Minimum에 빠지지 않아야 하기에 가중치가 초기에 어떤 값을 갖냐에 따라 이러한 문제도 자연스레 해결될 수 있기 때문이다. 이러한 초기화를 진행하는 방법론은 여러가지가 존재한다. 위 가중치 초기화에 대해 이해가 안갔다면, Zero initialization 에 대한 설명을 보면 가중..

천천히 기본 개념 부터 올라와 드디어.. 기존에 궁금했던 내용으로 다시 돌아왔다. 해당 제목에 대한 궁금증을 해결하기 위해 아래의 두 가지 개념을 이해하기 위해 많은 노력을 했다. https://ds92.tistory.com/82?category=1121703 선형(Linearity)과 비선형(Non-linearity)의 차이점 선형함수와 비선형함수는 정확히 어떤 차이점을 가질까? 위와 같은 질문을 시작으로 선형과 비선형의 본질적인 의미까지 파악해보고자 한다. 우선 먼저 선형이란 무엇일까? [ 선형 ] 선형성(線 ds92.tistory.com https://ds92.tistory.com/83 활성화 함수(Activate Function) 활성화 함수에 대해 이해하기 앞서 뉴럴 네트워크를 이용한 학습 프로..

활성화 함수에 대해 이해하기 앞서 뉴럴 네트워크를 이용한 학습 프로세스를 알아야한다. 해당 설명에서는 간략히 큰 과정만 정의한 것이니, 정확한 과정은 추후 정리할 예정이다. [ 뉴럴 네트워크의 학습 과정 ] 1. 데이터가 input 된다. 2. 활성화 함수를 통해 Feed-Forward 를 진행한다.(각 은닉층 별 가중치를 추출하며 학습) 3. 손실함수(Cost Function)의 값을 최소화하기 위해 오차 역전파법(back propagation)을 통해 가중치를 업데이트 한다. 4. 2번과 3번의 과정을 반복하며 손실함수를 최소화하며 예측을 잘 할 수 있는 가중치들을 찾아 셋팅한다. 위 과정에서 층마다(layer) 각각 사용하는 함수를 활성함수로 지칭한다. 4번에 설명된 가중치를 셋팅하기 위해 순방향 ..