데이터를 기반으로

가중치 초기화를 공부하면서 수 많은 'Why?' 가 뒤따라 와 이해한 내용을 토대로 해당 글을 작성하고자 한다. 먼저, 가중치 초기화가 필요해진 배경에 대해서 확인해보자. 같은 모델을 훈련시키더라도 가중치가 초기에 어떤 값을 가졌느냐에 따라서 모델의 훈련 결과가 달라지기도 하는 이러한 현상을 위해 가중치 초기화를 진행하게 되었다고 한다. 위 그림을 보면 좀 더 쉽게 이해가 갈 수 있다. 우리는 경사하강법을 통해 Local Minimum에 빠지지 않아야 하기에 가중치가 초기에 어떤 값을 갖냐에 따라 이러한 문제도 자연스레 해결될 수 있기 때문이다. 이러한 초기화를 진행하는 방법론은 여러가지가 존재한다. 위 가중치 초기화에 대해 이해가 안갔다면, Zero initialization 에 대한 설명을 보면 가중..

천천히 기본 개념 부터 올라와 드디어.. 기존에 궁금했던 내용으로 다시 돌아왔다. 해당 제목에 대한 궁금증을 해결하기 위해 아래의 두 가지 개념을 이해하기 위해 많은 노력을 했다. https://ds92.tistory.com/82?category=1121703 선형(Linearity)과 비선형(Non-linearity)의 차이점 선형함수와 비선형함수는 정확히 어떤 차이점을 가질까? 위와 같은 질문을 시작으로 선형과 비선형의 본질적인 의미까지 파악해보고자 한다. 우선 먼저 선형이란 무엇일까? [ 선형 ] 선형성(線 ds92.tistory.com https://ds92.tistory.com/83 활성화 함수(Activate Function) 활성화 함수에 대해 이해하기 앞서 뉴럴 네트워크를 이용한 학습 프로..

활성화 함수에 대해 이해하기 앞서 뉴럴 네트워크를 이용한 학습 프로세스를 알아야한다. 해당 설명에서는 간략히 큰 과정만 정의한 것이니, 정확한 과정은 추후 정리할 예정이다. [ 뉴럴 네트워크의 학습 과정 ] 1. 데이터가 input 된다. 2. 활성화 함수를 통해 Feed-Forward 를 진행한다.(각 은닉층 별 가중치를 추출하며 학습) 3. 손실함수(Cost Function)의 값을 최소화하기 위해 오차 역전파법(back propagation)을 통해 가중치를 업데이트 한다. 4. 2번과 3번의 과정을 반복하며 손실함수를 최소화하며 예측을 잘 할 수 있는 가중치들을 찾아 셋팅한다. 위 과정에서 층마다(layer) 각각 사용하는 함수를 활성함수로 지칭한다. 4번에 설명된 가중치를 셋팅하기 위해 순방향 ..