목록xavier (1)

데이터를 기반으로

가중치 초기화(Weight initialization)

가중치 초기화를 공부하면서 수 많은 'Why?' 가 뒤따라 와 이해한 내용을 토대로 해당 글을 작성하고자 한다. 먼저, 가중치 초기화가 필요해진 배경에 대해서 확인해보자. 같은 모델을 훈련시키더라도 가중치가 초기에 어떤 값을 가졌느냐에 따라서 모델의 훈련 결과가 달라지기도 하는 이러한 현상을 위해 가중치 초기화를 진행하게 되었다고 한다. 위 그림을 보면 좀 더 쉽게 이해가 갈 수 있다. 우리는 경사하강법을 통해 Local Minimum에 빠지지 않아야 하기에 가중치가 초기에 어떤 값을 갖냐에 따라 이러한 문제도 자연스레 해결될 수 있기 때문이다. 이러한 초기화를 진행하는 방법론은 여러가지가 존재한다. 위 가중치 초기화에 대해 이해가 안갔다면, Zero initialization 에 대한 설명을 보면 가중..
데이터 분석(Python)/딥러닝(Deep Learning) 2022. 10. 3. 18:08
이전 Prev 1 Next 다음