목록BN layer (1)

데이터를 기반으로

배치 정규화(Batch Normalization)

가중치 초기화보다도 더 오래 잡고 이해가 안돼서 계속 보던 개념을 드디어 이해하여, 정리해보고자 한다. (약 2주 동안 보고 있었다...수 많은 why? 때문에...머리가 안 좋은 가...영어를 잘한다면 원본 논문을 보고 이해했을 텐데...얼른 영어공부를 해야겠다..) 먼저, 배치 정규화를 모색하게 된 배경부터 확인해보자. 이전 게시물에서 가중치 초기화에 대해 정리를 했었다. [ 배치 정규화(Batch Normalization)의 탄생 배경 ] → 가중치 초기화를 진행했음에도 훈련 도중 언제 어디서 가중치 소실/폭주 가 일어날 수 있다. 이를 예방하기 위해 신경망 학습을 진행하는 각 층에 입력되는 데이터를 평균과 분산으로 정규화하여 학습을 효율적으로 만든다. 배치 정규화를 이해하기 전 내부 공변량 변화(..
데이터 분석(Python)/딥러닝(Deep Learning) 2022. 10. 4. 00:09
이전 Prev 1 Next 다음