목록vanishing gradient (1)

No Story, No Ecstasy

심층 신경망 (DNN) 훈련

1. Vanishing Gradient (or exploding gradient) 문제 해결 - Vanishing Gradient란? . 알고리즘이 하위층으로 진행될수록 그래디언트는 점점 작아지게 된다(연쇄적으로 계산하기 때문). . 어떤 경우에는 특정 층의 가중치가 비정상적으로 커져서, 알고리즘이 발산할 수도 있다. (예: RNN) . 심층 신경망이 오랫동안 방치되었던 이유 중 하나 - 중요한 발견: 로지스틱 시그모이드 함수와 표준정규분포를 사용한 가중치 무작위 초기화의 문제 . 이 조합으로 훈련 시, 각 층에서 출력의 분산이 입력의 분산보다 크다는 것을 발견 . 신경망의 위쪽으로 갈수록 분산이 계속 커져 가장 높은 층에서는 활성화 함수가 0이나 1로 수렴 . 로지스틱 함수의 평균이 0.5라는 사실 때..
Data Science Series 2021. 5. 29. 23:40
이전 Prev 1 Next 다음