Dropout

Dropout

• 신경망에서 학습 과정 중에 뉴런을 생략하는 것(순전파, 역전파시 고려되지 않음, 학습 후 test시에는 사용하지 않음)
• 학습데이터에서 복잡한 co-adaptation을 방지해서 인공신경망에서 오버피팅을 줄이도록하는 regularization 기술

효과

Voting 효과

• 일정 mini-batch 구간동안 줄어든 망을 이용해 학습하면 그 망에 overfitting 되고, 다른 mini-batch 구간동안 다른 망에 학습을 하면 그 망에 어느정도 overfitting 되는데 이 과정을 랜덤하게 반복하면 voting에 의한 평균 효과를 얻어 regularization 비슷한 효과를 얻는다.

Co-adaptation 피하는 효과

• 특정 뉴런의 bias나 weight가 큰 값을 가지면 그 영향이 커져 다른 뉴런들의 학습속도가 느려지거나 학습이 제대로 진행되지 못하는데 dropout을 할 경우 특정뉴런의 bias나 weight의 영향을 받지 않아 co-adaptation 되는 것을 피할 수 있다.

Ensemble 효과

• 매번 다른 형태 노드 조합으로 학습해 앙상블 효과를 얻을 수 있음

Reference

https://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=laonple&logNo=220542170499

https://medium.com/@amarbudhiraja/https-medium-com-amarbudhiraja-learning-less-to-learn-better-dropout-in-deep-machine-learning-74334da4bfc5

https://cs231n.github.io/neural-networks-2/#reg

https://machinelearningmastery.com/dropout-for-regularizing-deep-neural-networks/