Optimizer(2)
-
Adam Optimizer
Adam Optimizer Optimizer Loss Function의 결과값을 최소화하는 모델 파라미터를 찾는것 최적화 알고리즘 Network가 빠르고 정확하게 학습하도록 도와줌 Background Batch Gradient Descent 목적함수 $f(\theta)$의 $\theta$는 전체 훈련 데이터의 $\theta$에 관한 $f$의 gradient를 기반으로 업데이트 $g_t=\nabla_{\theta_{t-1}}f(\theta_{t-1})$ $\theta_t=\theta_{t-1}-\alpha g_t$ $\alpha$ : learning rate t : t 번째 반복 주요 문제 : 목적함수의 local minima 또는 saddle point에 갇히는것 좋지 않은 수렴을 하게 만드는 learn..
2021.10.26 -
Naver Boostcamp AI Tech 2nd 2week_12day
1) 강의 [U] PyTorch [08/17] PyTorch 기본 (04강) AutoGrad & Optimizer (05강) Dataset & Dataloader 2) 과제 수행 과정 / 결과물 정리 [필수 과제] Custom Dataset 과제 3) 피어세션 정리 TIL 학습 정리 과제 토론 프로젝트 깃헙 관리 4) 학습 회고 오늘은 알차게 과제 토론으로 시간을 꽉 채웠다.
2021.08.18