dl(11)
-
Adam Optimizer
Adam Optimizer Optimizer Loss Function의 결과값을 최소화하는 모델 파라미터를 찾는것 최적화 알고리즘 Network가 빠르고 정확하게 학습하도록 도와줌 Background Batch Gradient Descent 목적함수 $f(\theta)$의 $\theta$는 전체 훈련 데이터의 $\theta$에 관한 $f$의 gradient를 기반으로 업데이트 $g_t=\nabla_{\theta_{t-1}}f(\theta_{t-1})$ $\theta_t=\theta_{t-1}-\alpha g_t$ $\alpha$ : learning rate t : t 번째 반복 주요 문제 : 목적함수의 local minima 또는 saddle point에 갇히는것 좋지 않은 수렴을 하게 만드는 learn..
2021.10.26 -
Dropout
Dropout 신경망에서 학습 과정 중에 뉴런을 생략하는 것(순전파, 역전파시 고려되지 않음, 학습 후 test시에는 사용하지 않음) 학습데이터에서 복잡한 co-adaptation을 방지해서 인공신경망에서 오버피팅을 줄이도록하는 regularization 기술 효과 Voting 효과 일정 mini-batch 구간동안 줄어든 망을 이용해 학습하면 그 망에 overfitting 되고, 다른 mini-batch 구간동안 다른 망에 학습을 하면 그 망에 어느정도 overfitting 되는데 이 과정을 랜덤하게 반복하면 voting에 의한 평균 효과를 얻어 regularization 비슷한 효과를 얻는다. Co-adaptation 피하는 효과 특정 뉴런의 bias나 weight가 큰 값을 가지면 그 영향이 커져 ..
2021.10.21 -
Dataset(Train, Validation, Test)
Training Set 모델 학습시에 쓰이는 dataset Validation Set 모델 학습중 모델의 성능을 검증하는데 쓰이는 dataset 모델의 hyperparameter와 configuration을 tuning 하는데 쓰임(학습이 잘 되고 있는지) validation set으로 모델 평가 오버피팅 방지 Test Set 학습 완료 후 모델을 테스트하는 분리된 dataset 편향되지 않은 모델성능 평가지표 제공 How to split dataset Hyperparameter 많은 경우 : 큰 validation set 필요 적은 경우 : 작아도 가능 최적화 전략 data percentage less training data : high variance in training, 학습시키기 부족 less..
2021.10.20 -
Naver Boostcamp AI Tech 2nd 2week_12day
1) 강의 [U] PyTorch [08/17] PyTorch 기본 (04강) AutoGrad & Optimizer (05강) Dataset & Dataloader 2) 과제 수행 과정 / 결과물 정리 [필수 과제] Custom Dataset 과제 3) 피어세션 정리 TIL 학습 정리 과제 토론 프로젝트 깃헙 관리 4) 학습 회고 오늘은 알차게 과제 토론으로 시간을 꽉 채웠다.
2021.08.18 -
Naver Boostcamp AI Tech 2nd 2week_11day
1) 강의 [U] PyTorch [08/17] PyTorch 기본 (01강) Introduction to PyTorch (02강) PyTorch Basics (03강) PyTorch 프로젝트 구조 이해하기 2) 과제 수행 과정 / 결과물 정리 [필수 과제] Custom Model 개발하기 3) 피어세션 정리 TIL 학습 정리 각자 프로젝트 보여주기 4) 학습 회고 오늘은 각자 공부해온것 프로젝트들을 공유하는 시간을 가졌다. 앞으로는 간단한 공부라도 각자 공부하는 시간을 갖기로 했다.
2021.08.17