Federated Learning (Collaborative Learning) Definition 다수의 로컬 클라이언트와 하나의 중앙 서버가 협력하여 데이터가 탈중앙화된 상황에서 글로벌 모델을 학습하는 기술 Background 모바일 환경의 어려움 privacy 에 취약한 Centralized Server System High Latency How to do 최신 AI model을 다운받아 각자의 data로 학습시킨 model을 올려 보내 Model 값을 기반으로 Cloud 에서 Globalization을 통해 User들이 다시 이 모델을 주기적으로 다운 받음 Difference with Distributed learning 분산학습 : 데이터를 중앙에서 모아 여러 컴퓨팅 리소스로 분산(multiple..

Adam Optimizer Optimizer Loss Function의 결과값을 최소화하는 모델 파라미터를 찾는것 최적화 알고리즘 Network가 빠르고 정확하게 학습하도록 도와줌 Background Batch Gradient Descent 목적함수 $f(\theta)$의 $\theta$는 전체 훈련 데이터의 $\theta$에 관한 $f$의 gradient를 기반으로 업데이트 $g_t=\nabla_{\theta_{t-1}}f(\theta_{t-1})$ $\theta_t=\theta_{t-1}-\alpha g_t$ $\alpha$ : learning rate t : t 번째 반복 주요 문제 : 목적함수의 local minima 또는 saddle point에 갇히는것 좋지 않은 수렴을 하게 만드는 learn..

Dropout 신경망에서 학습 과정 중에 뉴런을 생략하는 것(순전파, 역전파시 고려되지 않음, 학습 후 test시에는 사용하지 않음) 학습데이터에서 복잡한 co-adaptation을 방지해서 인공신경망에서 오버피팅을 줄이도록하는 regularization 기술 효과 Voting 효과 일정 mini-batch 구간동안 줄어든 망을 이용해 학습하면 그 망에 overfitting 되고, 다른 mini-batch 구간동안 다른 망에 학습을 하면 그 망에 어느정도 overfitting 되는데 이 과정을 랜덤하게 반복하면 voting에 의한 평균 효과를 얻어 regularization 비슷한 효과를 얻는다. Co-adaptation 피하는 효과 특정 뉴런의 bias나 weight가 큰 값을 가지면 그 영향이 커져 ..

Training Set 모델 학습시에 쓰이는 dataset Validation Set 모델 학습중 모델의 성능을 검증하는데 쓰이는 dataset 모델의 hyperparameter와 configuration을 tuning 하는데 쓰임(학습이 잘 되고 있는지) validation set으로 모델 평가 오버피팅 방지 Test Set 학습 완료 후 모델을 테스트하는 분리된 dataset 편향되지 않은 모델성능 평가지표 제공 How to split dataset Hyperparameter 많은 경우 : 큰 validation set 필요 적은 경우 : 작아도 가능 최적화 전략 data percentage less training data : high variance in training, 학습시키기 부족 less..