Federated Learning (Collaborative Learning) Definition 다수의 로컬 클라이언트와 하나의 중앙 서버가 협력하여 데이터가 탈중앙화된 상황에서 글로벌 모델을 학습하는 기술 Background 모바일 환경의 어려움 privacy 에 취약한 Centralized Server System High Latency How to do 최신 AI model을 다운받아 각자의 data로 학습시킨 model을 올려 보내 Model 값을 기반으로 Cloud 에서 Globalization을 통해 User들이 다시 이 모델을 주기적으로 다운 받음 Difference with Distributed learning 분산학습 : 데이터를 중앙에서 모아 여러 컴퓨팅 리소스로 분산(multiple..

Batch Normalization Definition 인공신경망을 re-centering과 re-scaling으로 layer의 input 정규화를 통해 더 빠르고 안정화시키는 방법 Motivation Internal covariate shift Covariate shift : 이전 레이어의 파라미터 변화로 현재 레이어 입력 분포가 바뀌는 현상 Internal covariate shift : 레이어 통과시 마다 covariate shift가 발생해 입력 분포가 약간씩 변하는 현상 망이 깊어짐에 따라 작은 변화가 뒷단에 큰 영향을 미침 Covariate Shift 줄이는 방법 layer's input 을 whitening 시킴(입력 평균:0, 분산:1) whitening이 backpropagatio..

Adam Optimizer Optimizer Loss Function의 결과값을 최소화하는 모델 파라미터를 찾는것 최적화 알고리즘 Network가 빠르고 정확하게 학습하도록 도와줌 Background Batch Gradient Descent 목적함수 $f(\theta)$의 $\theta$는 전체 훈련 데이터의 $\theta$에 관한 $f$의 gradient를 기반으로 업데이트 $g_t=\nabla_{\theta_{t-1}}f(\theta_{t-1})$ $\theta_t=\theta_{t-1}-\alpha g_t$ $\alpha$ : learning rate t : t 번째 반복 주요 문제 : 목적함수의 local minima 또는 saddle point에 갇히는것 좋지 않은 수렴을 하게 만드는 learn..

Word2Vec 배경 one-hot vector : 단어 간 유사도 표현 불가 Sparse Representation vector(벡터) 또는 matrix(행렬)의 값이 대부분 0으로 표현 one-hot vector 벡터의 차원 == 단어 집합(vocabulary)의 크기 고차원에 각 차원이 분리된 표현 방법 Distributed Representation 가정(분포 가설) : 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가짐 희소 표현보다 저차원에 단어의 의미를 여러 차원에 분산 표현 Word2Vec word features 의 분산 표현 단어 벡터 개별단어 문맥 표현 가능 CBOW(Continuous Bag of Words) 주변 단어로 중심 단어 예측 슬라이딩 윈도우(sliding window)..

CNN 시각적 영상을 분석하는 데 사용되는 다층의 feed-forward 적인 인공신경망의 한 종류 딥러닝에서 심층 신경망으로 분류, 시각적 영상 분석에 주로 적용 공유 가중치 구조와 변환 불변성 특성에 기초하여 변이 불변 또는 공간 불변 인공 신경망(SIANN)으로 알려짐 영상 및 동영상 인식, 추천 시스템, 영상 분류, 의료 영상 분석 및 자연어 처리 등에 응용 합성곱 신경망은 정규화 된 버전의 다층 퍼셉트론 데이터에서 계층적 패턴을 활용하고 더 작고 간단한 패턴을 사용하여 더 복잡한 패턴을 표현함으로써 정규화와 같은 효과를 냄 합성곱 신경망의 연결 구조의 복잡성은 유사한 기능의 다층 퍼셉트론에 비해 극단적으로 낮음 합성곱 신경망은 뉴런 사이의 연결 패턴이 동물 시각 피질의 조직과 유사하다는 점에 영..

Dropout 신경망에서 학습 과정 중에 뉴런을 생략하는 것(순전파, 역전파시 고려되지 않음, 학습 후 test시에는 사용하지 않음) 학습데이터에서 복잡한 co-adaptation을 방지해서 인공신경망에서 오버피팅을 줄이도록하는 regularization 기술 효과 Voting 효과 일정 mini-batch 구간동안 줄어든 망을 이용해 학습하면 그 망에 overfitting 되고, 다른 mini-batch 구간동안 다른 망에 학습을 하면 그 망에 어느정도 overfitting 되는데 이 과정을 랜덤하게 반복하면 voting에 의한 평균 효과를 얻어 regularization 비슷한 효과를 얻는다. Co-adaptation 피하는 효과 특정 뉴런의 bias나 weight가 큰 값을 가지면 그 영향이 커져 ..