라벨링 되지 않은 데이터의 효과적 코딩을 학습하는데 사용되는 인공신경망의 종류 차원 축소 등을 위해 representation learning 또는 feature learning을 비지도학습 형태로 학습하는 신경망 Basic Architecture encoder, decoder 두 부분으로 나뉨 encoder : input을 code로 매핑(차원 축소 역할) decoder : code를 다시 input과 같은 크기로 output 생성(생성 모델 역할) Variations Regularized autoencoders Sparse autoencoder (SAE) Denoising autoencoder (DAE) 임의의 데이터인 노이즈 데이터를 제거하거나 일부러 추가해 중요한 특징을 추출하도록 하는 auto ..

Training Set 모델 학습시에 쓰이는 dataset Validation Set 모델 학습중 모델의 성능을 검증하는데 쓰이는 dataset 모델의 hyperparameter와 configuration을 tuning 하는데 쓰임(학습이 잘 되고 있는지) validation set으로 모델 평가 오버피팅 방지 Test Set 학습 완료 후 모델을 테스트하는 분리된 dataset 편향되지 않은 모델성능 평가지표 제공 How to split dataset Hyperparameter 많은 경우 : 큰 validation set 필요 적은 경우 : 작아도 가능 최적화 전략 data percentage less training data : high variance in training, 학습시키기 부족 less..

Sigmoid 정의 실함수로써 유계이고 미분가능하며, 모든 점에서 음이 아닌 미분값을 가지고 단 하나의 변곡점을 가진다. 성질 일반적으로 단조함수이며 종 모양의 1차 미분 그래프를 가진다. $x \to\pm \infty$ 일 때, 한 쌍의 수평 점근선으로 수렴한다. 시그모이드 함수는 0보다 작은 값에서 볼록하고 0보다 큰 값에서 오목하다. 로지스틱 함수 $f(x)=\frac {1} {1 + e^{-x}} = \frac {e^x} {e^x+1}$ def sigmoid(x): return 1 / (1+math.e**(-x))import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x))장점 not blowing up activation 0~1 사이의 범위여서 ..

Gradient Descent 1차 근삿값 발견용 최적화 알고리즘 함수의 기울기(경사)를 구하고 경사의 절대값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때 까지 반복시키는 것 최적화할 함수 ${\displaystyle f(\mathbf {x} )}$에 대하여, 먼저 시작점 $\mathbf {x} _{0}$를 정한다. 현재 가 주어졌을 때, 그 다음으로 이동할 점인 ${\mathbf {x}}{i}$은 다음과 같이 계산된다. ${\displaystyle \mathbf {x} _{i+1}=\mathbf {x} _{i}-\gamma _{i}\nabla f(\mathbf {x} _{i})}$ 이때 $ \gamma _{i}$는 이동할 거리를 조절하는 매개변수이다.이 알고리즘의 수렴 여부는 $f$의 성질과 $\gam..