라벨링 되지 않은 데이터의 효과적 코딩을 학습하는데 사용되는 인공신경망의 종류 차원 축소 등을 위해 representation learning 또는 feature learning을 비지도학습 형태로 학습하는 신경망 Basic Architecture encoder, decoder 두 부분으로 나뉨 encoder : input을 code로 매핑(차원 축소 역할) decoder : code를 다시 input과 같은 크기로 output 생성(생성 모델 역할) Variations Regularized autoencoders Sparse autoencoder (SAE) Denoising autoencoder (DAE) 임의의 데이터인 노이즈 데이터를 제거하거나 일부러 추가해 중요한 특징을 추출하도록 하는 auto ..

Gradient Descent 1차 근삿값 발견용 최적화 알고리즘 함수의 기울기(경사)를 구하고 경사의 절대값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때 까지 반복시키는 것 최적화할 함수 ${\displaystyle f(\mathbf {x} )}$에 대하여, 먼저 시작점 $\mathbf {x} _{0}$를 정한다. 현재 가 주어졌을 때, 그 다음으로 이동할 점인 ${\mathbf {x}}{i}$은 다음과 같이 계산된다. ${\displaystyle \mathbf {x} _{i+1}=\mathbf {x} _{i}-\gamma _{i}\nabla f(\mathbf {x} _{i})}$ 이때 $ \gamma _{i}$는 이동할 거리를 조절하는 매개변수이다.이 알고리즘의 수렴 여부는 $f$의 성질과 $\gam..