CNN 시각적 영상을 분석하는 데 사용되는 다층의 feed-forward 적인 인공신경망의 한 종류 딥러닝에서 심층 신경망으로 분류, 시각적 영상 분석에 주로 적용 공유 가중치 구조와 변환 불변성 특성에 기초하여 변이 불변 또는 공간 불변 인공 신경망(SIANN)으로 알려짐 영상 및 동영상 인식, 추천 시스템, 영상 분류, 의료 영상 분석 및 자연어 처리 등에 응용 합성곱 신경망은 정규화 된 버전의 다층 퍼셉트론 데이터에서 계층적 패턴을 활용하고 더 작고 간단한 패턴을 사용하여 더 복잡한 패턴을 표현함으로써 정규화와 같은 효과를 냄 합성곱 신경망의 연결 구조의 복잡성은 유사한 기능의 다층 퍼셉트론에 비해 극단적으로 낮음 합성곱 신경망은 뉴런 사이의 연결 패턴이 동물 시각 피질의 조직과 유사하다는 점에 영..

Dropout 신경망에서 학습 과정 중에 뉴런을 생략하는 것(순전파, 역전파시 고려되지 않음, 학습 후 test시에는 사용하지 않음) 학습데이터에서 복잡한 co-adaptation을 방지해서 인공신경망에서 오버피팅을 줄이도록하는 regularization 기술 효과 Voting 효과 일정 mini-batch 구간동안 줄어든 망을 이용해 학습하면 그 망에 overfitting 되고, 다른 mini-batch 구간동안 다른 망에 학습을 하면 그 망에 어느정도 overfitting 되는데 이 과정을 랜덤하게 반복하면 voting에 의한 평균 효과를 얻어 regularization 비슷한 효과를 얻는다. Co-adaptation 피하는 효과 특정 뉴런의 bias나 weight가 큰 값을 가지면 그 영향이 커져 ..

Training Set 모델 학습시에 쓰이는 dataset Validation Set 모델 학습중 모델의 성능을 검증하는데 쓰이는 dataset 모델의 hyperparameter와 configuration을 tuning 하는데 쓰임(학습이 잘 되고 있는지) validation set으로 모델 평가 오버피팅 방지 Test Set 학습 완료 후 모델을 테스트하는 분리된 dataset 편향되지 않은 모델성능 평가지표 제공 How to split dataset Hyperparameter 많은 경우 : 큰 validation set 필요 적은 경우 : 작아도 가능 최적화 전략 data percentage less training data : high variance in training, 학습시키기 부족 less..

Sigmoid 정의 실함수로써 유계이고 미분가능하며, 모든 점에서 음이 아닌 미분값을 가지고 단 하나의 변곡점을 가진다. 성질 일반적으로 단조함수이며 종 모양의 1차 미분 그래프를 가진다. $x \to\pm \infty$ 일 때, 한 쌍의 수평 점근선으로 수렴한다. 시그모이드 함수는 0보다 작은 값에서 볼록하고 0보다 큰 값에서 오목하다. 로지스틱 함수 $f(x)=\frac {1} {1 + e^{-x}} = \frac {e^x} {e^x+1}$ def sigmoid(x): return 1 / (1+math.e**(-x))import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x))장점 not blowing up activation 0~1 사이의 범위여서 ..

Gradient Descent 1차 근삿값 발견용 최적화 알고리즘 함수의 기울기(경사)를 구하고 경사의 절대값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때 까지 반복시키는 것 최적화할 함수 ${\displaystyle f(\mathbf {x} )}$에 대하여, 먼저 시작점 $\mathbf {x} _{0}$를 정한다. 현재 가 주어졌을 때, 그 다음으로 이동할 점인 ${\mathbf {x}}{i}$은 다음과 같이 계산된다. ${\displaystyle \mathbf {x} _{i+1}=\mathbf {x} _{i}-\gamma _{i}\nabla f(\mathbf {x} _{i})}$ 이때 $\gamma _{i}$는 이동할 거리를 조절하는 매개변수이다.이 알고리즘의 수렴 여부는 $f$의 성질과 $\gam..