전체 글(101)
-
Adam Optimizer
Adam Optimizer Optimizer Loss Function의 결과값을 최소화하는 모델 파라미터를 찾는것 최적화 알고리즘 Network가 빠르고 정확하게 학습하도록 도와줌 Background Batch Gradient Descent 목적함수 $f(\theta)$의 $\theta$는 전체 훈련 데이터의 $\theta$에 관한 $f$의 gradient를 기반으로 업데이트 $g_t=\nabla_{\theta_{t-1}}f(\theta_{t-1})$ $\theta_t=\theta_{t-1}-\alpha g_t$ $\alpha$ : learning rate t : t 번째 반복 주요 문제 : 목적함수의 local minima 또는 saddle point에 갇히는것 좋지 않은 수렴을 하게 만드는 learn..
2021.10.26 -
Naver Boostcamp AI Tech 2nd 13week_55day
1) 피어세션 정리 면접 스터디(word2vec) 2) 학습 회고 유익한 면접 대비 시간 word2vec 알고리즘스터디
2021.10.25 -
Word2Vec
Word2Vec 배경 one-hot vector : 단어 간 유사도 표현 불가 Sparse Representation vector(벡터) 또는 matrix(행렬)의 값이 대부분 0으로 표현 one-hot vector 벡터의 차원 == 단어 집합(vocabulary)의 크기 고차원에 각 차원이 분리된 표현 방법 Distributed Representation 가정(분포 가설) : 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가짐 희소 표현보다 저차원에 단어의 의미를 여러 차원에 분산 표현 Word2Vec word features 의 분산 표현 단어 벡터 개별단어 문맥 표현 가능 CBOW(Continuous Bag of Words) 주변 단어로 중심 단어 예측 슬라이딩 윈도우(sliding window)..
2021.10.25 -
Naver Boostcamp AI Tech 2nd 12week_54day
1) 피어세션 정리 면접 스터디(CNN) 2) 학습 회고 유익한 면접 대비 시간 CNN 멘토링
2021.10.22 -
CNN(Convolutional Neural Network)
CNN 시각적 영상을 분석하는 데 사용되는 다층의 feed-forward 적인 인공신경망의 한 종류 딥러닝에서 심층 신경망으로 분류, 시각적 영상 분석에 주로 적용 공유 가중치 구조와 변환 불변성 특성에 기초하여 변이 불변 또는 공간 불변 인공 신경망(SIANN)으로 알려짐 영상 및 동영상 인식, 추천 시스템, 영상 분류, 의료 영상 분석 및 자연어 처리 등에 응용 합성곱 신경망은 정규화 된 버전의 다층 퍼셉트론 데이터에서 계층적 패턴을 활용하고 더 작고 간단한 패턴을 사용하여 더 복잡한 패턴을 표현함으로써 정규화와 같은 효과를 냄 합성곱 신경망의 연결 구조의 복잡성은 유사한 기능의 다층 퍼셉트론에 비해 극단적으로 낮음 합성곱 신경망은 뉴런 사이의 연결 패턴이 동물 시각 피질의 조직과 유사하다는 점에 영..
2021.10.22 -
Naver Boostcamp AI Tech 2nd 12week_53day
1) 피어세션 정리 면접 스터디(Dropout) 알고리즘 스터디 (이분탐색) 해설 2) 학습 회고 유익한 면접 대비 시간 Dropout
2021.10.21