ML(15)
-
Naver Boostcamp AI Tech 2nd 15week_67day
1) 강의 [P] 데이터제작(NLP) [11/8] Dataset Construction (7강) 데이터 구축 가이드라인 작성 기초 [11/8] Application (8강) 관계 추출 과제의 이해 (9강) 관계 추출 관련 논문 읽기 2) 피어세션 정리 추후 방향 논의 데이터 확인 3) 학습 회고 집중이 잘 안 된다. 왜일까...
2021.11.10 -
Naver Boostcamp AI Tech 2nd 15week_65day
1) 강의 [P] 데이터제작(NLP) [11/8] Introduction (1강) 데이터 제작의 A to Z (2강) 자연어처리 데이터 기초 [11/8] Related Work (3강) 자연어처리 데이터 소개 1 2) 피어세션 정리 알고리즘 스터디 Skewed Sorting 3) 학습 회고 데이터 제작 첫 날 공부가 너무 잘 됐다 여러가지 의미로 오늘 잊을 수 없는 날이다
2021.11.08 -
Naver Boostcamp AI Tech 2nd 12week_54day
1) 피어세션 정리 면접 스터디(CNN) 2) 학습 회고 유익한 면접 대비 시간 CNN 멘토링
2021.10.22 -
Dropout
Dropout 신경망에서 학습 과정 중에 뉴런을 생략하는 것(순전파, 역전파시 고려되지 않음, 학습 후 test시에는 사용하지 않음) 학습데이터에서 복잡한 co-adaptation을 방지해서 인공신경망에서 오버피팅을 줄이도록하는 regularization 기술 효과 Voting 효과 일정 mini-batch 구간동안 줄어든 망을 이용해 학습하면 그 망에 overfitting 되고, 다른 mini-batch 구간동안 다른 망에 학습을 하면 그 망에 어느정도 overfitting 되는데 이 과정을 랜덤하게 반복하면 voting에 의한 평균 효과를 얻어 regularization 비슷한 효과를 얻는다. Co-adaptation 피하는 효과 특정 뉴런의 bias나 weight가 큰 값을 가지면 그 영향이 커져 ..
2021.10.21 -
Dataset(Train, Validation, Test)
Training Set 모델 학습시에 쓰이는 dataset Validation Set 모델 학습중 모델의 성능을 검증하는데 쓰이는 dataset 모델의 hyperparameter와 configuration을 tuning 하는데 쓰임(학습이 잘 되고 있는지) validation set으로 모델 평가 오버피팅 방지 Test Set 학습 완료 후 모델을 테스트하는 분리된 dataset 편향되지 않은 모델성능 평가지표 제공 How to split dataset Hyperparameter 많은 경우 : 큰 validation set 필요 적은 경우 : 작아도 가능 최적화 전략 data percentage less training data : high variance in training, 학습시키기 부족 less..
2021.10.20 -
Sigmoid
Sigmoid 정의 실함수로써 유계이고 미분가능하며, 모든 점에서 음이 아닌 미분값을 가지고 단 하나의 변곡점을 가진다. 성질 일반적으로 단조함수이며 종 모양의 1차 미분 그래프를 가진다. $x \to\pm \infty$ 일 때, 한 쌍의 수평 점근선으로 수렴한다. 시그모이드 함수는 0보다 작은 값에서 볼록하고 0보다 큰 값에서 오목하다. 로지스틱 함수 $f(x)=\frac {1} {1 + e^{-x}} = \frac {e^x} {e^x+1}$ def sigmoid(x): return 1 / (1+math.e**(-x))import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x))장점 not blowing up activation 0~1 사이의 범위여서 ..
2021.10.19