Dropout 신경망에서 학습 과정 중에 뉴런을 생략하는 것(순전파, 역전파시 고려되지 않음, 학습 후 test시에는 사용하지 않음) 학습데이터에서 복잡한 co-adaptation을 방지해서 인공신경망에서 오버피팅을 줄이도록하는 regularization 기술 효과 Voting 효과 일정 mini-batch 구간동안 줄어든 망을 이용해 학습하면 그 망에 overfitting 되고, 다른 mini-batch 구간동안 다른 망에 학습을 하면 그 망에 어느정도 overfitting 되는데 이 과정을 랜덤하게 반복하면 voting에 의한 평균 효과를 얻어 regularization 비슷한 효과를 얻는다. Co-adaptation 피하는 효과 특정 뉴런의 bias나 weight가 큰 값을 가지면 그 영향이 커져 ..

1) 강의 [P] KLUE [10/05] 최신 자연어처리 연구 (10강) 최신 자연어처리 연구 2) 피어세션 정리 KLUE 대회 최종 스퍼트 3) 학습 회고 KoELECTRA, ensemble, hard voting, soft voting

1) 강의 [P] KLUE [10/05] GPT 언어모델 기반의 자연어 생성 (9강) GPT 언어모델 기반의 자연어 생성 2) 피어세션 정리 KLUE 대회 마지막날 계획 3) 학습 회고 다양한 모델시도, data augmentation, ensemble 계획

1) 강의 [P] 이미지 분류 [08/27] More... (09강) Ensemble (10강) Experiment Toolkits & Tips 2) 피어세션 정리 대회 준비 TIL 협업툴 논의 역할 분배 한 주 회고 3) 학습 회고 역할 분배를 논의하면서 많이 가까워진거 같은데 일주일 밖에 남지않아 아쉽다