Word2Vec 배경 one-hot vector : 단어 간 유사도 표현 불가 Sparse Representation vector(벡터) 또는 matrix(행렬)의 값이 대부분 0으로 표현 one-hot vector 벡터의 차원 == 단어 집합(vocabulary)의 크기 고차원에 각 차원이 분리된 표현 방법 Distributed Representation 가정(분포 가설) : 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가짐 희소 표현보다 저차원에 단어의 의미를 여러 차원에 분산 표현 Word2Vec word features 의 분산 표현 단어 벡터 개별단어 문맥 표현 가능 CBOW(Continuous Bag of Words) 주변 단어로 중심 단어 예측 슬라이딩 윈도우(sliding window)..

1) 강의 [U] NLP [09/13] Part5 - Selfsupervised Pre-training Models (09강) Self-supervised Pre-training Models (10강) Advanced Self-supervised Pre-training Model 2) 피어세션 정리 논문 스터디 4) 학습 회고 논문 스터디 겨우 논문 하나가 끝났다. 이제 좀 더 빨리 빨리 해야겠다.

1) 강의 [U] NLP [09/13] Part4 - Transformer (07강) Transformer (1) (08강) Transformer (2) 2) 과제 수행 과정 / 결과물 정리 [선택 과제2] NMT training with Fairseq [선택 과제3] Byte Pair Encoding 3) 피어세션 정리 논문 스터디 level3 팀 피어 세션 4) 학습 회고 level3 팀원들 정말 모두 좋은분들이 모여서 좋다. 게더타운도 너무 재밌다.

1) 강의 [U] NLP [09/06] Part 1 - Bag of Words & Word Embedding (01강) Intro to NLP, Bag-of-Words (02강) Word Embedding 2) 과제 수행 과정 / 결과물 정리 [필수 과제] Data Preprocessing [선택 과제] BERT Fine-tuning with transformers 3) 피어세션 정리 TIL 학습 정리 그라운드룰 Bag of Words, Word2Vec, GloVe 토론 4) 학습 회고 바뀐 팀원들과의 첫 날