Word2Vec

Word2Vec 배경 one-hot vector : 단어 간 유사도 표현 불가 Sparse Representation vector(벡터) 또는 matrix(행렬)의 값이 대부분 0으로 표현 one-hot vector 벡터의 차원 == 단어 집합(vocabulary)의 크기 고차원에 각 차원이 분리된 표현 방법 Distributed Representation 가정(분포 가설) : 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가짐 희소 표현보다 저차원에 단어의 의미를 여러 차원에 분산 표현 Word2Vec word features 의 분산 표현 단어 벡터 개별단어 문맥 표현 가능 CBOW(Continuous Bag of Words) 주변 단어로 중심 단어 예측 슬라이딩 윈도우(sliding window)..

2021.10.25