Leo's Garage

word embedding은 단어를 벡터로 바꿔서 의미를 수학적으로 다루는 방법이다.우리가 진짜로 얻고 싶은건 단어 백터 $w$인데, 말뭉치에서 직접 관측되는 건 단어가 어디서, 어떤 단어와 함께 등장했는지(분포) 뿐이다.그래서 거의 모든 임베딩은 아래 가정에서 출발한다.비슷한 의미의 단어는 비슷한 문맥에서 등장한다. (Distributional Hypothesis)이번 글은 아래 3가지를 "하나의 관점(내적, PMI)"으로 정리하고자 한다.내적이 임베딩에서 뭘 의미하는지PMI/PPMI가 왜 자꾸 나오는지GloVe, CBOW가 각각 어떻게 학습되는지 출처 GloVe: Pennington, Socher, Manning (2014), GloVe: Global Vectors for Word Representa..

Softmax가 뭘 하는 함수인가?Softmax는 여러 개의 "점수(score, logit)"을 받아서, 이를 확률처럼 해석 가능한 값들의 묶음으로 바꿔주는 함수이다.입력: 클래스별 점수 (예: 고양이 2.0, 개 1.0, 토끼 0.1)출력: 각 클래스에 대한 값 (0 ~ 1), 전체 합이 1즉, 결과는 "확률 분포 형태"가 되어, 한 샘플이 여러 클래스 중 '하나'일 때 "모델이 각 후보에 얼마나 무게를 두는지"를 직관적으로 볼 수 있다. "확률로 만든다"의 의미여기서 "확률"은 현실 세계의 진짜 확률을 보장한다는 뜻이 아니라여러 후보의 유력함을 0 ~ 1 사이의 '몫(지분)'으로 바꾸고, 그 몫들의 합이 1이 되게 만든 것그래서 마치 확률처럼 읽을 수 있음 비유 1: 케이크 지분 점수는 그냥 "선호..