반응형
250x250
Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 퀀트
- 자동매매
- 실시간시스템
- 블록체인
- 토플
- AWS
- can
- 아마존 웹 서비스
- realtimesystem
- 프로그래밍
- TOEFL
- 토플 라이팅
- 자동차sw
- Cloud
- python
- backtrader
- GeorgiaTech
- 개발자
- 백트레이더
- 암호화폐
- AUTOSAR
- 파이썬
- probability
- 오토사
- 임베디드
- 비트코인
- 클라우드
- toefl writing
- 확률
- it
Archives
- Today
- Total
목록CBOW (1)
Leo's Garage
GloVe vs CBOW: 내적(dot product)와 PMI로 이해하는 word embedding
word embedding은 단어를 벡터로 바꿔서 의미를 수학적으로 다루는 방법이다.우리가 진짜로 얻고 싶은건 단어 백터 $w$인데, 말뭉치에서 직접 관측되는 건 단어가 어디서, 어떤 단어와 함께 등장했는지(분포) 뿐이다.그래서 거의 모든 임베딩은 아래 가정에서 출발한다.비슷한 의미의 단어는 비슷한 문맥에서 등장한다. (Distributional Hypothesis)이번 글은 아래 3가지를 "하나의 관점(내적, PMI)"으로 정리하고자 한다.내적이 임베딩에서 뭘 의미하는지PMI/PPMI가 왜 자꾸 나오는지GloVe, CBOW가 각각 어떻게 학습되는지 출처 GloVe: Pennington, Socher, Manning (2014), GloVe: Global Vectors for Word Representa..
Study/AI ML
2026. 2. 18. 14:53