L’idea
Il vettore ha di solito centinaia o migliaia di dimensioni e viene appreso dai dati da una rete neurale. La vicinanza tra due vettori si misura per esempio con la similarità del coseno. Word2vec (Mikolov et al., 2013) mostrò che embedding di parole appresi dal contesto in cui compaiono catturano regolarità di significato. Nei modelli basati sul Transformer la rappresentazione di una parola dipende dalla frase in cui si trova.
Un esempio
Nella ricerca semantica, domanda e documenti vengono trasformati in embedding e si restituiscono i documenti con i vettori più vicini a quello della domanda, anche se non contengono le stesse parole. È il meccanismo di recupero più comune nella RAG.
Da dove viene
- Mikolov et al. (2013), «Efficient Estimation of Word Representations in Vector Space». arXiv:1301.3781
- Devlin et al. (2018), «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». arXiv:1810.04805