L’idea
Tutto ciò che un LLM «sa» di una conversazione deve stare nella finestra; ciò che ne esce non viene più visto. Le finestre sono cresciute da poche migliaia di token a centinaia di migliaia in alcuni modelli, ma una finestra ampia non garantisce che l’informazione venga usata in modo uniforme: Liu et al. (2023) hanno osservato che le prestazioni calano quando l’informazione rilevante si trova a metà di un contesto lungo, rispetto a quando sta all’inizio o alla fine. Il costo dell’attenzione cresce con la lunghezza. Quando i documenti non entrano nella finestra, la RAG seleziona solo i passaggi pertinenti.
Da dove viene
- Liu et al. (2023), «Lost in the Middle: How Language Models Use Long Contexts». arXiv:2307.03172