Cache KV
Mémoire des vecteurs clé/valeur déjà calculés par un transformer, conservée pour éviter de refaire les calculs d'attention sur les tokens déjà traités à chaque nouveau token généré.
Mémoire des vecteurs clé/valeur déjà calculés par un transformer, conservée pour éviter de refaire les calculs d'attention sur les tokens déjà traités à chaque nouveau token généré.