Cache KV

Mémoire des vecteurs clé/valeur déjà calculés par un transformer, conservée pour éviter de refaire les calculs d'attention sur les tokens déjà traités à chaque nouveau token généré.

← Tout le lexique