Attention

Mécanisme qui recalcule la représentation de chaque token en la mettant en relation avec tous les autres tokens de la séquence, pondérés selon leur pertinence mutuelle — le cœur de calcul d'un transformer.