BPE
Byte Pair Encoding : algorithme de tokenization qui construit un vocabulaire de sous-mots en fusionnant itérativement, sur un gros corpus, la paire de symboles adjacents la plus fréquente.
Byte Pair Encoding : algorithme de tokenization qui construit un vocabulaire de sous-mots en fusionnant itérativement, sur un gros corpus, la paire de symboles adjacents la plus fréquente.
