QU'EST-CE QU'UN MODÈLE D’IA MOE, ET POURQUOI N'UTILISE-T-IL QU'UNE PARTIE DE SES PARAMÈTRES ?
Certains modèles d'intelligence artificielle comptent des centaines de milliards de paramètres, mais n'en mobilisent qu'une fraction pour traiter chaque token. Une particularité des architectures MoE, qui permet d'augmenter leur capacité sans multiplier les calculs dans les mêmes proportions.
