Mistral lance un modèle à 1 000 milliards de paramètres pour défier la Chine

Mistral a dévoilé mardi le nouveau modèle d'IA à poids ouverts alors que les entreprises occidentales cherchent à combler leur retard de capacités sur les développeurs chinois sur ce marché. Le modèle, appelé Mistral Large 4 ou ML4, surnommé « Le Chonk », compte 1 000 milliards de paramètres et figurera parmi les meilleurs modèles à poids ouverts au monde en termes de performances globales aux benchmarks, Mistral affirmant qu'il s'agit du modèle à poids ouverts le plus performant développé hors de Chine, et ce avec une marge substantielle. ML4 dispose de 49 milliards de paramètres actifs et a été entraîné à partir de zéro pendant environ deux mois sur 4 000 GPU Nvidia Grace Blackwell, dans les propres centres de données européens de Mistral. Mistral a entraîné le modèle sur plus de 160 langues, dont toutes les langues officielles de l'Union européenne. Aux tests de benchmark, ML4 a obtenu 61,7 % sur DeepSWE v1.1 et 59,9 % sur AutomationBench ; sur un test de l'Artificial Analysis Cyber Index portant sur la reproduction et la correction de vulnérabilités, il a atteint 82 %, tandis que son score Cybench était de 93 %. Le modèle est lancé en aperçu auprès de développeurs et de professionnels de la cybersécurité, aux côtés des autorités étatiques, avant la publication publique de ses poids le 27 octobre. Le PDG de Mistral, Arthur Mensch, a déclaré lors d'un événement de lancement que le modèle surpassait de nombreux modèles à poids ouverts rivaux, affirmant que « le discours selon lequel l'Europe ne peut pas rivaliser n'est pas vrai ».