MIT : GPT-6 Astra lit et modifie des réseaux de neurones

Des chercheurs du MIT CSAIL rapportent que GPT-6 Astra a modifié 0,016 % des poids de Qwen3.5-0.8B et fait passer le score du modèle au benchmark MATH-500 de 7,9 % à 48,1 %. La programmation dans l'espace des poids est une méthode dans laquelle un LLM généraliste lit les poids bruts d'un réseau de neurones et les modifie ou les écrit directement à partir d'un objectif formulé en langage naturel, sans descente de gradient ni boucle d'entraînement. Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, du MIT CSAIL, ont introduit le terme dans un billet de blog du 2 novembre 2026.

Quatre chercheurs du MIT CSAIL décrivent ce qu'ils appellent la programmation dans l'espace des poids (Weight-Space Programming) : un LLM de pointe qui inspecte et modifie les poids bruts d'un réseau sans entraînement par gradient. Ils ont utilisé GPT-6 Astra d'OpenAI comme éditeur et ne l'ont pas laissé écrire de boucles d'entraînement ni recourir à la descente de gradient, de sorte que chaque changement provenait du raisonnement du modèle sur les nombres.

Le résultat le plus frappant concernait un petit modèle de raisonnement ouvert. Leur meilleur résultat a corrigé le bouclage de Qwen3.5-0.8B en modifiant 0,016 % de ses poids, mais la même approche n'a pas amélioré un modèle dépourvu de ce défaut. Sur Qwen3.5-0.8B, le benchmark GSM8K est passé de 13,8 % à 67,1 %, et IFEval de 21,0 % à 62,3 %.

Les expériences de lecture sont venues en premier. L'équipe a entraîné quatre petites politiques sur ses propres versions en grille de Breakout, Pong, Pac-Man et Freeway, en donnant à chacune exactement la même architecture de 17 253 poids, les mêmes entrées et les mêmes actions. Cela a démontré que les modèles de langage de pointe peuvent désormais identifier ce que fait un réseau en analysant uniquement ses poids.

Les chercheurs estiment que la programmation dans l'espace des poids pourrait changer la façon dont les réseaux de neurones sont optimisés et audités. Le billet est un rapport de recherche à un stade précoce plutôt qu'un article évalué par les pairs, mais il ouvre une nouvelle voie pour l'auto-amélioration de l'IA et la réparation rapide de modèles sans réentraînement.