MIT：GPT-6 Astraがニューラルネットワークを読み取り、編集

MIT CSAILの研究者らは、GPT-6 AstraがQwen3.5-0.8Bの重みの0.016%を編集し、同モデルのMATH-500スコアを7.9%から48.1%へ引き上げたと報告した。重み空間プログラミングとは、汎用LLMがニューラルネットワークの生の重みを読み取り、自然言語の目標から直接それらを編集・書き込みする手法であり、勾配降下法や学習ループを必要としない。MIT CSAILのRikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabが2026年11月2日のブログ記事でこの用語を提唱した。

MIT CSAILの4人の研究者が、自ら「重み空間プログラミング（Weight-Space Programming）」と呼ぶ手法を説明している。フロンティアLLMが、勾配による学習なしにネットワークの生の重みを検査・編集するというものだ。彼らはOpenAIのGPT-6 Astraを編集者として用い、学習ループの記述や勾配降下法の使用は一切許可しなかったため、すべての変更はモデルが数値について推論した結果から生じた。

最も印象的な結果は、小型のオープン推論モデルに関するものだった。最良の結果では、Qwen3.5-0.8Bの重みの0.016%を変更することでそのループ現象を修正したが、同じ手法はその欠陥を持たないモデルには改善をもたらさなかった。Qwen3.5-0.8BはGSM8Kベンチマークで13.8%から67.1%へ、IFEvalでは21.0%から62.3%へと向上した。

読み取りの実験が最初に行われた。チームはBreakout、Pong、Pac-Man、Freewayの自作グリッド版で4つの小さなポリシーを学習させ、それぞれに全く同じ17,253個の重みを持つアーキテクチャ、入力、行動を与えた。これにより、フロンティア言語モデルが重みのみを分析してネットワークの機能を特定できることが実証された。

研究者らは、重み空間プログラミングがニューラルネットワークの最適化と監査のあり方を変える可能性があると考えている。この投稿は査読済み論文ではなく初期段階の研究報告だが、再学習なしでのAIの自己改善と迅速なモデル修復に向けた新たな方向性を切り開くものだ。