Quatre chercheurs du MIT affirment que GPT-6 Astra, le modèle de langage phare d’OpenAI, sait lire et réécrire directement les « poids » d’autres réseaux de neurones, sans passer par un nouvel entraînement. Dans un billet de blog publié le 2 novembre 2026, ils présentent des expériences qui ont rapidement suscité de vives réactions sur le forum Hacker News.
Les poids sont des milliards de nombres qui déterminent le comportement d’un modèle d’IA. D’ordinaire, ils sont fixés par l’entraînement, un processus automatique qui les ajuste par petites touches à partir de grandes quantités de données. Le modèle obtenu fonctionne, mais cette liste de chiffres reste illisible à l’œil nu, et corriger un défaut oblige souvent à repasser par de nouvelles données et de nouveaux calculs.
Si un modèle pouvait comprendre ces nombres et les retoucher lui-même, il deviendrait possible d’analyser une IA à moindre coût. Les auteurs espèrent aussi pouvoir réparer ses défauts, voire repérer une porte dérobée, c’est-à-dire une fonction malveillante cachée, sans même faire tourner le modèle.
Astra a identifié, réparé et écrit des réseaux
Selon les chercheurs, les modèles de pointe, dont Astra fait partie, commenceraient « à devenir étrangement doués pour comprendre et concevoir les poids de réseaux neuronaux ». Ce constat repose d’abord sur la capacité d’Astra à lire de très petits réseaux.
Les chercheurs ont soumis au modèle quatre réseaux de même taille, comptant chacun 17 253 poids, entraînés à jouer à quatre jeux vidéo différents, dont le casse-briques Breakout et Pac-Man. Sans disposer d’une liste de réponses possibles, Astra a retrouvé le bon jeu à chaque fois. Pour Breakout, il a notamment remarqué que les poids associés au joueur se concentraient sur la rangée du bas de l’écran, là où se déplace la raquette.
Un autre test consistait à réparer un réseau chargé de conduire une voiture virtuelle. Celle-ci restait bloquée sur une rampe, faute d’avoir appris à reculer pour prendre de l’élan. Astra a modifié 3,5 % de ses poids en une seule réponse, et la voiture a ensuite franchi l’obstacle lors des 1 024 essais suivants. Le modèle a aussi écrit des réseaux à partir de zéro, en fixant lui-même leurs poids, sans données ni entraînement.
Restait la question la plus attendue : Astra peut-il améliorer une IA en open-weight sans repasser par l’entraînement ? Le résultat le plus commenté concerne Qwen3.5-0.8B, un petit modèle de langage chinois qui a tendance à tourner en boucle lorsqu’il raisonne. Sur le test de mathématiques MATH-500, 93 % de ses réponses s’interrompaient après avoir atteint la limite de longueur fixée par les chercheurs.
Astra n’avait pas le droit de réentraîner Qwen, mais il pouvait le faire travailler sur des exercices et analyser ses réponses, dans la limite de 50 séries. Il a ainsi localisé l’origine des boucles et corrigé le problème en modifiant 0,016 % des poids. Le score de Qwen à MATH-500 est passé de 7,9 % à 48,1 %, et celui au test IFEval, qui mesure le respect des consignes, de 21 % à 62,3 %.
Des résultats nuancés par les auteurs et les commentateurs
Les chercheurs reconnaissent aussi deux échecs. Sur Gemma 3 270M, un modèle de Google environ trois fois plus petit que Qwen et qui boucle rarement, Astra n’a pas réussi à améliorer nettement les résultats en mathématiques. Les auteurs en concluent que modifier les poids peut lever un obstacle qui masquait une capacité, mais qu’il « ne pouvait pas ajouter une capacité qui manquait au modèle ».
Astra n’a pas non plus su distinguer, à partir des seuls poids, une version de Gemma entraînée à flatter l’utilisateur d’une version honnête. Il n’y est parvenu qu’en observant une partie du fonctionnement des modèles pendant leur exécution.
Sur Hacker News, beaucoup restent sceptiques et jugent que la correction de Qwen n’a rien d’inédit. Les chercheurs la rapprochent d’une méthode décrite dès 2024 pour supprimer les refus d’un modèle. Celle-ci consiste à repérer une « direction » associée à un comportement, puis à la retirer. Certains voient dans ces travaux un premier pas vers des IA capables de s’améliorer elles-mêmes, mais d’autres relèvent que ces expériences ne le prouvent pas pour l’instant, puisqu’Astra n’a jamais modifié ses propres poids.
Product offers are temporarily unavailable.
