Depuis le début de 2026, le mot « distillation » revient dans de nombreuses accusations que les laboratoires d’IA américains adressent à leurs concurrents chinois. Anthropic, OpenAI et la Maison-Blanche reprochent notamment à DeepSeek et à Moonshot d’avoir « distillé » leurs modèles. Pourtant, cette technique est d’abord une méthode d’entraînement courante, que les laboratoires appliquent eux-mêmes à leurs propres modèles.
- La distillation est une méthode d'entraînement publique, permettant de créer des modèles plus petits à partir de grands modèles.
- Elle consiste à faire apprendre au modèle « élève » les réponses du modèle « professeur » lors d'un processus en plusieurs étapes.
- Les laboratoires l’utilisent pour réduire les coûts et la taille des modèles, mais cela soulève des enjeux juridiques et sécuritaires.
- Des accusations concernent principalement l'utilisation frauduleuse de données distillées, souvent via des comptes faussés ou illégaux.
Un petit modèle qui apprend d’un grand
Les modèles les plus performants sont aussi les plus coûteux à faire tourner, car chaque réponse mobilise une puissance de calcul importante, qui pèse sur le prix facturé comme sur le temps d’attente. Un petit modèle entraîné seul reste nettement moins bon. La distillation consiste donc à faire apprendre au petit modèle, appelé « élève », ce que sait faire le grand, appelé « professeur ».
L’idée a été formalisée en mars 2015 par Geoffrey Hinton, futur prix Nobel de physique, Oriol Vinyals et Jeff Dean, alors chez Google, dans un article de recherche qui a donné son nom à la technique. Les trois chercheurs prolongeaient des travaux de Rich Caruana, qui avait montré qu’un ensemble de modèles pouvait être compressé en un seul.
Un modèle qui classe une image ne donne pas seulement une réponse, il attribue une probabilité à chaque option possible. Les chercheurs l’ont illustré ainsi : « Une image de BMW n’a qu’une très faible probabilité d’être prise pour un camion poubelle, mais cette erreur reste nettement plus probable que de la confondre avec une carotte. » Ces nuances renseignent sur la façon dont le professeur généralise, et l’élève en apprend davantage en les imitant qu’en recopiant la seule bonne réponse.
Appliquée aux grands modèles de langage, la distillation suit généralement trois étapes. Le grand modèle reçoit d’abord un très grand volume de requêtes, choisies selon les compétences à transférer, comme le code, les mathématiques ou la rédaction, et ses réponses sont conservées. L’élève apprend ensuite à reproduire ces réponses, avant d’être testé sur les tâches visées afin de mesurer l’écart qui le sépare encore de son professeur. Les concepteurs qui contrôlent le professeur peuvent exploiter ses probabilités détaillées, alors que ceux qui passent par une API ne disposent que du texte produit, ce qui suffit déjà à transférer une partie de ses capacités.
Depuis l’arrivée des modèles de raisonnement, la chaîne de raisonnement du professeur est devenue la matière la plus convoitée, puisqu’elle expose les étapes intermédiaires menant à une réponse. En janvier 2025, DeepSeek a publié, aux côtés de son modèle de raisonnement R1, six modèles plus petits distillés à partir de lui, construits sur les familles de modèles ouverts Qwen (Alibaba) et Llama (Meta). Des fournisseurs cloud proposent aussi la technique clé en main : Amazon permet ainsi, sur sa plateforme Bedrock, de distiller un modèle Nova avancé vers une version plus légère.
Des accusations dans les deux sens
Dans un billet publié en février, Anthropic rappelle que « les laboratoires d’IA de pointe distillent régulièrement leurs propres modèles pour en créer des versions plus petites et moins chères à destination de leurs clients ». Pour une entreprise, ces versions compactes coûtent moins cher par requête, répondent plus vite et peuvent parfois tourner en local. L’élève reste toutefois borné par son professeur, dont il reproduit aussi les erreurs.
Dans ce même billet, l’entreprise accusait DeepSeek, Moonshot et MiniMax d’avoir distillé Claude à grande échelle, avec plus de 16 millions d’échanges générés via environ 24 000 comptes frauduleux. En juillet, Michael Kratsios, conseiller de la Maison-Blanche pour la science et la technologie, a affirmé que Moonshot avait distillé Claude Fable pour concevoir Kimi K3. Fin septembre, OpenAI a attribué à des personnes liées à la même entreprise une campagne visant à extraire le raisonnement de ses modèles.
Le 12 octobre, Anthropic a assuré que ses nouvelles protections réduisaient de 90 à 99 % les données de raisonnement récupérées par ces campagnes. Ces chiffres proviennent toutefois de ses propres mesures, et aucun audit indépendant ne les a encore confirmés.
Les griefs portent surtout sur les conditions dans lesquelles la technique est employée : réseaux de comptes frauduleux, contournement des restrictions d’accès et violation des conditions d’utilisation. Anthropic avance aussi un argument de sécurité, un modèle distillé de cette façon ayant peu de chances de conserver les garde-fous de son professeur. De leur côté, les critiques de ces laboratoires rappellent qu’ils ont eux-mêmes entraîné leurs modèles sur des contenus collectés sans l’accord de leurs auteurs. Faute de cadre juridique propre à la distillation, ce sont pour l’instant les conditions d’utilisation des fournisseurs qui tracent la limite entre usage légitime et copie.
Product offers are temporarily unavailable.
