Distillation des connaissances : comment un modèle étudiant apprend d’un modèle enseignant, et ce que cela ne garantit pas

Définition : transférer des signaux d’un modèle enseignant à un modèle étudiant

La distillation des connaissances est une famille de méthodes d’apprentissage automatique dans lesquelles un modèle étudiant est entraîné à exploiter des signaux produits par un modèle enseignant. Dans la formulation habituelle, l’enseignant est un modèle plus grand et l’étudiant un modèle plus petit. L’objectif est que l’étudiant apprenne à accomplir une tâche donnée, et non qu’il copie littéralement les paramètres ou le fonctionnement interne de l’enseignant.

Le mot « connaissances » peut laisser penser que l’on transfère une représentation complète et clairement délimitée de tout ce que sait l’enseignant. Il est plus précis de parler de signaux d’entraînement : des informations tirées des réponses, des représentations ou des exemples de l’enseignant, utilisées pour guider l’apprentissage de l’étudiant. Le signal partagé et la manière de l’exploiter dépendent de la méthode.

La distillation n’est pas un algorithme unique assorti d’une recette universelle. La littérature académique rassemble différentes configurations et techniques sous ce terme, et les revues du domaine les classent selon plusieurs perspectives. Lorsqu’un modèle est présenté comme « distillé », il est donc utile de chercher des précisions sur l’enseignant, les signaux, les données et l’objectif d’entraînement.

Comment fonctionne le schéma général

Un processus de distillation commence par la définition de la tâche et du résultat attendu. On choisit ou entraîne ensuite un modèle enseignant, puis on détermine quels signaux serviront à guider l’étudiant. Celui-ci est entraîné à partir de ces signaux, des étiquettes d’origine ou d’une combinaison des deux, selon la conception retenue. Enfin, on évalue si le résultat satisfait les exigences pertinentes pour son application.

Cette séquence est une description générale, pas la spécification de toutes les méthodes. Dans certaines approches, l’enseignant est déjà disponible et ses signaux sont préparés à l’avance ; dans d’autres, les interactions entre enseignant et étudiant font partie de l’entraînement. Les données disponibles, l’architecture de l’étudiant et la fonction utilisée pour mesurer l’apprentissage peuvent également varier. Un tutoriel présentant une variante donnée ne doit donc pas être considéré comme représentatif de toutes les formes de distillation.

Le point essentiel est que l’étudiant apprend à partir d’informations liées à l’enseignant. Cela ne signifie pas que chacune de ses réponses doit coïncider avec celles de l’enseignant, ni que le signal transféré couvre tout ce que l’enseignant pourrait faire. L’évaluation doit porter sur la tâche et les conditions d’utilisation, et pas seulement sur le fait que l’entraînement ait suivi une procédure appelée distillation.

Quels signaux peuvent être utilisés ?

Une possibilité consiste à entraîner l’étudiant à partir des sorties de l’enseignant. Dans une tâche de classification, par exemple, une sortie peut exprimer différents degrés de compatibilité entre une entrée et plusieurs classes, au lieu de fournir uniquement la classe gagnante. Ce signal apporte une forme de supervision différente d’une étiquette isolée. L’intérêt de cette différence dépend de la tâche, de la manière dont les sorties sont produites et de leur intégration à l’entraînement.

D’autres méthodes peuvent exploiter les représentations intermédiaires de l’enseignant, c’est-à-dire des valeurs internes associées à différentes étapes de son traitement. Il est également possible d’utiliser des exemples sélectionnés ou produits par l’enseignant. Ces catégories ne sont pas interchangeables : elles correspondent à différentes sources de signaux et peuvent nécessiter des procédures d’entraînement distinctes. La mention de l’une d’elles ne permet pas de conclure que la méthode fait également appel aux autres.

La documentation d’une méthode particulière devrait préciser le signal utilisé. Si l’on sait seulement qu’il y a eu distillation, on ne peut pas déduire si l’étudiant a reçu des sorties, des représentations, des exemples ou une combinaison de ces éléments. Les revues du domaine confirment la diversité des approches, mais les détails de chaque mise en œuvre doivent être vérifiés dans la description de la méthode concernée.

Trois exemples illustratifs, et non des cas documentés

Les scénarios suivants montrent comment comprendre le schéma. Ce sont des exemples hypothétiques destinés à clarifier le concept, pas des affirmations portant sur des résultats publiés ni des garanties qu’une distillation donnée fonctionnerait de cette manière.

Dans chaque cas, il faut préciser ce qui est transféré et comment le résultat est mesuré. Le nom d’une technique ne remplace pas ces informations.

Ce que la distillation n’est pas : ajustement fin, quantification et données synthétiques

L’ajustement fin désigne généralement la poursuite de l’entraînement d’un modèle à partir de données liées à une tâche ou à un domaine. Il n’exige pas nécessairement de modèle enseignant : un modèle peut être ajusté à partir d’exemples et d’étiquettes disponibles sans imiter les signaux d’un autre modèle. En revanche, la relation enseignant-étudiant caractérise la distillation, même si une méthode particulière peut la combiner avec des données étiquetées ou d’autres formes d’entraînement.

La quantification modifie la représentation numérique des paramètres ou des activations d’un modèle afin d’en réduire la précision. Il s’agit d’une technique distincte du transfert d’apprentissage entre enseignant et étudiant. Elle peut être combinée à la distillation dans un même système, mais l’une n’implique pas l’autre : quantifier un modèle ne signifie pas, à lui seul, qu’on l’a distillé.

La génération de données synthétiques consiste à produire des exemples artificiels. Un enseignant peut participer à la production ou à la sélection d’exemples utilisés ensuite pour entraîner l’étudiant, mais le fait de générer des exemples ne suffit pas à caractériser la procédure comme une distillation. Il faut examiner le rôle de l’enseignant et la nature du signal transféré. Un jeu de données synthétiques peut aussi être utilisé sans entraîner un étudiant à exploiter des signaux du modèle qui l’a produit.

Limites et erreurs fréquentes

Une erreur fréquente consiste à supposer que la distillation transfère toutes les connaissances de l’enseignant. L’étudiant est entraîné uniquement à partir des signaux et des données choisis, pour les objectifs définis. Il peut apprendre certaines réponses utiles pour une tâche sans acquérir les autres capacités de l’enseignant. Le terme « distillé » ne doit donc pas être interprété comme un synonyme d’« équivalent ».

Une autre erreur consiste à déduire l’efficacité du seul terme. La relation habituelle entre un grand enseignant et un étudiant plus petit explique pourquoi la distillation est étudiée aux côtés de la compression des modèles, mais la taille relative ne suffit pas à déterminer le coût du système en production. L’architecture, le matériel, la mise en œuvre, le volume d’utilisation et les exigences de qualité peuvent tous influer sur les mesures. Il faut les évaluer dans l’environnement prévu.

Il serait également erroné de supposer qu’il existe un seul type de signal ou que toutes les variantes se comparent selon les mêmes critères. Les sources disponibles décrivent un domaine pluriel, tandis que les tutoriels techniques présentent des procédures particulières. Pour interpréter un résultat, il faut connaître au minimum la tâche, l’enseignant, l’étudiant, les signaux utilisés et la méthode d’évaluation.

Enfin, l’expression plus large « distillation de modèles » peut désigner le transfert de capacités au moyen de requêtes adressées à un système. Cette description générale ne suffit pas à identifier la méthode d’entraînement employée et ne permet pas de déduire quels signaux internes étaient accessibles. Il faut distinguer la description générale du phénomène de la spécification technique d’une recette particulière.

Concepts connexes et critères pratiques

Cette fiche présente la distillation des connaissances comme un concept général. Elle ne doit pas être confondue avec la proposition spécifique consacrée à la distillation avec information privilégiée, qui traite d’un risque particulier lors de l’entraînement d’agents et poursuit un objectif différent. La présence du mot « distillation » dans les deux cas ne signifie pas que les deux contenus portent sur le même problème.

Lorsque vous examinez une recherche ou une offre technique, demandez-vous quelle tâche est distillée, qui est l’enseignant et qui est l’étudiant, quels signaux exacts l’étudiant reçoit, sur quelles données il est entraîné et avec quoi il est comparé. Vérifiez également si la qualité et les contraintes ont été mesurées dans l’environnement prévu. Enfin, demandez-vous si « distillation » désigne une technique décrite précisément ou seulement une description générale d’un transfert par requêtes.

Pour vous orienter, une revue académique peut aider à situer la diversité des méthodes ; un tutoriel PyTorch permet de comprendre la variante qu’il met en œuvre, mais ne représente pas l’ensemble du domaine. Pour poursuivre, consultez l’index du glossaire, la fiche consacrée à la distillation et l’index des comparaisons lorsqu’ils sont accessibles dans la navigation interne. En pratique, le terme désigne une famille de stratégies ; les éléments de preuve concernant l’efficacité, les capacités ou l’efficience relèvent de chaque mise en œuvre évaluée.

Concepts associés