Incertitude : définition, types et méthodes de quantification dans les modèles prédictifs

Définition et notions à ne pas confondre

L’incertitude désigne le degré de manque de certitude concernant une prédiction, une réponse, les éléments disponibles ou la validité d’une mesure. En statistique et en apprentissage automatique, elle ne correspond pas à une erreur ponctuelle : elle décrit la variabilité potentielle des résultats. Comme le rappelait le statisticien George Box, « tous les modèles sont faux, mais certains sont utiles ». Quantifier l’incertitude permet d’estimer dans quelle mesure un modèle peut s’écarter de la réalité et, par conséquent, dans quelles conditions il reste utile en pratique.

Il est essentiel de distinguer l’incertitude de la précision et de l’exactitude. L’exactitude décrit la proximité d’une prédiction par rapport à une valeur connue, tandis que l’incertitude indique dans quelle mesure les prédictions et les valeurs cibles sont susceptibles de varier. Un système peut être précis, au sens où ses résultats sont répétables, tout en étant inexact, ou l’inverse. La quantification de l’incertitude (UQ) transforme l’affirmation vague « le modèle pourrait se tromper » en une estimation plus précise du degré et de la nature de l’erreur possible. C’est particulièrement important dans des domaines où la fiabilité compte, comme la médecine ou l’ingénierie.

Comment fonctionne la quantification, étape par étape

La quantification de l’incertitude consiste à ne pas traiter les sorties d’un modèle comme des valeurs fixes, mais comme des variables aléatoires. Au lieu de fournir une seule estimation ponctuelle, le modèle produit une distribution de probabilité. La largeur de cette distribution donne une indication directe de l’incertitude : plus elle est étendue, plus l’incertitude associée au résultat est importante.

Cette variabilité a deux sources principales. L’incertitude aléatoire provient de processus stochastiques ou de caractéristiques intrinsèquement variables du système, comme les différences naturelles entre les réactions d’un matériau soumis à une force. L’incertitude épistémique découle d’un manque de connaissances, par exemple de données d’entraînement trop rares dans certaines zones de l’espace des caractéristiques. Les méthodes d’UQ cherchent à estimer, et parfois à distinguer, ces composantes afin de mieux apprécier le degré de confiance à accorder à une prédiction.

Trois exemples dans des domaines différents

En météorologie, un modèle peut annoncer une probabilité de pluie de 70 %. La quantification de l’incertitude aide à déterminer si cette estimation s’appuie sur des données solides ou si l’incertitude est telle que la probabilité réelle pourrait se situer entre 50 % et 90 %. Une personne peut alors prendre une décision en tenant compte de l’éventail des résultats possibles, plutôt qu’en se fiant uniquement à un chiffre isolé.

En ingénierie, imaginons un modèle qui prédit combien de fois une charnière peut être ouverte et fermée avant de céder. L’incertitude aléatoire représente notamment la variabilité inhérente des matériaux ; l’incertitude épistémique peut refléter le manque d’essais dans des conditions extrêmes. De même, un système de vision entraîné à distinguer seulement des pommes rouges et vertes est confronté à moins de variabilité inhérente qu’un système chargé de classer toutes les sortes de fruits : le second problème couvre des données plus diverses et plus complexes.

En sciences sociales et en économie, l’incertitude touche à la validité des prédictions quantitatives. Les modèles d’apprentissage automatique appliqués aux données sociales doivent tenir compte du manque de connaissances lié à la complexité des interactions humaines et aux limites des données historiques. Distinguer le bruit aléatoire des données du manque de connaissances sur les mécanismes à l’œuvre aide à éviter le surapprentissage et à interpréter avec prudence les limites des modèles prédictifs dans des contextes qui évoluent.

Méthodes de quantification : échantillonnage, Bayes et ensembles

Les méthodes par échantillonnage, comme la simulation de Monte-Carlo, sont largement utilisées parce qu’elles peuvent s’appliquer à des modèles variés. Elles exécutent de nombreuses simulations avec des entrées tirées aléatoirement afin de construire une représentation statistique des résultats plausibles. L’échantillonnage par hypercube latin est une variante qui couvre efficacement l’espace des entrées avec moins d’exécutions. Le dropout Monte-Carlo maintient quant à lui le mécanisme de dropout actif pendant l’inférence et réalise plusieurs passages avant pour obtenir une distribution de sorties, sans devoir réentraîner le modèle.

Les méthodes bayésiennes représentent les paramètres du modèle par des distributions de probabilité plutôt que par des valeurs fixes. Elles combinent des croyances préalables avec les données observées à l’aide du théorème de Bayes. Les réseaux neuronaux bayésiens (BNN) traitent ainsi les poids du réseau comme des distributions, ce qui permet une quantification de l’incertitude fondée sur une approche probabiliste. Les méthodes d’ensemble reposent sur une autre idée : si plusieurs modèles entraînés séparément ne s’accordent pas, leur désaccord peut indiquer une incertitude. La variance entre leurs prédictions sert alors de mesure, au prix d’un coût de calcul potentiellement élevé.

Erreurs fréquentes et limites de la quantification

Une erreur courante consiste à supposer que toute incertitude peut être réduite en ajoutant des données. L’incertitude aléatoire est irréductible : elle tient au caractère stochastique du phénomène. Accumuler des données ne fait pas disparaître cette variabilité fondamentale, même si cela peut aider à mieux l’estimer. Il ne faut pas non plus confondre étalonnage et précision. Un modèle peut être bien étalonné, c’est-à-dire que son niveau de confiance correspond aux fréquences de réussite observées, tout en produisant des estimations ponctuelles peu précises.

La quantification de l’incertitude a aussi des limites pratiques, notamment son coût de calcul pour les modèles d’apprentissage profond de grande dimension. Le choix de la méthode dépend du modèle et de la situation : aucune méthode ne convient à tous les cas, et les applications réelles combinent souvent plusieurs approches. Enfin, une incertitude quantifiée reste une estimation, et non une vérité absolue. Il faut l’interpréter à la lumière des hypothèses du modèle, des données disponibles et des conditions d’utilisation.

Questions fréquentes et sources primaires

Quelle est la principale différence entre incertitude aléatoire et épistémique ? L’incertitude aléatoire correspond à une variabilité inhérente aux données ou au phénomène ; elle ne disparaît pas avec davantage de données. L’incertitude épistémique traduit un manque de connaissances sur le modèle ou son domaine d’application ; elle peut, en principe, diminuer avec de meilleures données ou une meilleure modélisation. Quelles mesures servent à évaluer l’incertitude ? On peut utiliser des règles de score appropriées, comme la log-vraisemblance négative (NLL), et des mesures d’étalonnage, comme l’erreur d’étalonnage attendue (ECE). La NLL évalue la qualité de la distribution prédictive au regard des résultats observés ; l’ECE compare la confiance annoncée aux fréquences de réussite observées.

La prédiction conforme est-elle utile avec des modèles opaques ? Elle peut l’être : cette méthode indépendante du modèle construit des intervalles ou des ensembles de prédiction et peut fournir des garanties de couverture sous certaines hypothèses, notamment l’échangeabilité des données. Elle n’exige pas de connaître la structure interne du modèle, mais ses garanties ne sont pas automatiques si les conditions nécessaires ne sont pas remplies. Parmi les travaux primaires pertinents figurent l’étude de Hüllermeier et Waegeman, qui présente la distinction entre les principales formes d’incertitude en apprentissage automatique, et le travail technique de Chavare et Mourelatos consacré à des méthodes de quantification en ingénierie. La portée de ce dernier est celle d’une étude technique et d’exemples ciblés ; elle ne suffit pas à établir une supériorité générale de la méthode proposée.

Concepts associés