Explicabilité et interprétabilité bout-en-bout des pipelines de machine learning. Explication des modèles d'intelligence artificielle et des composants centrés sur les données. Cette action est à la croisée de différentes thématiques dont l’apprentissage automatique, la fouille de données, mais aussi l’argumentation et l’interaction utilisateur du fait de la représentation d’une explication en tant qu’échange utilisateur / système (notion de “co-construction”), et enfin de traçabilité de l’information, en voyant l’explicabilité comme une certification des composants d’une chaîne de traitement.
Action HELP (2021-2025)
Human Explainable machine Learning Pipeline
Responsables
- Michael Baker, i3, INSHSi
- Nicolas Labroche, LIFAT, INS2i
- Julien Aligon, IRIT, INS2i
Correspondant ComDIR
Thématiques
Explicabilité et interprétabilité bout-en-bout des pipelines de machine learning. Explication des modèles d'intelligence artificielle et des composants centrés sur les données. Cette action est à la croisée de différentes thématiques dont l’apprentissage automatique, la fouille de données, mais aussi l’argumentation et l’interaction utilisateur du fait de la représentation d’une explication en tant qu’échange utilisateur / système (notion de “co-construction”), et enfin de traçabilité de l’information, en voyant l’explicabilité comme une certification des composants d’une chaîne de traitement.
Données concernées
Un focus particulier sera mis sur les données déjà exploitées par les participants à l’Atelier Fender précédent et notamment : (i) les données environnementales sous forme de séries temporelles ou de cartographie avec le BRGM (lien avec la thèse LIFAT de Nicolas Canovas), (ii) les données d’assurance notamment grâce à la présence de Axa les données de santé hospitalière avec la thèse IRIT / Kaducéo de Elodie Escriva, (iii) les données des chaînes logistiques sous forme de séries spatio-temporelles temporelles en collaboration avec GIS Institute for intelligent logistics in the Seine Valley”(ILIVS) ainsi que SAP France. De façon à couvrir au mieux les relations entre explications et données, une réflexion sera menée dans le groupe de travail sur la généralisation des approches en considérant la variété des données ouvertes.
Mots clés
utilisateur, explicabilité, causalité, prétraitement, pipeline, feature engineering, feature selection, data science, ML
Contexte et positionnement scientifique
Dans le cadre de l’apprentissage automatique (Machine Learning ou ML), les systèmes comme par exemple, Google ML Kit, TensorFlow, Amazon SageMaker, ou encore des logiciels comme Knime, sont des systèmes de gestion des pipelines qui assemblent de bout-en-bout divers composants d’analyse des données afin de répondre aux attentes des applications réelles. À ce jour, les pipelines sont souvent créés en assemblant des composants séparés, en fonction des particularités du cadre applicatif. Alors que la plupart des recherches actuelles se concentrent sur le problème de rendre les modèles de ML explicables [Molnar et al., 2020], de nombreuses décisions qui affectent le comportement des modèles sont effectuées en amont, lors du prétraitement des données et sont codées en tant qu’étapes de transformation de données spécifiques aux pipelines de prétraitement des données [Zelaya, 2019]. Cela inclut les étapes de nettoyage ainsi que les moyens de traitement distribué (par exemple, l'échantillonnage pour les ensembles d'apprentissage de différents modèles), qui doivent être pris en compte par l'explication des modèles ML. Malheureusement les différentes notions d’explication des modèles d'apprentissage automatique abordés par la communauté ML se focalisent uniquement sur la dernière étape des pipelines complexes [Arrieta et al., 2020] : (i) Présenter à l’utilisateur des instances qui sont similaires et conduisent à la même décision: explication à base de cas (case-based explanation) ; (ii) Mettre en lumière des différences pour des cas autrement similaires et qui conduisent à un comportement différent du modèle : explication contrefactuelle (counterfactual explanation) ; (iii) Indiquer à l’utilisateur à quel point un attribut des instances contribue à la décision finale [Lundberg et al., 2017][Ribeiro et al., 2016]: explication basée sur l’importance des attributs ou du contenu (feature / content based explanation) ; (iv) Utiliser un modèle plus simple et directement interprétable pour reproduire le comportement du modèle complexe et jugé boîte noire : explication basée sur les modèles (model-based explanations).
L’objectif de l’action sera donc d’étudier l’explicabilité des pipelines de ML à la fois du point de vue de l’utilisateur et des données et de leur usage dans le système par les modèles de ML.
Du point de vue des utilisateurs, il faut définir les mécanismes d’interaction par lesquels un utilisateur peut coconstruire une explication avec “l’agent” (ou plus généralement le modèle) qui produit l’explication (initiative UXAI [Chaput et al., 2021]). Il faut également définir ce que l’on appelle une bonne explication pour un utilisateur et un cas d’usage fixé. Il faut donc déterminer ce qui peut être fait pour aider les utilisateurs, éventuellement en prenant en compte leur diversité, à comprendre les modèles appris et à inspecter leurs applications pour produire une IA explicable. Nous envisageons concrètement plusieurs “utilisateurs” issus de nos cas d’usage qui seront des experts métiers rattachés aux sources de données présentées en préambule. La place de l’utilisateur étant de première importance dans le projet, nous mettrons aussi l’accent sur la collaboration avec les sciences cognitives pour déterminer la qualité des processus explicatifs et les enrichissements que nous pourrons apporter aux méthodes d’explication pour qu’elles soient au plus près de ce qu’une explication réalisée par un expert humain pourrait être.
Du point de vue des données et de leur usage dans le système, il faut savoir comment les modèles appris peuvent être caractérisés et finalement certifiés en termes de fiabilité et de robustesse mais aussi en interprétabilité. La fiabilité des pipelines de ML est obtenue en combinant des informations théoriques sur les erreurs d'estimation et les probabilités de succès des méthodes de ML sous-jacentes. Les erreurs se propagent dans le pipeline, ce qui peut perturber le résultat final de manière imprévisible. Il faut donc quantifier précisément les erreurs et comprendre la façon dont elles se propagent dans un système. Les limites d'erreur et les techniques d'apprentissage aléatoires s'accompagnent de probabilités de réussite ou d'incertitudes, ce qui peut entraîner une mauvaise interprétation du résultat final. Il est donc très important d'intégrer ces incertitudes dans le processus d'explication [Omidvar-Tehrani & Renders, 2019] [Data Readiness 2021]. De même, pour garantir une plus grande interprétabilité du pipeline, il faut être capable d’expliquer et donc de rendre interprétable chacun de ses composants en regard des objectifs d’analyse de l’utilisateur.
Cette Action a pour objectif d’apporter un regard bi-disciplinaire et vise à enrichir la perception d'un problème par son étude croisée dans plusieurs domaines. La communauté informatique notamment s’est déjà emparée par le biais du GdR IA GT Explicabilité de ces thématiques, mais sous l’angle des modèles de prédiction ou des méthodes d’intelligence artificielle. Nous faisons dans cette action, la proposition de mettre le focus sur les données et les pipelines de traitement de bout-en-bout et de voir l’impact de la données sur les explications des modèles d'apprentissage automatique. Notre ambition est de nourrir les réflexions menées au sein de ce groupe bien établi par un regard pluridisciplinaire qui vise la complexité des pipelines de ML actuellement déployés en industrie. Les porteurs du groupe GT explicabilité ont été associés dès le début à la démarche du groupe de l’atelier Fender et restent associés à toutes les décisions concernant l’action HELP.
Au sein du GdR MaDICS, des liens doivent être établis avec des actions MaDICS comme MADONA, PLATFORM ou encore l’atelier SimpleText. Du point de vue des sciences humaines et également en informatique par le biais des travaux rapportés par A. Mille lors de son exposé à l’atelier Fender [Chaput et al., 2021], une explication se rapproche d’un discours argumenté et pourrait donc possiblement prendre la forme d’une narration basée sur les données. Cet angle de vue permet également de renforcer le rôle de la donnée dans la construction d’une explication acceptée par l’utilisateur. A ce sujet, l’action MADONA a déjà produit un modèle conceptuel du processus de narration de données [El Outa et al., 2020], et qui pourrait donc être rapproché d’un modèle formel pour la co-construction de l’explication du résultat d’un algorithme de machine learning. De même, la capacité à expliquer un algorithme influence directement la confiance que les utilisateurs peuvent avoir et donc l’acceptation de leurs décisions ce qui rapproche nos objectifs des thématiques de l’action PLATFORM. Enfin, l’atelier SimpleText pose la question de rendre plus simple la compréhension d’un texte de manière automatique, ce qui revient à produire une forme d’explication par la recherche d’un modèle de texte plus interprétable. La compréhension est un des deux piliers d’une explication avec la confiance et par conséquent le projet SimpleText paraît aussi intéressant pour la future action. Notamment, des questions de recherche de l’atelier SimpleText trouvent un écho dans nos propres questionnements : est-ce qu’un texte simplifié doit nécessairement être plus court que le texte qu’il cherche à expliquer ? De même, est-ce qu’une explication d’une chaîne de traitement de données ne doit pas être plus longue (mais pas plus complexe) que la chaîne de façon à pouvoir justement amener des éléments de contextualisation et d’explications ?
D’autres initiatives majeures sur l’explication des données sont conduites dans la plupart des laboratoires ou instituts de recherche au niveau national (notamment l’INRIA). Des rapprochements ont été établis et devront être renforcés, par la co-organisation de journées scientifiques, le co-encadrement d’étudiants ou la constitution de groupes de travail particuliers dédiés à la réponse d’appel à projet nationaux ou européens.