Une explication n'est pas une décoration ajoutée après la prédiction. Elle doit aider une personne à vérifier une décision, corriger une information ou comprendre la prochaine action. Les systèmes logiques et experts rappellent qu'une partie du raisonnement peut rester explicite, même lorsque l'apprentissage automatique intervient.
Séparer les faits, les règles et les scores
Les faits proviennent des données du cas. Les règles représentent une politique ou une connaissance validée. Les scores expriment une estimation apprise. Les mélanger dans une seule réponse rend l'audit difficile. Une architecture hybride peut laisser le modèle détecter ou classer, puis appliquer des règles explicites pour autoriser l'action.
Cette séparation évite aussi de réentraîner un modèle lorsqu'une politique change. Une limite réglementaire ou contractuelle appartient à une règle versionnée, pas à un comportement appris indirectement. Chaque couche possède ainsi un propriétaire et une méthode de test appropriée.
Expliquer pour le bon destinataire
Un utilisateur a besoin d'une raison courte et d'un recours. Un opérateur veut les principaux signaux, les règles déclenchées et l'historique. Un auditeur recherche les versions, sources et exceptions. Une explication unique ne répond pas à ces trois besoins.
Il faut éviter les justifications générées qui semblent plausibles sans refléter le calcul réel. Lorsque l'explication est une approximation, elle doit être présentée comme telle. Pour une décision importante, la trace technique et la règle appliquée doivent rester accessibles indépendamment du texte produit pour l'interface.
Tester la capacité de contestation
Une explication utile indique quelles informations peuvent être corrigées et comment la décision serait réévaluée. Elle ne promet pas qu'un simple changement garantit un résultat différent. Les scénarios contrefactuels doivent respecter les contraintes réelles du domaine.
Pendant les tests, on demande à des utilisateurs de repérer une erreur volontaire, de corriger une donnée et de comprendre le statut suivant. Si l'explication ne permet ni détection ni action, elle reste informative en apparence seulement. L'explicabilité devient alors une propriété du parcours complet.
Preuves à conserver
- Identifier faits, règles, estimations et responsable de chaque couche
- Versionner les règles indépendamment du modèle
- Adapter l'explication à l'utilisateur, l'opérateur et l'auditeur
- Éviter toute justification non reliée au calcul réel
- Prévoir correction, contestation et nouvelle évaluation
L'explicabilité ne consiste pas à exposer tous les détails d'un modèle. Elle consiste à fournir une raison fidèle, une trace vérifiable et une voie d'action proportionnée à l'impact de la décision.