Afficher 82 % de confiance ne dit pas ce que le produit doit faire. La même incertitude peut être acceptable pour trier une file, mais dangereuse pour bloquer un paiement. Une politique de seuil relie le score à une conséquence opérationnelle.
Calibrer avant de fixer un seuil
Un score élevé doit correspondre à une fréquence de réussite observée. Vérifiez cette calibration sur des données proches de la production et par segment important. Un modèle peut être globalement juste tout en étant trop sûr sur les cas rares.
Les seuils se choisissent avec le coût des faux positifs et des faux négatifs. La bonne frontière n'est pas forcément celle qui maximise une métrique moyenne. Elle minimise un risque concret dans un processus donné.
Prévoir trois issues
Au-dessus d'un seuil élevé, le système peut agir dans un périmètre réversible. Dans une zone intermédiaire, il demande une information supplémentaire ou prépare une proposition. Sous le seuil bas, il transmet le dossier à une personne.
Chaque issue doit expliquer ce qui se passe ensuite. Une escalade sans contexte déplace simplement le problème. Transmettez les données décisives, la raison du doute et les actions déjà tentées.
Réviser avec les résultats réels
Suivez les décisions corrigées, les abandons, les délais et les impacts, pas seulement la distribution des scores. Les seuils doivent pouvoir varier selon le type d'action, le segment et l'évolution des données.
Conservez la version du modèle et de la politique appliquée à chaque décision. Cette trace permet de comparer un changement, d'enquêter sur un incident et de revenir rapidement à une configuration sûre.
Politique de décision
- Tester la calibration par segment
- Chiffrer le coût des deux types d'erreur
- Définir agir, demander et escalader
- Transmettre le contexte lors du relais humain
- Versionner et réviser les seuils
La confiance n'est pas une permission. C'est une information qui doit déclencher une action proportionnée, observable et réversible.
