Un service peut répondre normalement tout en devenant moins pertinent. Les comportements évoluent, une source change de format, une saison démarre ou une politique modifie les décisions attendues. La surveillance doit donc observer les entrées, les sorties et les résultats réels.
Fixer une référence utile
Conservez les distributions, performances et volumes d'une période de référence validée. Comparez-les par segment, source et fenêtre temporelle. Une moyenne globale peut cacher une dérive limitée à un canal ou à une population.
Surveillez les variables importantes, les valeurs manquantes, les catégories nouvelles et la confiance des prédictions. Une alerte statistique signale un changement, pas nécessairement une baisse de qualité.
Relier le signal au résultat métier
Quand les étiquettes arrivent tard, utilisez des indicateurs intermédiaires comme les corrections, rejets ou escalades. Dès que le résultat réel est connu, rattachez-le à la version du modèle et au contexte de la décision.
Définissez plusieurs niveaux d'alerte. Une variation légère déclenche une observation, une dérive persistante ouvre une analyse, et un impact critique active le repli. Cela évite autant l'inaction que la fatigue d'alertes.
Préparer le repli avant l'incident
Le repli peut être une règle, une version précédente, une validation humaine ou une réduction du périmètre. Il doit être testé comme toute autre fonction. Une restauration improvisée au moment de l'incident prend trop de temps.
Le réentraînement n'est pas automatique. Vérifiez la cause, la qualité des nouvelles données et le protocole d'évaluation. Un modèle récent n'est meilleur que s'il réussit les mêmes contrôles et les nouveaux cas problématiques.
Tableau de bord de dérive
- Conserver une période de référence validée
- Comparer par segment et par source
- Relier alertes et résultats métier
- Définir observation, analyse et repli
- Tester toute nouvelle version avant remplacement
La dérive n'est pas une surprise exceptionnelle. C'est une condition normale d'un produit qui vit, à traiter avec références, seuils et repli testé.
