Une recherche automatisée peut remplir tout le temps et toute la puissance disponibles. Le budget n'est pas une limitation ajoutée après coup. Il fait partie du problème et détermine quelles expériences méritent une évaluation complète.
Commencer par une référence
Mesurez une configuration simple avec le même découpage, la même préparation et les mêmes contraintes. Cette référence indique le gain minimal que la recherche doit dépasser et révèle si le protocole fonctionne.
Fixez avant le lancement le temps, le coût, le nombre de candidats et les ressources maximales. Ajoutez les limites de latence et de taille que le futur déploiement devra respecter.
Allouer progressivement
Évaluez d'abord les candidats avec un budget réduit et comparable. Les configurations prometteuses reçoivent ensuite plus d'époques, de données ou de répétitions. Éliminez tôt celles qui ne peuvent plus dépasser la référence.
Mettez en cache les configurations déjà testées et conservez leurs graines. Sans cette mémoire, la recherche paie plusieurs fois la même information.
Arrêter sur une règle, pas sur la fatigue
Arrêtez lorsque le budget est atteint, que le gain stagne ou que l'amélioration marginale coûte plus que sa valeur attendue. Cette règle doit être visible avant les résultats pour éviter de prolonger uniquement les essais décevants.
Réentraînez les finalistes dans un protocole complet et comparez-les sur un test intact. Le gagnant de la recherche n'est qu'un candidat au déploiement.
Budget d'expérimentation
- Établir une baseline reproductible
- Fixer temps, coût et nombre de candidats
- Allouer les ressources par étapes
- Mettre en cache résultats et graines
- Arrêter sur stagnation ou coût marginal
L'AutoML devient utile quand il transforme un budget défini en apprentissage comparable, pas quand il explore jusqu'à épuiser les ressources.
