Présentation des tests Vertex AI

Vertex AI Experiments est un outil qui vous permet de suivre et d'analyser différents hyperparamètres, architectures de modèle et environnements d'entraînement, tout en vous permettant de suivre les étapes, les entrées et les résultats d'un test. Ils peuvent également évaluer les performances de votre modèle de manière globale, par rapport aux ensembles de données de test et pendant la durée de l'entraînement. Vous pouvez alors exploiter ces informations pour sélectionner le modèle le plus adapté à votre cas d'utilisation particulier.

Les tests n'entraînent pas de frais supplémentaires. Vous ne payez que pour les ressources que vous utilisez pendant votre test, comme décrit dans les tarifs de Vertex AI.

Que souhaitez-vous faire ? Consultez le notebook d'exemple
suivre des métriques et des paramètres Comparer des modèles
suivre la traçabilité des tests Entraîner le modèle
suivre les exécutions du pipeline Comparer les exécutions de pipeline

Suivre les étapes, les entrées et les sorties

Les tests Vertex AI vous permettent de suivre :

  • les étapes d'une exécution de test, par exemple le prétraitement et l'entraînement ;
  • les entrées, par exemple l'algorithme, les paramètres, les ensembles de données ;
  • les résultats de ces étapes, par exemple les modèles, les points de contrôle et les métriques.

Vous pouvez alors identifier ce qui a fonctionné et ce qui n'a pas fonctionné, puis identifier d'autres possibilités d'expérimentation.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Analyser les performances du modèle

Les tests Vertex AI vous permettent de suivre et d'évaluer les performances des modèles associés de manière globale, par rapport aux ensembles de données de test et pendant la durée de l'entraînement. Cette capacité permet de comprendre les caractéristiques de performance des modèles, à savoir comment un modèle particulier fonctionne globalement, où il échoue et où il excelle.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Comparer les performances des modèles

Les tests Vertex AI vous permettent de regrouper et de comparer plusieurs modèles entre plusieurs exécutions de test. Chaque modèle possède ses propres paramètres, techniques de modélisation, architectures et entrées spécifiés. Cette approche permet de sélectionner le meilleur modèle.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Recherchez des tests

La console Google Cloud fournit une vue centralisée des tests, une vue transversale des exécutions de test, et les détails de chaque exécution. Le SDK Vertex AI pour Python fournit des API permettant d'utiliser des tests, des exécutions de test, des paramètres d'exécution de test, des métriques et des artefacts.

Les tests Vertex AI, ainsi que Vertex ML Metadata, permettent de trouver les artefacts suivis dans un test. Cela vous permet d'afficher rapidement la traçabilité de l'artefact et les artefacts consommés et produits par les étapes d'une exécution.

Étendue de l'assistance

Les tests Vertex AI permettent le développement de modèles à l'aide de l'entraînement personnalisé Vertex AI, des notebooks Vertex AI Workbench, des notebooks et de tous les frameworks de ML Python dans la plupart des frameworks de ML. Pour certains frameworks de ML tels que TensorFlow, les tests Vertex AI fournissent des intégrations avancées au framework qui rendent l'expérience utilisateur automagique. Pour les autres frameworks de ML, les tests Vertex AI fournissent un SDK Vertex AI pour Python indépendant du framework, que vous pouvez exploiter. (voir : Conteneurs prédéfinis pour TensorFlow, scikit-learn, PyTorch et XGBoost).

Modèles de données et concepts liés

Les tests Vertex AI sont un Contexte de Vertex ML Metadata dans lequel un test peut contenir n exécutions de test en plus de n exécutions de pipeline. Une exécution de test est composée de paramètres, de métriques récapitulatives, de métriques de séries temporelles et de ressources Vertex AI PipelineJob, Artifact et Execution. Vertex AI TensorBoard, une version gérée de TensorBoard Open Source, est utilisé pour le stockage de métriques de séries temporelles. Les exécutions et les artefacts d'une exécution de pipeline sont visibles dans la console Google Cloud.

Conditions des tests Vertex AI

Test, exécution de test et exécution de pipeline

test
  • Un test est un contexte qui peut contenir un ensemble de n exécutions de test en plus des exécutions de pipeline dans lesquelles un utilisateur peut étudier collectivement différentes configurations, telles que des artefacts d'entrée ou des hyperparamètres.
Consultez la section Créer un test.

exécution de test
  • Une exécution de test peut contenir des métriques, des paramètres, des exécutions, des artefacts et des ressources Vertex (par exemple, PipelineJob) définis par l'utilisateur.
Consultez la section Créer et gérer des exécutions de tests.

exécution de pipeline
  • Un ou plusieurs PipelineJobs Vertex peuvent être associés à un test où chaque PipelineJob est représenté comme une seule exécution. Dans ce contexte, les paramètres de l'exécution sont déduits par les paramètres de la tâche PipelineJob. Les métriques sont déduits des artefacts system.Metric générés par cette tâche PipelineJob. Les artefacts de l'exécution sont déduits des artefacts produits par cette tâche PipelineJob.
Une ou plusieurs ressources Vertex AI PipelineJob peuvent être associées à une ressource ExperimentRun. Dans ce contexte, les paramètres, les métriques et les artefacts ne sont pas déduits.

Consultez la section Associer un pipeline à un test.

Paramètres et métriques

paramètres
  • Les paramètres sont des valeurs d'entrée à clé qui configurent une exécution, régulent le comportement de l'exécution et affectent les résultats de l'exécution. Exemples : taux d'apprentissage, taux d'abandon et nombre d'étapes d'entraînement.

Consultez la section Paramètres des journaux.

métriques récapitulatives
  • Les métriques récapitulatives sont une valeur unique pour chaque clé de métrique lors d'une exécution de test. Par exemple, la justesse d'un test est la justesse calculée à partir d'un ensemble de données de test à la fin de l'entraînement et pouvant être capturée en tant que métrique récapitulative à valeur unique.

Consultez la section Métriques récapitulatives des journaux.

métriques de séries temporelles
  • Les métriques de séries temporelles sont des valeurs de métriques longitudinales où chaque valeur représente une étape de la partie routine d'entraînement d'une exécution. Les métriques de séries temporelles sont stockées dans Vertex AI TensorBoard. Les tests Vertex AI stockent une référence à la ressource Vertex TensorBoard.

Consultez la section Métriques de séries temporelles des journaux.

Types de ressources

tâche de pipeline
  • Ressource de l'API Vertex AI correspondant aux tâches Vertex Pipeline. Les utilisateurs créent une tâche PipelineJob lorsqu'ils souhaitent exécuter un pipeline de ML sur Vertex AI.

artefact
  • Un artefact est une entité discrète ou une donnée produite et consommée par un workflow de machine learning. Les ensembles de données, les modèles, les fichiers d'entrée et les journaux d'entraînement sont des exemples d'artefacts.

Les tests Vertex AI vous permettent d'utiliser un schéma pour définir le type d'artefact. Par exemple, les types de schémas acceptés incluent system.Dataset, system.Model et system.Artifact. Pour en savoir plus, consultez la section Schémas système.

Tutoriel de notebook

Étapes suivantes