Entraîner un modèle avec AutoML de bout en bout

Console Google Cloud

Pour rechercher l'URI du résultat des réglages d'hyperparamètres à l'aide de la console Google Cloud, procédez comme suit :

1. Dans la section Vertex AI de la console Google Cloud, accédez à la page Pipelines.

   Accéder à la page Pipelines

2. Sélectionnez l'onglet Exécutions.

3. Sélectionnez l'exécution de pipeline que vous souhaitez utiliser.

4. Sélectionnez Développer les artefacts.

5. Cliquez sur le composant exit-handler-1.

6. Cliquez sur le composant stage_1_tuning_result_artifact_uri_empty.

7. Recherchez le composant automl-tabular-cv-trainer-2.

8. Cliquez sur l'artefact tuning_result_output associé.

9. Sélectionnez l'onglet Informations sur le nœud.

10. Copiez l'URI à utiliser à l'étape Entraîner un modèle.

API : Python

L'exemple de code suivant montre comment charger le résultat du réglage des hyperparamètres à l'aide de l'API. La variable job fait référence à l'exécution précédente du pipeline de modèle.

def get_task_detail(
  task_details: List[Dict[str, Any]], task_name: str
) -> List[Dict[str, Any]]:
  for task_detail in task_details:
      if task_detail.task_name == task_name:
          return task_detail

pipeline_task_details = job.gca_resource.job_detail.task_details

stage_1_tuner_task = get_task_detail(
    pipeline_task_details, "automl-tabular-stage-1-tuner"
)
stage_1_tuning_result_artifact_uri = (
    stage_1_tuner_task.outputs["tuning_result_output"].artifacts[0].uri
)

Console Google Cloud

Pour entraîner un modèle à l'aide de la console Google Cloud, procédez comme suit :

1. Dans la section Vertex AI de la console Google Cloud, accédez à la page Pipelines.

   Accéder à la page Pipelines

2. Sélectionnez l'onglet Galerie de modèles.

3. Dans la fiche AutoML pour la classification/régression tabulaire, cliquez sur Créer une exécution.

4. Sur la page Informations sur l'exécution, configurez les éléments comme suit :

   1. Saisissez un nom d'exécution de pipeline.
   2. Facultatif : Si vous souhaitez définir le compte de service Vertex AI Pipelines ou le compte de service du nœud de calcul Dataflow, ouvrez le champ Options avancées. En savoir plus sur les comptes de service.
   3. Cliquez sur Continuer.

5. Sur la page Configuration de l'environnement d'exécution, configurez les éléments comme suit :

   1. Saisissez un bucket Cloud Storage ou un dossier du bucket à utiliser comme répertoire de sortie racine. Ce répertoire sera utilisé pour enregistrer les fichiers intermédiaires, tels que l'ensemble de données matérialisée et le modèle. N'oubliez pas de nettoyer le répertoire une fois l'entraînement terminé et le modèle et d'autres artefacts importants copiés vers un autre bucket Cloud Storage. Vous pouvez également définir une valeur TTL (Time To Live) pour le bucket Cloud Storage.

      Les buckets de votre projet sont répertoriés dans la section Cloud Storage de la console Google Cloud.

      Accéder à la page Buckets

   2. Cliquez sur Continuer.

6. Sur la page Méthode d'entraînement, configurez les éléments comme suit :

   1. Sélectionnez le nom de l'ensemble de données que vous souhaitez utiliser pour entraîner votre modèle.
   2. Sélectionnez votre colonne cible. La colonne cible correspond à la valeur prédite par le modèle. En savoir plus sur les exigences relatives aux colonnes cibles.
   3. Saisissez le nom à afficher pour votre nouveau modèle.
   4. Facultatif : Pour choisir comment répartir les données entre les ensembles d'entraînement, de test et de validation, ouvrez les options avancées. Vous avez le choix entre les options de répartition des données suivantes :
      • Aléatoire (par défaut) : Vertex AI sélectionne de manière aléatoire les lignes associées à chacun des ensembles de données. Par défaut, Vertex AI sélectionne 80 % des lignes de données pour l'ensemble d'entraînement, 10 % pour l'ensemble de validation et 10 % pour l'ensemble de test. Définissez le pourcentage de lignes de données que vous souhaitez associer à chacun des ensembles de données.
      • Manuel : Vertex AI sélectionne des lignes de données pour chacun des ensembles de données en fonction des valeurs d'une colonne de répartition des données. Indiquez le nom de la colonne de répartition des données.
      • Chronologique : Vertex AI divise les données en fonction de l'horodatage dans une colonne Heure. Indiquez le nom de la colonne Heure. Vous pouvez également définir le pourcentage de lignes de données que vous souhaitez associer à l'ensemble d'entraînement, à l'ensemble de validation et à l'ensemble de test.
      • Stratifié : Vertex AI sélectionne de manière aléatoire les lignes associées à chacun des ensembles de données, mais conserve la distribution des valeurs de colonne cibles. Indiquez le nom de la colonne cible. Vous pouvez également définir le pourcentage de lignes de données que vous souhaitez associer à l'ensemble d'entraînement, à l'ensemble de validation et à l'ensemble de test.
      En savoir plus sur les répartitions de données.
   5. Facultatif : Vous pouvez exécuter le pipeline sans la recherche d'architecture. Si vous choisissez l'option Ignorer la recherche d'architecture, vous êtes invité à fournir un ensemble d'hyperparamètres issus d'une exécution de pipeline précédente sur la page Options d'entraînement.
   6. Cliquez sur Continuer.

7. Sur la page Options d'entraînement, configurez les éléments comme suit :

   1. Facultatif : Cliquez sur Générer des statistiques. La génération de statistiques remplit les menus déroulants Transformation.
   2. Examinez votre liste de colonnes et excluez de l'entraînement toutes les colonnes qui ne doivent pas être utilisées pour entraîner le modèle.
   3. Examinez les transformations sélectionnées pour vos caractéristiques incluses et vérifiez si les données non valides sont autorisées. Effectuez ensuite les mises à jour requises. Apprenez-en davantage sur les transformations et sur les données non valides.
   4. Si vous avez choisi d'ignorer la recherche d'architecture sur la page Méthode d'entraînement, indiquez le chemin d'accès au résultat du réglage d'hyperparamètres à partir d'une exécution de pipeline précédente.
   5. Facultatif : Si vous souhaitez spécifier la colonne de pondération, ouvrez les options avancées et effectuez votre sélection. Apprenez-en plus sur les colonnes de pondération.
   6. Facultatif : Si vous souhaitez modifier l'objectif d'optimisation par défaut, ouvrez les options avancées et effectuez votre sélection. En savoir plus sur les objectifs d'optimisation.
   7. Facultatif : Si vous choisissez d'effectuer la recherche d'architecture sur la page Méthode d'entraînement, vous pouvez spécifier le nombre d'essais parallèles. Ouvrez les options avancées et saisissez votre valeur.
   8. Facultatif : Vous pouvez fournir des valeurs fixes pour un sous-ensemble des hyperparamètres. Vertex AI recherche les valeurs optimales pour les hyperparamètres restants. Cette option est idéale si vous avez une préférence forte concernant le type de modèle. Vous pouvez choisir entre les réseaux de neurones et les arbres de décision à boosting pour votre type de modèle. Ouvrez les options avancées et fournissez un remplacement de spécification d'étude au format JSON.

      Par exemple, si vous souhaitez définir le type de modèle sur les réseaux de neurones (NN), saisissez la commande suivante :
      

      [
        {
          "parameter_id": "model_type",
          "categorical_value_spec": {
            "values": ["nn"]
          }
        }
      ]
      

   9. Cliquez sur Continuer.

8. Sur la page Options de calcul et tarifs, configurez les éléments suivants :

   1. Saisissez la durée maximale (en heures) d'entraînement de votre modèle. En savoir plus sur la tarification.
   2. Facultatif : Dans la section Paramètres de calcul, vous pouvez configurer les types de machines et le nombre de machines pour chaque étape du workflow. Cette option est idéale si vous disposez d'un ensemble de données volumineux et que vous souhaitez optimiser le matériel de la machine en conséquence.

9. Cliquez sur Envoyer.

API : Python

L'exemple de code suivant montre comment exécuter un pipeline d'entraînement de modèle :

job = aiplatform.PipelineJob(
    ...
    template_path=template_path,
    parameter_values=parameter_values,
    ...
)
job.run(service_account=SERVICE_ACCOUNT)

Le paramètre facultatif service_account dans job.run() vous permet de définir le compte de service Vertex AI Pipelines sur le compte de votre choix.

Le pipeline et les valeurs des paramètres sont définis par la fonction suivante. Les données d'entraînement peuvent être un fichier CSV dans Cloud Storage ou une table dans BigQuery.

template_path, parameter_values = automl_tabular_utils.get_automl_tabular_pipeline_and_parameters(...)

Voici un sous-ensemble de paramètres get_automl_tabular_pipeline_and_parameters :

Options de personnalisation du workflow

Vous pouvez personnaliser le workflow AutoML de bout en bout en définissant les valeurs d'argument transmises dans la définition de pipeline. Vous pouvez personnaliser votre workflow de différentes manières :

• Forcer l'espace de recherche
• Configurer le matériel
• Réduire la taille du modèle
• Ignorer la recherche d'architecture

Forcer l'espace de recherche

Le paramètre get_automl_tabular_pipeline_and_parameters suivant vous permet de fournir des valeurs fixes pour un sous-ensemble des hyperparamètres. Vertex AI recherche les valeurs optimales pour les hyperparamètres restants. Utilisez ce paramètre si vous souhaitez choisir entre les réseaux de neurones et les arbres de décision à boosting pour votre type de modèle.

Le code suivant montre comment définir le type de modèle sur les réseaux de neurones (NN, Neural Networks) :

study_spec_parameters_override = [
  {
    "parameter_id": "model_type",
    "categorical_value_spec": {
      "values": ["nn"] # The default value is ["nn", "boosted_trees"], this reduces the search space
    }
  }
]

Configurer le matériel

Les paramètres get_automl_tabular_pipeline_and_parameters suivants vous permettent de configurer les types et le nombre de machines pour l'entraînement. Cette option est idéale si vous disposez d'un ensemble de données volumineux et que vous souhaitez optimiser le matériel de la machine en conséquence.

Le code suivant montre comment définir le type de machine n1-standard-8 pour le nœud principal TensorFlow et le type de machine n1-standard-4 pour le nœud d'évaluateur TensorFlow :

worker_pool_specs_override = [
  {"machine_spec": {"machine_type": "n1-standard-8"}}, # override for TF chief node
  {},  # override for TF worker node, since it's not used, leave it empty
  {},  # override for TF ps node, since it's not used, leave it empty
  {
    "machine_spec": {
        "machine_type": "n1-standard-4" # override for TF evaluator node
    }
  }
]

Réduire la taille du modèle

Le paramètre get_automl_tabular_pipeline_and_parameters suivant vous permet de créer une version plus petite du modèle d'ensemble. Un modèle plus petit réduit la latence et les coûts liés à la prédiction.

Ignorer la recherche d'architecture

Le paramètre get_automl_tabular_pipeline_and_parameters suivant vous permet d'exécuter le pipeline sans la rechercher d'architecture et de fournir un ensemble d'hyperparamètres issus d'une exécution de pipeline précédente.