Aggiungi l'esecuzione della pipeline all'esperimento

Puoi utilizzare la console Google Cloud o l'SDK Vertex AI per Python per aggiungere un'esecuzione della pipeline a un esperimento o a un'esecuzione di un esperimento.

Console Google Cloud

Utilizza le seguenti istruzioni per eseguire una pipeline ML e associarla a un esperimento e, facoltativamente, a un esperimento eseguito utilizzando la console Google Cloud. Le esecuzioni dell'esperimento possono essere create solo tramite l'SDK Vertex AI per Python (vedi Creare e gestire le esecuzioni dell'esperimento).
  1. Nella sezione Vertex AI della console Google Cloud, vai alla pagina Pipeline.
    Vai a Pipeline
  2. Nell'elenco a discesa Regione, seleziona la regione in cui vuoi creare l'esecuzione della pipeline.
  3. Fai clic su Crea esecuzione per aprire il riquadro Crea esecuzione pipeline.
  4. Specifica i seguenti dettagli per l'esecuzione.
    • Nel campo File, fai clic su Scegli per aprire il selettore di file. Passa al file JSON della pipeline compilata che vuoi eseguire, seleziona la pipeline e fai clic su Apri.
    • Il Nome pipeline utilizza per impostazione predefinita il nome specificato nella definizione della pipeline. (Facoltativo) Specifica un Nome pipeline diverso.
    • Specifica un Nome esecuzione per identificare in modo univoco questa esecuzione della pipeline.
  5. Per specificare che l'esecuzione di questa pipeline utilizza un account di servizio personalizzato, una chiave di crittografia gestita dal cliente o una rete VPC in peering, fai clic su Opzioni avanzate (facoltativo).
    Utilizza le seguenti istruzioni per configurare opzioni avanzate come un account di servizio personalizzato.
    • Per specificare un account di servizio, selezionane uno dall'elenco a discesa Account di servizio.
      Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando l'account di servizio Compute Engine predefinito.
      Scopri di più sulla configurazione di un account di servizio da utilizzare con Vertex AI Pipelines.
    • Per utilizzare una chiave di crittografia gestita dal cliente (CMEK), seleziona Utilizza una chiave di crittografia gestita dal cliente. Viene visualizzato l'elenco a discesa Seleziona una chiave gestita dal cliente. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, scegli la chiave che vuoi utilizzare.
    • Per utilizzare una rete VPC in peering in questa esecuzione della pipeline, inserisci il nome della rete VPC nella casella Rete VPC in peering.
  6. Fai clic su Continua.
    Vengono visualizzati il riquadro Cloud Storage e Parametri pipeline.
    • Obbligatorio: inserisci la directory di output di Cloud Storage, ad esempio: gs://location_of_directory.
    • (Facoltativo) Specifica i parametri da utilizzare per l'esecuzione di questa pipeline.
  7. Fai clic su Invia per creare l'esecuzione della pipeline.
  8. Dopo l'invio, la pipeline viene visualizzata nella tabella della console Google Cloud della pipeline.
  9. Nella riga associata alla tua pipeline, fai clic su  Mostra altro > Aggiungi all'esperimento
    • Seleziona un esperimento esistente o creane uno nuovo.
    • (Facoltativo) Se le esecuzioni dell'esperimento sono associate all'esperimento, vengono visualizzate nel menu a discesa. Seleziona un'esecuzione esperimento esistente.
  10. Fai clic su Salva.

Confrontare l'esecuzione di una pipeline con le esecuzioni di esperimenti utilizzando la console Google Cloud

  1. Nella console Google Cloud, vai alla pagina Esperimenti.
    <a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3"Esperimenti.
    Nella pagina Esperimenti viene visualizzato un elenco di esperimenti. </a{:>
  2. Seleziona l'esperimento a cui vuoi aggiungere l'esecuzione della pipeline.
    Viene visualizzato un elenco di esecuzioni.
  3. Seleziona le esecuzioni da confrontare, poi fai clic su Confronta
  4. Fai clic sul pulsante Aggiungi esecuzione. Viene visualizzato un elenco di esecuzioni
  5. Seleziona l'esecuzione della pipeline che vuoi aggiungere. L'esecuzione viene aggiunta.

SDK Vertex AI per Python {:#sdk-add-pipeline-run}

I seguenti esempi utilizzano l'API PipelineJob.

Associa l'esecuzione della pipeline a un esperimento

Questo esempio mostra come associare l'esecuzione di una pipeline a un esperimento. Se vuoi confrontare le esecuzioni della pipeline, devi associare le esecuzioni della pipeline a un esperimento. Consulta init nella documentazione di riferimento dell'SDK Vertex AI per Python.

Python

def log_pipeline_job_to_experiment_sample(
    experiment_name: str,
    pipeline_job_display_name: str,
    template_path: str,
    pipeline_root: str,
    project: str,
    location: str,
    parameter_values: Optional[Dict[str, Any]] = None,
):
    aiplatform.init(project=project, location=location)

    pipeline_job = aiplatform.PipelineJob(
        display_name=pipeline_job_display_name,
        template_path=template_path,
        pipeline_root=pipeline_root,
        parameter_values=parameter_values,
    )

    pipeline_job.submit(experiment=experiment_name)

  • experiment_name: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
  • pipeline_job_display_name: il nome della pipeline definito dall'utente.
  • template_path: il percorso del file JSON PipelineJob o PipelineSpec, o YAML. Può essere un percorso locale o un URI Cloud Storage. Esempio: "gs://project.name"
  • pipeline_root: la radice dell'output della pipeline. Per impostazione predefinita è il bucket gestione temporanea.
  • parameter_values: la mappatura dai nomi dei parametri di runtime ai relativi valori che controllano l'esecuzione della pipeline.
  • project: il tuo ID progetto. Puoi trovare questi ID nella pagina di benvenuto della console Google Cloud.
  • location: consulta l'elenco delle località disponibili.

Associa l'esecuzione della pipeline all'esecuzione dell'esperimento

L'esempio fornito include l'associazione dell'esecuzione di una pipeline a un'esecuzione dell'esperimento.

Casi d'uso:

  • Durante l'addestramento di un modello locale e poi l'esecuzione della valutazione su quel modello (la valutazione viene eseguita utilizzando una pipeline). In questo caso ti consigliamo di scrivere le metriche di valutazione dall'esecuzione della pipeline a un esperimentoRun
  • Quando si esegue di nuovo la stessa pipeline più volte. Ad esempio, se modifichi i parametri di input o se un componente presenta errori e devi eseguirlo di nuovo.

Quando associ un'esecuzione di una pipeline a un'esecuzione di un esperimento, i parametri e le metriche non vengono visualizzati automaticamente e devono essere registrati manualmente utilizzando le API di logging.

Nota: quando il parametro facoltativo resume viene specificato come TRUE, l'esecuzione avviata in precedenza riprende. Se non specificato, il valore predefinito di resume è FALSE e viene creata una nuova esecuzione.

Consulta init, start_run e log nella documentazione di riferimento dell'SDK Vertex AI per Python.

Python

def log_pipeline_job_sample(
    experiment_name: str,
    run_name: str,
    pipeline_job: aiplatform.PipelineJob,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log(pipeline_job=pipeline_job)

  • experiment_name: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
  • run_name: specifica un nome esecuzione.
  • pipeline_job: un PipelineJob Vertex AI
  • project: il tuo ID progetto. Sono disponibili nella pagina di benvenuto della console Google Cloud.
  • location: consulta l'elenco delle località disponibili

Visualizza l'elenco delle esecuzioni delle pipeline nella console Google Cloud

  1. Nella sezione Vertex AI della console Google Cloud, vai alla pagina Pipeline.

    Vai alla pagina Pipeline

  2. Assicurati di essere nel progetto corretto.

  3. Un elenco di esperimenti ed esecuzioni associati alle esecuzioni della pipeline del progetto viene visualizzato rispettivamente nelle colonne Esperimento ed Esecuzione esperimento.

Elenco degli esperimenti di Vertex AI

Codelab

Passaggi successivi

Esempio di blocco note pertinente