Informazioni sui costi di esecuzione delle pipeline

Puoi esaminare il costo delle esecuzioni delle pipeline utilizzando l'esportazione della fatturazione Cloud in BigQuery.

Puoi anche utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline per esaminare i costi delle risorse create dall'esecuzione della pipeline, come indicato di seguito:

1. Vertex AI Pipelines collega automaticamente l'etichetta vertex-ai-pipelines-run-billing-id all'esecuzione della pipeline. Il valore di questa etichetta corrisponde all'ID fatturazione univoco dell'esecuzione della pipeline.

2. Vertex AI Pipelines propaga questa etichetta alle risorse Google Cloud generate dai componenti della pipeline durante l'esecuzione della pipeline. Tieni presente che, per alcuni componenti e risorse, devi eseguire l'upgrade dell'SDK Google Cloud Pipeline Componentis o aggiornare il codice del componente per propagare le etichette. Per saperne di più sull'etichettatura delle risorse Google Cloud, vedi Etichettatura delle risorse tramite Vertex AI Pipelines.

3. L'etichetta vertex-ai-pipelines-run-billing-id connette l'utilizzo delle risorse Google Cloud generate dalla pipeline eseguita nei report di fatturazione. Utilizzando il valore di questa etichetta, puoi esaminare il costo di utilizzo delle risorse nell'esecuzione della pipeline con l'esportazione della fatturazione Cloud in BigQuery.

In questa pagina viene illustrato come:

• Elenca le dieci esecuzioni più costose delle pipeline

• Utilizza un ID fatturazione dell'esecuzione della pipeline per individuare un'esecuzione della pipeline

• Esegui query sui costi delle risorse Google Cloud in una pipeline eseguita da fatturazione Cloud

Prima di iniziare

Prima di utilizzare la fatturazione Cloud per comprendere il costo dell'esecuzione di una pipeline, segui le istruzioni riportate di seguito per configurare il progetto e l'ambiente di sviluppo Google Cloud:

• Configura l'esportazione dei dati di fatturazione Cloud in BigQuery.

• Installa la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componentis

Per ulteriori informazioni sullo schema dei dati di costo di utilizzo standard di fatturazione Cloud, consulta Schema dei dati di costo di utilizzo standard.

Elenca le dieci esecuzioni della pipeline più costose

Esegui la query seguente per visualizzare un elenco delle dieci esecuzioni della pipeline più costose in un periodo di tempo specificato:

SQL standard

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Sostituisci quanto segue:

• START_DATE: data di inizio del periodo di tempo.

• END_DATE: data di fine del periodo di tempo.

Nei risultati della query dovresti visualizzare le seguenti colonne:

• project_id

• region

• pipeline_run_billing_id

• total_cost

Ora puoi utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline dalla colonna pipeline_run_billing_id dei risultati della query per effettuare le seguenti operazioni:

• Individuare o recuperare l'esecuzione di una pipeline

• Visualizza i costi delle risorse Google Cloud nell'esecuzione di una pipeline

Utilizza l'ID fatturazione per individuare un'esecuzione della pipeline

Puoi utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline indicato nei risultati della query in Elenca le dieci esecuzioni della pipeline più costose per individuare un'esecuzione della pipeline.

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Visualizza i costi delle risorse Google Cloud nell'esecuzione di una pipeline

Puoi utilizzare l'ID fatturazione univoco dell'esecuzione della pipeline indicato nei risultati della query in Elenca le dieci esecuzioni della pipeline più costose per visualizzare i costi delle risorse Google Cloud generate dall'esecuzione della pipeline.

Esegui la query seguente per visualizzare l'elenco delle risorse Google Cloud generate in un'esecuzione della pipeline, insieme al costo di ogni risorsa:

SQL standard

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Sostituisci quanto segue:

• START_DATE: data di inizio del periodo di tempo.

• END_DATE: data di fine del periodo di tempo.

• PIPELINE_RUN_BILLING_ID: l'ID fatturazione univoco dell'esecuzione della pipeline indicato nei risultati della query in Elenca le dieci esecuzioni della pipeline più costose.

Nei risultati della query dovresti visualizzare le seguenti colonne:

• service.id

• service.description

• sku.id

• sku_description

• cost

La colonna cost rappresenta il costo di una risorsa corrispondente a sku.id nell'esecuzione della pipeline.