Comprendre les coûts d'exécution des pipelines

Vous pouvez examiner le coût de vos exécutions de pipelines à l'aide de l'exportation Cloud Billing vers BigQuery.

Vous pouvez également utiliser l'ID de compte de facturation d'exécution de pipeline unique de votre exécution de pipeline pour examiner les coûts des ressources créées par l'exécution de pipeline, comme suit :

  1. Vertex AI Pipelines associe automatiquement l'étiquette vertex-ai-pipelines-run-billing-id à votre exécution de pipeline. La valeur de cette étiquette correspond à votre ID de compte de facturation d'exécution de pipeline unique.

  2. Vertex AI Pipelines propage cette étiquette aux ressources Google Cloud générées par les composants du pipeline pendant son exécution. Notez que pour certains composants et ressources, vous devez mettre à niveau le SDK des composants de pipeline Google Cloud ou mettre à jour votre code de composant pour propager les étiquettes. Pour en savoir plus sur l'étiquetage des ressources Google Cloud, consultez la section Étiquetage de ressources par Vertex AI Pipelines.

  3. L'étiquette vertex-ai-pipelines-run-billing-id associe l'utilisation des ressources Google Cloud générées par l'exécution de pipeline dans les rapports de facturation. La valeur de cette étiquette vous permet de vérifier le coût d'utilisation des ressources dans l'exécution de pipeline avec l'exportation Cloud Billing vers BigQuery.

Cette page vous explique comment :

Avant de commencer

Avant d'utiliser Cloud Billing pour comprendre le coût d'une exécution de pipeline, suivez les instructions ci-dessous afin de configurer votre projet et votre environnement de développement Google Cloud :

Pour en savoir plus sur le schéma des données de coût d'utilisation standard de Cloud Billing, consultez la section Schéma des données de coût d'utilisation standard.

Lister vos dix exécutions de pipeline les plus coûteuses

Exécutez la requête suivante pour afficher la liste de vos dix exécutions de pipeline les plus coûteuses sur une période donnée :

SQL standard

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Remplacez les éléments suivants :

  • START_DATE : date de début de la période.

  • END_DATE : date de fin de la période.

Les colonnes suivantes devraient s'afficher dans les résultats de la requête :

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Vous pouvez maintenant utiliser l'ID de compte de facturation d'exécution de pipeline unique dans la colonne pipeline_run_billing_id des résultats de la requête pour effectuer les opérations suivantes :

Utiliser l'ID de compte de facturation pour localiser une exécution de pipeline

Vous pouvez utiliser l'ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses pour localiser une exécution de pipeline.

Console

Suivez les instructions ci-dessous pour récupérer une exécution de pipeline dans la console Google Cloud.

  1. Dans la section Vertex AI de la console Google Cloud, accédez à la page Pipelines.

    Accéder à la page Pipelines

  2. Pour localiser l'exécution de pipeline, filtrez la liste à l'aide d'un ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses. Procédez comme suit :

    1. Cliquez sur Filtre, puis sur Étiquettes.

    2. Saisissez l'ID de compte de facturation d'exécution de pipeline unique au format suivant, puis appuyez sur Entrée :
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      où PIPELINE_RUN_BILLING_ID correspond à l'ID de compte de facturation d'exécution de pipeline unique.

SDK Vertex AI pour Python

Utilisez l'exemple de code suivant pour récupérer l'exécution de pipeline :

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Remplacez les éléments suivants :

  • PROJECT_ID : projet Google Cloud dans lequel ce pipeline s'exécute.

  • LOCATION : région dans laquelle le pipeline s'exécute. Pour en savoir plus sur les régions dans lesquelles Vertex AI Pipelines est disponible, consultez le guide des emplacements Vertex AI.

  • PIPELINE_RUN_BILLING_ID : ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses.

Afficher les coûts des ressources Google Cloud dans une exécution de pipeline

Vous pouvez utiliser l'ID de compte de facturation d'exécution de pipeline unique à partir des résultats de la requête dans la section Lister vos dix exécutions de pipeline les plus coûteuses pour afficher les coûts des ressources Google Cloud générées par l'exécution du pipeline.

Exécutez la requête suivante pour afficher la liste des ressources Google Cloud générées lors d'une exécution de pipeline, ainsi que le coût de chaque ressource :

SQL standard

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Remplacez les éléments suivants :

Les colonnes suivantes devraient s'afficher dans les résultats de la requête :

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

La colonne cost représente le coût d'une ressource correspondant au sku.id dans l'exécution du pipeline.