Memahami biaya operasi pipeline

Anda dapat meninjau biaya operasi pipeline menggunakan ekspor Penagihan Cloud ke BigQuery.

Anda juga dapat menggunakan ID penagihan operasi pipeline yang unik dari operasi pipeline Anda untuk meninjau biaya resource yang dibuat oleh operasi pipeline, sebagai berikut:

1. Vertex AI Pipelines otomatis melampirkan label vertex-ai-pipelines-run-billing-id ke operasi pipeline Anda. Nilai label ini adalah ID penagihan operasi pipeline unik Anda.

2. Vertex AI Pipelines menyebarkan label ini ke resource Google Cloud yang dihasilkan oleh komponen pipeline selama operasi pipeline. Perhatikan bahwa untuk beberapa komponen dan resource, Anda harus mengupgrade Google Cloud Pipeline Components SDK atau memperbarui kode komponen Anda guna menyebarkan label. Untuk mengetahui informasi selengkapnya tentang pelabelan resource Google Cloud, lihat Memberi label resource dengan Vertex AI Pipelines.

3. Label vertex-ai-pipelines-run-billing-id menghubungkan penggunaan resource Google Cloud yang dihasilkan oleh operasi pipeline di laporan penagihan. Dengan menggunakan nilai label ini, Anda dapat meninjau biaya penggunaan resource dalam operasi pipeline dengan ekspor Penagihan Cloud ke BigQuery.

Halaman ini menunjukkan cara melakukan hal berikut:

• Mencantumkan sepuluh operasi pipeline yang paling mahal

• Menggunakan ID penagihan operasi pipeline untuk menemukan operasi pipeline

• Membuat kueri biaya resource Google Cloud dalam operasi pipeline dari Penagihan Cloud

Sebelum memulai

Sebelum Anda menggunakan Penagihan Cloud untuk memahami biaya operasi pipeline, gunakan petunjuk berikut untuk menyiapkan lingkungan pengembangan dan project Google Cloud Anda:

• Siapkan ekspor data Penagihan Cloud ke BigQuery.

• Instal Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru

Untuk mengetahui informasi selengkapnya tentang skema data biaya penggunaan standar Penagihan Cloud, lihat Skema data biaya penggunaan standar.

Mencantumkan sepuluh operasi pipeline yang paling mahal

Jalankan kueri berikut untuk melihat daftar sepuluh operasi pipeline paling mahal Anda selama jangka waktu yang ditentukan:

SQL Standar

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Ganti kode berikut:

• START_DATE: Tanggal mulai jangka waktu.

• END_DATE: Tanggal akhir jangka waktu.

Anda akan melihat kolom berikut di hasil kueri:

• project_id

• region

• pipeline_run_billing_id

• total_cost

Anda kini dapat menggunakan ID penagihan operasi pipeline yang unik dari kolom pipeline_run_billing_id hasil kueri untuk melakukan hal berikut:

• Menemukan atau mengambil operasi pipeline

• Melihat biaya resource Google Cloud dalam operasi pipeline

Menggunakan ID penagihan untuk menemukan operasi pipeline

Anda dapat menggunakan ID penagihan operasi pipeline yang unik dari hasil kueri di Mencantumkan sepuluh operasi pipeline Anda yang paling mahal untuk menemukan operasi pipeline.

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Melihat biaya resource Google Cloud dalam operasi pipeline

Anda dapat menggunakan ID penagihan operasi pipeline yang unik dari hasil kueri di Mencantumkan sepuluh operasi pipeline yang paling mahal untuk melihat biaya resource Google Cloud yang dihasilkan oleh operasi pipeline.

Jalankan kueri berikut untuk melihat daftar resource Google Cloud yang dihasilkan dalam operasi pipeline, beserta biaya setiap resource:

SQL Standar

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Ganti kode berikut:

• START_DATE: Tanggal mulai jangka waktu.

• END_DATE: Tanggal akhir jangka waktu.

• PIPELINE_RUN_BILLING_ID: ID penagihan operasi pipeline yang unik dari hasil kueri di Mencantumkan sepuluh operasi pipeline yang paling mahal.

Anda akan melihat kolom berikut di hasil kueri:

• service.id

• service.description

• sku.id

• sku_description

• cost

Kolom cost menunjukkan biaya resource yang sesuai dengan sku.id dalam operasi pipeline.