Melihat metrik pipeline

Setelah menentukan, membangun, dan menjalankan pipeline, Anda dapat melihat metrik yang terkait dengan tugas pipeline atau tugas pipeline di Metrics Explorer. Selain itu, Anda dapat membuat pemberitahuan dan metrik kustom berbasis log menggunakan Cloud Logging untuk memantau peristiwa seperti kegagalan pipeline.

Halaman ini menjelaskan cara melakukan tindakan berikut:

Membuat dan melihat metrik kustom di Cloud Logging memiliki biaya yang terkait dengannya. Untuk mengetahui informasi lebih lanjut, lihat harga Cloud Logging.

Lihat metrik Pipeline Vertex AI standar di Metrics Explorer

Anda dapat melihat metrik berikut yang terkait dengan Vertex AI Pipelines di Metrics Explorer:

Melihat durasi runtime tugas pipeline

Gunakan petunjuk berikut untuk melihat metrik Vertex Pipelines Job - PipelineJob duration di Konsol Google Cloud:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Dalam daftar Metric, pilih Vertex Pipelines Job > Pipelinejob > PipelineJob duration.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Contoh:

    • Untuk melihat durasi runtime tugas pipeline tertentu, gunakan filter pipeline_job_id.

    • Untuk melihat durasi runtime tugas pipeline untuk lokasi tertentu, gunakan filter location.

    • Untuk melihat durasi runtime tugas pipeline dalam status PIPELINE_JOB_RUNNING, PIPELINE_JOB_CANCELLED, atau PIPELINE_JOB_PENDING, gunakan filter run_state.

Melihat jumlah operasi pipeline

Gunakan petunjuk berikut untuk melihat metrik Location - Executing PipelineJobs di Konsol Google Cloud:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Dalam daftar Metric, pilih Location > Executing_vertexai_pipeline_jobs > Executing PipelineJobs.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Misalnya, untuk melihat jumlah tugas pipeline untuk lokasi tertentu, gunakan filter location.

Melihat jumlah tugas pipeline yang selesai

Gunakan petunjuk berikut untuk melihat metrik Vertex Pipelines Job - Completed PipelineTasks di Konsol Google Cloud:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Dalam daftar Metric, pilih Vertex Pipelines Job > Pipelinejob > Completed PipelineTasks.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Contoh:

    • Untuk melihat jumlah tugas yang diselesaikan dalam proses pipeline tertentu, gunakan filter pipeline_job_id.

    • Untuk melihat jumlah tugas yang diselesaikan dalam proses pipeline untuk lokasi tertentu, gunakan filter location.

Melihat jumlah tugas pipeline yang dijalankan

Gunakan petunjuk berikut untuk melihat metrik Location - Executing PipelineTasks di Konsol Google Cloud:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Dalam daftar Metric, pilih Location > Executing_vertexai_pipeline_tasks > Executing PipelineTasks.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Misalnya, untuk melihat jumlah tugas pipeline yang dijalankan untuk lokasi tertentu, gunakan filter location.

Membuat dan melihat metrik kustom di Logs Explorer

Anda dapat menggunakan Logs Explorer di konsol Google Cloud untuk membuat metrik berbasis log kustom yang melacak dan menganalisis pola dalam log pipeline Anda.

Contoh metrik kustom

Bagian ini menggambarkan contoh metrik kustom yang dapat Anda buat. Contoh ini meliputi:

Membuat metrik kustom untuk tugas pipeline yang gagal

Untuk membuat metrik penghitung berbasis log kustom yang memantau tugas pipeline yang gagal, lakukan tindakan berikut:

  1. Buka Logs Explorer:

    Buka Logs Explorer

  2. Pilih project Google Cloud yang sesuai.

  3. Di menu drop-down Resource, pilih Tugas Vertex Pipelines.

  4. Di menu drop-down Lokasi, pilih lokasi pipeline Anda.

  5. Di menu drop-down Semua pipeline_job_id, pilih ID tugas pipeline Anda.

  6. Klik Terapkan.

  7. Klik Buat Metrik.

  8. Di layar Buat metrik log:

    1. Tetapkan Jenis metrik: Pilih Penghitung.

    2. Tetapkan kolom berikut di bagian Detail:

      • Nama metrik log: Masukkan nama untuk metrik log Anda, misalnya, pipelinejob_failed. Pilih nama yang unik di antara metrik berbasis log di project Google Cloud Anda. Beberapa pembatasan penamaan berlaku. Untuk informasi selengkapnya, lihat Pemecahan masalah.
      • Deskripsi: Masukkan deskripsi untuk metrik.
      • Units: Biarkan kolom ini kosong atau masukkan angka 1.

    3. Tentukan filter metrik Anda di bagian Pemilihan filter. Buat filter yang hanya mengumpulkan entri log yang ingin Anda hitung dalam metrik menggunakan bahasa kueri logging, misalnya:

      resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_FAILED"

      Anda juga dapat menggunakan ekspresi reguler untuk membuat filter metrik.

      Untuk membuka panel yang menampilkan entri log yang cocok dengan filter, klik Pratinjau log.

    4. Opsional: Tambahkan label di bagian Label. Untuk petunjuk mengenai cara membuat label, lihat Membuat label.

    5. Untuk membuat metrik, klik Buat metrik.

Membuat metrik kustom untuk status pipeline akhir

Untuk membuat metrik penghitung berbasis log kustom yang memantau status akhir tugas pipeline Anda, lakukan tindakan berikut:

  1. Buka Logs Explorer:

    Buka Logs Explorer

  2. Pilih project Google Cloud yang sesuai.

  3. Di menu drop-down Resource, pilih Tugas Vertex Pipelines.

  4. Di menu drop-down Lokasi, pilih lokasi pipeline Anda.

  5. Di menu drop-down Semua pipeline_job_id, pilih ID tugas pipeline Anda.

  6. Klik Terapkan.

  7. Klik Buat Metrik.

  8. Di layar Buat metrik log:

    1. Tetapkan Jenis metrik: Pilih Penghitung.

    2. Tetapkan kolom berikut di bagian Detail:

      • Nama metrik log: Masukkan nama untuk metrik log Anda, misalnya, Pipeline_state_final. Pilih nama yang unik di antara metrik berbasis log di project Google Cloud Anda. Beberapa pembatasan penamaan berlaku. Untuk informasi selengkapnya, lihat Pemecahan masalah.
      • Deskripsi: Masukkan deskripsi untuk metrik.
      • Units: Biarkan kolom ini kosong atau masukkan angka 1.

    3. Tentukan filter metrik Anda di bagian Pemilihan filter. Buat filter yang hanya mengumpulkan entri log yang ingin Anda hitung dalam metrik menggunakan bahasa kueri logging, misalnya:

      resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_SUCCEEDED" OR
"PIPELINE_STATE_FAILED" OR "PIPELINE_STATE_CANCELLED"

      Anda juga dapat menggunakan ekspresi reguler untuk membuat filter metrik.

      Untuk membuka panel yang menampilkan entri log yang cocok dengan filter, klik Pratinjau log.

    4. Opsional: Tambahkan label di bagian Label. Untuk petunjuk mengenai cara membuat label, lihat Membuat label.

    5. Untuk membuat metrik, klik Buat metrik.

Melihat tingkat kegagalan tugas pipeline

Tingkat kegagalan tugas pipeline dihitung sebagai rasio jumlah tugas pipeline dalam status akhir terhadap jumlah tugas pipeline yang gagal. Untuk membuat dasbor guna memantau tingkat kegagalan tugas pipeline, lakukan tindakan berikut:

  1. Buat metrik untuk memantau tugas pipeline dalam status akhir. Untuk informasi selengkapnya, lihat Membuat metrik kustom untuk status pipeline akhir.

  2. Buat metrik untuk memantau tugas pipeline dalam status gagal. Untuk informasi selengkapnya, lihat Membuat metrik kustom untuk tugas pipeline yang gagal.

  3. Di bagian Monitoring pada konsol Google Cloud, buka halaman Metrics Explorer.

    Buka halaman Metrics Explorer

  4. Di tab Konfigurasi, lakukan yang berikut:

    1. Klik Tambahkan metrik lain.

    2. Pilih opsi Tampilkan metrik sebagai rasio. Jika Anda memilih opsi ini:

      • Panel Deret waktu A diganti namanya menjadi Numerator.

      • Panel Deret waktu B diganti namanya menjadi Denominator.

    3. Di panel Numerator, klik Pilih metrik guna memilih metrik yang dibuat untuk tugas pipeline yang gagal.

    4. Di panel Denominator, klik Pilih metrik guna memilih metrik yang dibuat untuk tugas pipeline status akhir.

    5. (Opsional) Konfigurasikan numerator dan denominator dengan menambahkan filter, atau dengan memperbarui kolom pengelompokan dan parameter perataan.

      Untuk informasi selengkapnya tentang cara menambahkan filter, atau memperbarui kolom pengelompokan dan parameter perataan, lihat Membuat diagram rasio metrik.

    Setelah Anda memilih numerator dan denominator, tingkat kegagalan tugas pipeline akan ditampilkan dalam grafik.

    • Setelah membuat grafik tingkat kegagalan tugas pipeline, Anda dapat menambahkannya ke dasbor kustom. Untuk informasi selengkapnya, lihat Menyimpan diagram untuk referensi di masa mendatang.

    • Untuk menyalin URL yang berisi konfigurasi grafik, klik ikon elipsis di sudut kanan atas grafik, lalu klik Bagikan dengan URL.