Mengevaluasi model menggunakan Vertex AI

Halaman ini menjelaskan cara mengevaluasi model menggunakan Vertex AI. Untuk mengetahui ringkasannya, lihat evaluasi model di Vertex AI.

Prasyarat

  1. Ikuti langkah-langkah di Menyiapkan project dan lingkungan pengembangan. Selain itu, aktifkan layanan berikut:

  2. Vertex AI dapat mengevaluasi model yang dilatih melalui AutoML atau pelatihan kustom. Untuk mengetahui panduan Konsol Google Cloud, Anda harus memiliki model terlatih yang diimpor ke Vertex AI Model Registry.

  3. Upload set data pengujian Anda ke BigQuery atau Cloud Storage. Set data pengujian harus berisi kebenaran dasar, yang merupakan hasil sebenarnya yang diharapkan untuk sebuah prediksi. Dapatkan link ke file atau ID set data.

  4. Memiliki output prediksi batch dalam bentuk tabel BigQuery atau Cloud Storage URI.

  5. Pastikan akun layanan Compute Engine default Anda memiliki izin IAM berikut:

    • Vertex AI Administrator (aiplatform.admin)
    • Vertex AI Service Agent (aiplatform.serviceAgent)
    • Storage Object Admin (storage.objectAdmin)
    • Dataflow Worker (dataflow.worker)
    • BigQuery Data Editor (bigquery.dataEditor) (hanya diperlukan jika Anda memberikan data dalam bentuk tabel BigQuery)

Membuat evaluasi

Konsol

  1. Di Konsol Google Cloud, buka halaman Vertex AI Models.

    Buka halaman Model

  2. Klik nama model yang ingin dievaluasi.

  3. Klik nomor versi untuk model tersebut.

  4. Di tab Evaluasi, klik Buat Evaluasi.

  5. Masukkan Nama evaluasi.

  6. Pilih Tujuan, seperti klasifikasi atau regresi.

  7. Masukkan Nama kolom target evaluasi, yang merupakan kolom dari data pelatihan yang dilatih untuk diprediksi oleh model.

  8. Untuk Pilih sumber, pilih sumber untuk set data pengujian Anda.

    1. Untuk Tabel BigQuery, masukkan jalur BigQuery.

    2. Untuk File di Cloud Storage, masukkan jalur Cloud Storage.

  9. Untuk Output prediksi batch, pilih format output.

    1. Masukkan jalur BigQuery atau Cloud Storage URI.

  10. Klik Mulai Evaluasi.

Python

Untuk melihat alur kerja evaluasi model Vertex AI API di Vertex AI Pipelines, lihat contoh notebook untuk jenis model berikut:

Python SDK

SDK untuk mengevaluasi model dengan Vertex AI masih dalam versi Eksperimental. Untuk mendaftar ke versi Eksperimental, isi formulir aktivasi.

Vertex AI otomatis mengirim notifikasi email ketika tugas evaluasi model telah selesai.

Melihat metrik evaluasi

Konsol

  1. Di Konsol Google Cloud, buka halaman Vertex AI Models.

    Buka halaman Model

  2. Buka versi model.

  3. Lihat metrik di tab Evaluasi.

Python

Untuk melihat alur kerja evaluasi model Vertex AI API di Vertex AI Pipelines, lihat contoh notebook untuk jenis model berikut:

Python SDK

SDK untuk mengevaluasi model dengan Vertex AI masih dalam versi Eksperimental. Untuk mendaftar ke versi Eksperimental, isi formulir aktivasi.

Membandingkan metrik evaluasi

Anda dapat membandingkan hasil evaluasi antara berbagai model, versi model, dan tugas evaluasi. Untuk mengetahui informasi selengkapnya tentang pembuatan versi model, lihat Pembuatan versi di Model Registry.

Anda hanya dapat membandingkan model dari jenis yang sama, seperti klasifikasi, regresi, atau perkiraan. Saat membandingkan model yang berbeda, semua versi model harus berjenis sama.

Anda hanya dapat membandingkan 5 evaluasi atau kurang dari jumlah itu sekaligus.

  1. Buka Vertex AI Model Registry di Konsol Google Cloud:

    Buka halaman Model

  2. Buka model atau versi model Anda:

    • Untuk membandingkan berbagai model di halaman Model, centang kotak di samping nama model yang ingin Anda bandingkan.

    • Untuk membandingkan berbagai versi model:

      1. Klik nama model Anda di halaman Model untuk membuka daftar versi model.

      2. Pilih kotak centang di samping versi yang ingin dibandingkan.

    • Untuk membandingkan berbagai tugas evaluasi untuk versi model yang sama:

      1. Klik nama model Anda di halaman Model untuk membuka daftar versi model.

      2. Klik nomor versi.

      3. Pilih kotak centang di samping tugas evaluasi yang ingin dibandingkan.

  3. Klik Bandingkan.

Langkah selanjutnya