Melatih model dengan AutoML End-to-End

Konsol Google Cloud

Untuk menemukan URI hasil penyesuaian hyperparameter menggunakan Konsol Google Cloud, lakukan langkah-langkah berikut ini:

1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Pipeline.

   Buka halaman Pipeline

2. Pilih tab Operasi.

3. Pilih operasi pipeline yang ingin Anda gunakan.

4. Pilih Luaskan Artefak.

5. Klik komponen exit-handler-1.

6. Klik komponen stage_1_tuning_result_artifact_uri_empty.

7. Cari komponen automl-tabular-cv-trainer-2.

8. Klik artefak terkait tuning_result_output.

9. Pilih tab Info Node.

10. Salin URI untuk digunakan di langkah Melatih model.

API: Python

Kode contoh berikut ini menunjukkan cara agar Anda dapat memuat hasil penyesuaian hyperparameter menggunakan API. Variabel job mengacu pada operasi pipeline pelatihan model sebelumnya.

def get_task_detail(
  task_details: List[Dict[str, Any]], task_name: str
) -> List[Dict[str, Any]]:
  for task_detail in task_details:
      if task_detail.task_name == task_name:
          return task_detail

pipeline_task_details = job.gca_resource.job_detail.task_details

stage_1_tuner_task = get_task_detail(
    pipeline_task_details, "automl-tabular-stage-1-tuner"
)
stage_1_tuning_result_artifact_uri = (
    stage_1_tuner_task.outputs["tuning_result_output"].artifacts[0].uri
)

Konsol Google Cloud

Untuk melatih model menggunakan konsol Google Cloud, lakukan langkah-langkah berikut:

1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Pipeline.

   Buka halaman Pipeline

2. Pilih tab Galeri Template.

3. Di kartu AutoML untuk Klasifikasi/Regresi Tabel, klik Buat operasi.

4. Di halaman Detail operasi, konfigurasi sebagai berikut:

   1. Masukkan nama operasi pipeline.
   2. Opsional: Jika Anda ingin menetapkan akun layanan Vertex AI Pipelines atau akun layanan worker Dataflow, buka menu Opsi lanjutan. Pelajari akun layanan lebih lanjut
   3. Klik Lanjutkan.

5. Di halaman Konfigurasi runtime, konfigurasikan sebagai berikut:

   1. Masukkan bucket Cloud Storage atau folder dalam bucket untuk digunakan sebagai direktori output root. Direktori ini akan digunakan untuk menyimpan file perantara, seperti set data terwujud dan model. Jangan lupa untuk membersihkan direktori setelah pelatihan selesai dan model serta artefak penting lainnya disalin ke bucket Cloud Storage lain. Sebagai alternatif, tetapkan Time to Live (TTL) untuk bucket Cloud Storage.

      Bucket untuk project Anda tercantum di bagian Cloud Storage pada konsol Google Cloud.

      Buka halaman Bucket

   2. Klik Lanjutkan.

6. Di halaman Metode pelatihan, konfigurasi sebagai berikut:

   1. Pilih nama set data yang ingin Anda gunakan untuk melatih model.
   2. Pilih kolom target. Kolom target adalah nilai yang akan diprediksi oleh model. Pelajari persyaratan kolom target lebih lanjut.
   3. Masukkan nama tampilan untuk model baru Anda.
   4. Opsional: Untuk memilih cara memisahkan data antara set pelatihan, pengujian, dan validasi, buka Opsi lanjutan. Anda dapat memilih di antara opsi pemisahan data berikut:
      • Acak (Default): Vertex AI secara acak memilih baris yang terkait dengan tiap set data. Secara default, Vertex AI memilih 80% baris data Anda untuk set pelatihan, 10% untuk set validasi, dan 10% untuk set pengujian. Tetapkan persentase baris data yang ingin dikaitkan dengan masing-masing set data.
      • Manual: Vertex AI memilih baris data untuk setiap set data berdasarkan nilai dalam kolom pemisahan data. Berikan nama kolom pembagian data.
      • Kronologis: Vertex AI membagi data berdasarkan stempel waktu dalam kolom waktu. Masukkan nama kolom waktu. Anda juga dapat menetapkan persentase baris data yang ingin dikaitkan dengan set pelatihan, set validasi, dan set pengujian.
      • Bertingkat: Vertex AI secara acak memilih baris yang terkait dengan setiap set data, tetapi mempertahankan distribusi nilai kolom target. Masukkan nama kolom target. Anda juga dapat menetapkan persentase baris data yang ingin dikaitkan dengan set pelatihan, set validasi, dan set pengujian.
      Pelajari pemisahan data lebih lanjut.
   5. Opsional: Anda dapat menjalankan pipeline tanpa penelusuran arsitektur. Jika memilih Lewati penelusuran arsitektur, Anda akan diminta untuk menyediakan set hyperparameter dari operasi pipeline sebelumnya yang dijalankan di halaman Opsi pelatihan.
   6. Klik Lanjutkan.

7. Di halaman Opsi pelatihan, konfigurasikan sebagai berikut:

   1. Opsional: Klik Buat statistik. Membuat statistik akan mengisi menu dropdown Transformasi.
   2. Tinjau daftar kolom Anda dan kecualikan setiap kolom dari pelatihan yang tidak boleh digunakan untuk melatih model.
   3. Tinjau transformasi yang dipilih untuk fitur yang disertakan, beserta apakah data yang tidak valid diizinkan, dan lakukan pembaruan apa pun yang diperlukan. Pelajari transformasi dan data yang tidak valid lebih lanjut.
   4. Jika Anda memilih untuk melewati penelusuran arsitektur di halaman Metode pelatihan, berikan jalur ke hasil penyesuaian hyperparameter dari operasi pipeline sebelumnya.
   5. Opsional: Jika Anda ingin menentukan kolom bobot, buka Opsi lanjutan dan tentukan pilihan Anda. Pelajari kolom bobot lebih lanjut.
   6. Opsional: Jika Anda ingin mengubah tujuan pengoptimalan dari default, buka Opsi lanjutan dan tentukan pilihan Anda. Pelajari tujuan pengoptimalan lebih lanjut.
   7. Opsional: Jika memilih untuk melakukan penelusuran arsitektur di halaman Metode pelatihan, Anda dapat menentukan jumlah uji coba paralel. Buka Opsi lanjutan, lalu masukkan nilai Anda.
   8. Opsional: Anda dapat memberikan nilai tetap untuk subset hyperparameter. Vertex AI menelusuri nilai optimal dari hyperparameter yang tidak tetap lainnya. Opsi ini adalah pilihan yang baik jika Anda memiliki preferensi yang kuat untuk jenis model tersebut. Anda dapat memilih antara jaringan neural dan hierarki yang ditingkatkan untuk jenis model Anda. Buka Opsi lanjutan dan berikan penggantian spesifikasi studi dalam format JSON.

      Misalnya, jika Anda ingin menetapkan jenis model ke Jaringan Neural (NN), masukkan jenis model berikut:
      

      [
        {
          "parameter_id": "model_type",
          "categorical_value_spec": {
            "values": ["nn"]
          }
        }
      ]
      

   9. Klik Lanjutkan.

8. Di halaman Komputasi dan harga, konfigurasi sebagai berikut:

   1. Masukkan jumlah jam maksimum yang diinginkan untuk melatih model Anda. Pelajari pricing lebih lanjut.
   2. Opsional: Di bagian Setelan Komputasi, Anda dapat mengonfigurasi jenis mesin dan jumlah mesin untuk setiap tahap alur kerja. Opsi ini adalah pilihan yang tepat jika Anda memiliki set data besar dan ingin mengoptimalkan hardware mesin.

9. Klik Kirim.

API: Python

Kode contoh berikut ini menunjukkan Anda cara untuk menjalankan pipeline pelatihan model:

job = aiplatform.PipelineJob(
    ...
    template_path=template_path,
    parameter_values=parameter_values,
    ...
)
job.run(service_account=SERVICE_ACCOUNT)

Parameter service_account opsional di job.run() memungkinkan Anda menetapkan akun layanan Vertex AI Pipelines ke akun pilihan Anda.

Pipeline dan nilai parameter ditentukan oleh fungsi berikut. Data pelatihan dapat berupa file CSV di Cloud Storage, atau tabel di BigQuery.

template_path, parameter_values = automl_tabular_utils.get_automl_tabular_pipeline_and_parameters(...)

Berikut adalah subset parameter get_automl_tabular_pipeline_and_parameters:

Opsi penyesuaian alur kerja

Anda dapat menyesuaikan alur kerja AutoML End-to-End dengan menentukan nilai argumen yang diteruskan selama definisi pipeline. Anda dapat menyesuaikan alur kerja Anda dengan cara berikut ini:

• Mengganti ruang penelusuran
• Mengonfigurasi hardware
• Menyaring model
• Melewati penelusuran arsitektur

Mengganti ruang penelusuran

Parameter get_automl_tabular_pipeline_and_parameters berikut memungkinkan Anda memberikan nilai tetap untuk subset hyperparameter. Vertex AI menelusuri nilai optimal dari hyperparameter yang tidak tetap lainnya. Gunakan parameter ini jika Anda ingin memilih antara jaringan neural dan hierarki yang ditingkatkan untuk jenis model Anda.

Kode berikut menunjukkan cara menetapkan jenis model ke Jaringan Neural (NN):

study_spec_parameters_override = [
  {
    "parameter_id": "model_type",
    "categorical_value_spec": {
      "values": ["nn"] # The default value is ["nn", "boosted_trees"], this reduces the search space
    }
  }
]

Mengonfigurasi hardware

Parameter get_automl_tabular_pipeline_and_parameters berikut memungkinkan Anda mengonfigurasi jenis mesin dan jumlah mesin untuk pelatihan. Opsi ini adalah pilihan yang tepat jika Anda memiliki set data besar dan ingin mengoptimalkan hardware mesin.

Kode berikut menunjukkan cara menetapkan jenis mesin n1-standard-8 untuk node utama TensorFlow dan jenis mesin n1-standard-4 untuk node evaluator TensorFlow:

worker_pool_specs_override = [
  {"machine_spec": {"machine_type": "n1-standard-8"}}, # override for TF chief node
  {},  # override for TF worker node, since it's not used, leave it empty
  {},  # override for TF ps node, since it's not used, leave it empty
  {
    "machine_spec": {
        "machine_type": "n1-standard-4" # override for TF evaluator node
    }
  }
]

Menyaring model

Parameter get_automl_tabular_pipeline_and_parameters berikut memungkinkan Anda membuat versi model ansambel yang lebih kecil. Model yang lebih kecil mengurangi latensi dan biaya untuk prediksi.

Melewati penelusuran arsitektur

Parameter get_automl_tabular_pipeline_and_parameters berikut memungkinkan Anda menjalankan pipeline tanpa penelusuran arsitektur dan menyediakan sekumpulan hyperparameter dari operasi pipeline sebelumnya.