Mencatat data secara manual ke operasi eksperimen

Metrik ringkasan

Metrik ringkasan adalah metrik skalar nilai tunggal yang disimpan di sebelah metrik deret waktu dan merepresentasikan ringkasan akhir dari sebuah operasi eksperimen.

Salah satu contoh kasus penggunaan adalah penghentian awal saat konfigurasi kesabaran memungkinkan pelatihan berkelanjutan, tetapi model kandidat dipulihkan dari langkah sebelumnya dan metrik yang dihitung untuk model pada langkah tersebut akan direpresentasikan sebagai metrik ringkasan karena metrik deret waktu terbaru tidak mewakili model yang dipulihkan. log_metrics API untuk metrik ringkasan digunakan untuk tujuan ini.

def log_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name)

    aiplatform.log_metrics(metrics)

Metrik deret waktu

Untuk mencatat metrik deret waktu, Vertex AI Experiment memerlukan instance Vertex AI TensorBoard pendukung.

Menetapkan resource Vertex AI TensorBoard pendukung untuk Pencatatan Metrik Deret Waktu

Semua metrik yang dicatat melalui log_time_series_metrics disimpan sebagai metrik deret waktu. Vertex AI TensorBoard adalah penyimpanan metrik deret waktu pendukung.

experiment_tensorboard dapat ditetapkan di tingkat eksperimen dan operasi eksperimen. Menetapkan experiment_tensorboard di tingkat operasi akan mengabaikan setelan di tingkat eksperimen. Setelah experiment_tensorboard ditetapkan di sebuah operasi, experiment_tensorboard operasi tersebut tidak dapat diubah.

• Tetapkan experiment_tensorboard di tingkat eksperimen:

    aiplatform.init(experiment='my-experiment',
                 experiment_tensorboard='projects/.../tensorboard/my-tb-resource')
  

• Tetapkan experiment_tensorboard di tingkat operasi. Catatan: Mengabaikan setelan di tingkat eksperimen.

    aiplatform.start_run(run_name='my-other-run',
                      tensorboard='projects/.../.../other-resource')
  aiplatform.log_time_series_metrics(...)
  

def log_time_series_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    step: Optional[int],
    wall_time: Optional[timestamp_pb2.Timestamp],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_time_series_metrics(metrics=metrics, step=step, wall_time=wall_time)

Langkah dan waktu proses

API log_time_series_metrics secara opsional menerima step dan walltime.

• step: Opsional. Indeks langkah titik data ini dalam operasi tersebut. Jika tidak disediakan, kenaikan dari langkah terakhir pada semua metrik deret waktu yang sudah dicatat akan digunakan. Jika langkah tersebut ada untuk salah satu kunci metrik yang disediakan, langkah tersebut akan ditimpa.
• wall_time: Opsional. Detik setelah epoch metrik yang dicatat. Jika tidak disediakan, default-nya adalah time.time Python.

Contoh:

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})

Mencatat ke langkah tertentu

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)

Mencakup wall_time

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)

Parameter

Parameter adalah nilai input dengan kunci yang mengonfigurasi operasi, mengatur perilaku operasi, dan memengaruhi hasil operasi. Contohnya mencakup kecepatan pemelajaran, tingkat batal, dan jumlah langkah pelatihan. Buat log parameter menggunakan metode log_params.

def log_params_sample(
    experiment_name: str,
    run_name: str,
    params: Dict[str, Union[float, int, str]],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_params(params)

aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})

Metrik klasifikasi

Selain metrik ringkasan dan metrik deret waktu, matriks konfusi dan kurva ROC merupakan metrik yang umum digunakan. Eksperimen dapat dicatat ke dalam log ke Eksperimen Vertex AI menggunakan log_classification_metrics API.

def log_classification_metrics_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    labels: Optional[List[str]] = None,
    matrix: Optional[List[List[int]]] = None,
    fpr: Optional[List[float]] = None,
    tpr: Optional[List[float]] = None,
    threshold: Optional[List[float]] = None,
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_classification_metrics(
        labels=labels,
        matrix=matrix,
        fpr=fpr,
        tpr=tpr,
        threshold=threshold,
        display_name=display_name,
    )