テスト実行にデータを手動で記録する

サマリー指標

サマリー指標は、時系列指標の隣に保存される単一の値のスカラー指標で、テスト実行の最終的なサマリーを表します。

ユースケースの一例として、構成でトレーニングの継続が許容されていても、候補モデルが前のステップから復元されたために早期停止が発生する場合があります。この場合、最新の時系列指標が復元されたモデルを表していないため、そのステップでモデルに対して計算された指標がサマリー指標として表示されます。この目的では、サマリー指標用の log_metrics API が使用されます。

def log_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name)

    aiplatform.log_metrics(metrics)

時系列指標

時系列指標をログに記録するには、Vertex AI Experiments でバッキング Vertex AI TensorBoard インスタンスが必要になります。

時系列指標のロギングにバッキング Vertex AI TensorBoard リソースを割り当てる

log_time_series_metrics を介して記録された指標はすべて時系列指標として保存されます。Vertex AI TensorBoard は、時系列指標のバッキング ストアです。

experiment_tensorboard は、テストレベルとテスト実行レベルの両方で設定できます。実行レベルで experiment_tensorboard を設定すると、テストレベルの設定がオーバーライドされます。実行に experiment_tensorboard が設定されると、その実行の experiment_tensorboard は変更できません。

• experiment_tensorboard をテストレベルで設定します。

    aiplatform.init(experiment='my-experiment',
                 experiment_tensorboard='projects/.../tensorboard/my-tb-resource')
  

• 実行レベルで experiment_tensorboard を設定します。注: テストレベルでオーバーライド設定を行います。

    aiplatform.start_run(run_name='my-other-run',
                      tensorboard='projects/.../.../other-resource')
  aiplatform.log_time_series_metrics(...)
  

def log_time_series_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    step: Optional[int],
    wall_time: Optional[timestamp_pb2.Timestamp],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_time_series_metrics(metrics=metrics, step=step, wall_time=wall_time)

ステップと経過時間

log_time_series_metrics API には、step と walltime を渡すこともできます。

• step: 省略可。実行内のこのデータポイントのステップ インデックス。指定しなかった場合、すでにロギングされているすべての時系列指標の中で最新のステップからの増分が使用されます。指定した指標キーのいずれかにステップが存在する場合、ステップが上書きされます。
• wall_time: 省略可。記録された指標のエポックからの経過秒数。指定しない場合のデフォルトは、Python の time.time です。

例:

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})

特定のステップをロギングする

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)

wall_time を含める

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)

パラメータ

パラメータは、実行を構成し、実行の動作を規制し、実行の結果に影響を与えるキー付きの入力値です。例としては、学習率、ドロップアウト率、トレーニングの手順の数などがあります。log_params メソッドを使用したログパラメータ。

def log_params_sample(
    experiment_name: str,
    run_name: str,
    params: Dict[str, Union[float, int, str]],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_params(params)

aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})

分類指標

サマリー指標と時系列指標に加えて、混同行列と ROC 曲線がよく使用される指標です。これらは、log_classification_metrics API を使用して Vertex AI Experiments にロギングできます。

def log_classification_metrics_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    labels: Optional[List[str]] = None,
    matrix: Optional[List[List[int]]] = None,
    fpr: Optional[List[float]] = None,
    tpr: Optional[List[float]] = None,
    threshold: Optional[List[float]] = None,
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_classification_metrics(
        labels=labels,
        matrix=matrix,
        fpr=fpr,
        tpr=tpr,
        threshold=threshold,
        display_name=display_name,
    )