Daten manuell in einer Testausführung loggen

Zusammenfassende Messwerte

Zusammenfassende Messwerte sind skalare Messwerte, die neben Zeitachsenmesswerten gespeichert werden und die abschließende Zusammenfassung eines Testlaufs darstellen.

Ein Beispiel für einen Anwendungsfall ist das frühzeitige Anhalten, wenn eine Geduldkonfiguration das Training fortsetzen kann, das Kandidatenmodell jedoch aus einem früheren Schritt wiederhergestellt wird und die für dieses Modell berechneten Messwerte in diesem Schritt als zusammenfassender Messwert dargestellt werden. Dies liegt daran, dass der neueste Zeitachsenmesswert nicht repräsentativ für das wiederhergestellte Modell ist. Zu diesem Zweck wird die log_metrics API für zusammengefasste Messwerte verwendet.

def log_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name)

    aiplatform.log_metrics(metrics)

Zeitachsenmesswerte

Für das Logging von Zeitachsenmesswerten ist für Vertex AI Experiments eine unterstützende Vertex AI TensorBoard-Instanz erforderlich.

Weisen Sie Vertex AI TensorBoard-Sicherungsressourcen für Zeitachsenmesswert zu.

Alle über log_time_series_metrics protokollierten Messwerte werden als Zeitachsenmesswerte gespeichert. Vertex AI TensorBoard ist der unterstützende Speicher für Zeitachsenmesswerte.

experiment_tensorboard kann sowohl auf Testebene als auch auf Testausführungsebene festgelegt werden. Wenn Sie das experiment_tensorboard auf Ausführungsebene festlegen, wird die Einstellung auf Testebene überschrieben. Sobald das experiment_tensorboard in einer Ausführung festgelegt wurde, kann das experiment_tensorboard der Ausführung nicht mehr geändert werden.

• Legen Sie experiment_tensorboard auf Testebene fest:

    aiplatform.init(experiment='my-experiment',
                 experiment_tensorboard='projects/.../tensorboard/my-tb-resource')
  

• Legen Sie experiment_tensorboard auf Ausführungsebene fest: Hinweis: Überschreibt die Einstellung auf Testebene.

    aiplatform.start_run(run_name='my-other-run',
                      tensorboard='projects/.../.../other-resource')
  aiplatform.log_time_series_metrics(...)
  

def log_time_series_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    step: Optional[int],
    wall_time: Optional[timestamp_pb2.Timestamp],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_time_series_metrics(metrics=metrics, step=step, wall_time=wall_time)

Schritt und Walltime

Die log_time_series_metrics-API akzeptiert optional step und walltime.

• step: Optional. Schrittindex dieses Datenpunkts innerhalb der Ausführung. Wenn nicht angegeben, wird ein Inkrement über dem letzten Schritt unter allen bereits protokollierten Zeitachsenmesswerten verwendet. Wenn der Schritt für einen der bereitgestellten Messwertschlüssel vorhanden ist, wird der Schritt überschrieben.
• wall_time: Optional. Die Sekunden nach der Epoche des protokollierten Messwerts. Wenn dies nicht angegeben ist, gilt standardmäßig time.time von Python.

Beispiel:

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})

Für einen bestimmten Schritt protokollieren

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)

wall_time einschließen

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)

Parameter

Parameter sind Schlüsseleingabewerte, die eine Ausführung konfigurieren, das Verhalten der Ausführung steuern und die Ergebnisse der Ausführung beeinflussen. Beispiele sind die Lernrate, die Abbruchrate und die Anzahl der Trainingsschritte. Parameter mit der Methode log_params protokollieren

def log_params_sample(
    experiment_name: str,
    run_name: str,
    params: Dict[str, Union[float, int, str]],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_params(params)

aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})

Klassifizierungsmesswerte

Zusätzlich zu den zusammenfassenden Messwerten und Zeitachsenmesswerten werden Wahrheitsmatrizen und ROC-Kurven häufig verwendet. Sie können mithilfe der log_classification_metrics API in Vertex AI Experiments protokolliert werden.

def log_classification_metrics_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    labels: Optional[List[str]] = None,
    matrix: Optional[List[List[int]]] = None,
    fpr: Optional[List[float]] = None,
    tpr: Optional[List[float]] = None,
    threshold: Optional[List[float]] = None,
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_classification_metrics(
        labels=labels,
        matrix=matrix,
        fpr=fpr,
        tpr=tpr,
        threshold=threshold,
        display_name=display_name,
    )