Registra manualmente datos en una ejecución de experimento

Métricas de resumen

Las métricas resumidas son métricas escalares de valor único almacenadas junto a las métricas de series temporales y representan un resumen final de una ejecución de experimento.

Un caso de uso de ejemplo es la interrupción anticipada en la que una configuración de paciencia permite el entrenamiento continuo, pero el modelo candidato se restablece de un paso anterior y las métricas calculadas para el modelo en ese paso se representarían como una métrica resumida porque la última métrica de serie temporal no es representativa del modelo restablecido. La API de log_metrics para las métricas de resumen se usa con este fin.

def log_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name)

    aiplatform.log_metrics(metrics)

Métricas de series temporales

Para registrar las métricas de series temporales, Vertex AI Experiments requiere una instancia de Vertex AI TensorBoard de respaldo.

Asigna el recurso de Vertex AI TensorBoard de respaldo para el registro de métricas de series temporales.

Todas las métricas que se registran a través de log_time_series_metrics se almacenan como métricas de series temporales. Vertex AI TensorBoard es el almacén de métricas de series temporales de respaldo.

experiment_tensorboard se puede configurar en los niveles de experimento y de ejecución de experimento. Establecer experiment_tensorboard a nivel de ejecución anula la configuración a nivel del experimento. Una vez que experiment_tensorboard se configura en una ejecución, el experiment_tensorboard de la ejecución no se puede cambiar.

• Establece experiment_tensorboard en el nivel de experimento:

    aiplatform.init(experiment='my-experiment',
                 experiment_tensorboard='projects/.../tensorboard/my-tb-resource')
  

• Establece experiment_tensorboard en el nivel de ejecución: Nota: Anula la configuración a nivel del experimento.

    aiplatform.start_run(run_name='my-other-run',
                      tensorboard='projects/.../.../other-resource')
  aiplatform.log_time_series_metrics(...)
  

def log_time_series_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    step: Optional[int],
    wall_time: Optional[timestamp_pb2.Timestamp],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_time_series_metrics(metrics=metrics, step=step, wall_time=wall_time)

Step y walltime

La API de log_time_series_metrics acepta de forma opcional step y walltime.

• step: Opcional Índice de paso de este dato dentro de la ejecución. Si no se proporciona, se usa un incremento sobre el paso más reciente entre todas las métricas de series temporales ya registradas. Si el paso existe para cualquiera de las claves de métrica proporcionadas, se reemplaza el paso.
• wall_time: Opcional Los segundos después de la época de la métrica registrada. Si no se proporciona, el valor predeterminado es time.time de Python.

Por ejemplo:

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})

Registra en un paso específico

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)

Incluye wall_time

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)

Parámetros

Los parámetros son valores de entrada con clave que configuran una ejecución, regulan su comportamiento y afectan sus resultados. Algunos ejemplos son la tasa de aprendizaje, la tasa de abandono y la cantidad de pasos de entrenamiento. Registra los parámetros con el método log_params.

def log_params_sample(
    experiment_name: str,
    run_name: str,
    params: Dict[str, Union[float, int, str]],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_params(params)

aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})

Métricas de clasificación

Además de las métricas de resumen y las de series temporales, las matrices de confusión y las curvas ROC son métricas que se usan con frecuencia. Se pueden registrar en Vertex AI Experiments con la API de log_classification_metrics.

def log_classification_metrics_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    labels: Optional[List[str]] = None,
    matrix: Optional[List[List[int]]] = None,
    fpr: Optional[List[float]] = None,
    tpr: Optional[List[float]] = None,
    threshold: Optional[List[float]] = None,
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_classification_metrics(
        labels=labels,
        matrix=matrix,
        fpr=fpr,
        tpr=tpr,
        threshold=threshold,
        display_name=display_name,
    )