Vertex AI Model Monitoring para predicciones por lotes

Consola

Sigue las instrucciones para realizar una solicitud de predicción por lotes con Supervisión de modelos habilitado:

• Clasificación y regresión tabulares de AutoML

• Previsión tabular de AutoML

• Entrenamiento tabular personalizado

API de REST

Sigue las instrucciones para realizar una solicitud de predicción por lotes con la API de REST:

• Clasificación y regresión tabulares de AutoML

• Previsión tabular de AutoML

• Entrenamiento tabular personalizado

Cuando crees la solicitud de predicción por lotes, agrega la siguiente configuración de Supervisión de modelos al cuerpo JSON de la solicitud:

"modelMonitoringConfig": {
 "alertConfig": {
   "emailAlertConfig": {
     "userEmails": "EMAIL_ADDRESS"
   },
  "notificationChannels": [NOTIFICATION_CHANNELS]
 },
 "objectiveConfigs": [
   {
     "trainingDataset": {
       "dataFormat": "csv",
       "gcsSource": {
         "uris": [
           "TRAINING_DATASET"
         ]
       }
     },
     "trainingPredictionSkewDetectionConfig": {
       "skewThresholds": {
         "FEATURE_1": {
           "value": VALUE_1
         },
         "FEATURE_2": {
           "value": VALUE_2
         }
       }
     }
   }
 ]
}

Donde:

• EMAIL_ADDRESS: es la dirección de correo electrónico en la que deseas recibir alertas de Model Monitoring. Por ejemplo, [email protected].

• NOTIFICATION_CHANNELS: Una lista de canales de notificaciones de Cloud Monitoring en los que deseas recibir alertas de Model Monitoring. Usa los nombres de los recursos para los canales de notificaciones, que puedes recuperar si enumeras los canales de notificaciones en tu proyecto. Por ejemplo, "projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568".

• TRAINING_DATASET es el vínculo al conjunto de datos de entrenamiento almacenado en Cloud Storage.

  • Para usar un vínculo a un conjunto de datos de entrenamiento de BigQuery, reemplaza el campo gcsSource por lo siguiente:

  "bigquerySource": {
      {
        "inputUri": "TRAINING_DATASET"
      }
   }
  

  • Para usar un vínculo a un modelo de AutoML, reemplaza el campo gcsSource por lo siguiente:

  "dataset": "TRAINING_DATASET"

• FEATURE_1:VALUE_1 y FEATURE_2:VALUE_2 es el umbral de alertas de cada función que deseas supervisar. Por ejemplo, si especificas Age=0.4, Model Monitoring registra una alerta cuando la distancia estadística entre las distribuciones de entrada y modelo de referencia para el atributo Age excede 0.4. De forma predeterminada, se supervisa cada atributo categórico y numérico, con valores de umbral de 0.3.

Para obtener más información sobre las opciones de configuración de Model Monitoring, consulta la referencia de trabajos de Monitoring.

Python

Consulta el notebook de ejemplo a fin de ejecutar un trabajo de predicción por lotes con Supervisión de modelos para un modelo tabular personalizado.

Consola (Histograma)

Usa la consola de Google Cloud para ver los histogramas de distribución de atributos de cada atributo supervisado y descubrir qué cambios generaron un sesgo con el tiempo:

1. Ve a la página Predicciones por lotes.

   Ir a Predicciones por lotes

2. En la página Predicciones por lotes, haz clic en el trabajo de predicción por lotes que quieras analizar.

3. Haz clic en la pestaña Alertas de Model Monitoring para ver una lista de los atributos de entrada del modelo, junto con la información pertinente, como el límite de las alertas de cada atributo.

4. Para analizar un atributo, haz clic en su nombre. En una página, se muestran los histogramas de distribución de atributos para ese atributo.

   La visualización de la distribución de datos como histogramas te permite enfocarte con rapidez en los cambios que ocurrieron en los datos. Después, puedes decidir ajustar la canalización de generación de atributos o volver a entrenar el modelo.

   

Consola (archivo JSON)

Usa la consola de Google Cloud para acceder a las métricas en formato JSON:

1. Ve a la página Predicciones por lotes.

   Ir a Predicciones por lotes

2. Haz clic en el nombre del trabajo de supervisión de la predicción por lotes.

3. Haz clic en la pestaña Propiedades de Monitoring.

4. Haz clic en el vínculo Directorio de salida de Monitoring, que te dirige a un bucket de Cloud Storage.

5. Haz clic en la carpeta metrics/.

6. Haz clic en la carpeta skew/.

7. Haz clic en el archivo feature_skew.json, que te dirige a la página Detalles del objeto.

8. Abre el archivo JSON con una de las siguientes opciones:

• Haz clic en Descargar y abre el archivo en tu editor de texto local.

• Usa la ruta del archivo URI de gsutil para ejecutar gsutil cat GSUTIL_URI en tu Cloud Shell o tu terminal local.

El archivo feature_skew.json incluye un diccionario en el que la clave es el nombre del atributo y el valor es el sesgo del atributo. Por ejemplo:

{
  "cnt_ad_reward": 0.670936,
  "cnt_challenge_a_friend": 0.737924,
  "cnt_completed_5_levels": 0.549467,
  "month": 0.293332,
  "operating_system": 0.05758,
  "user_pseudo_id": 0.1
}

Python

Consulta el notebook de ejemplo para acceder a las métricas de sesgo de un modelo tabular personalizado después de ejecutar un trabajo de predicción por lotes con Model Monitoring.