Journalisation des prédictions en ligne

Pour les modèles tabulaires AutoML, les modèles d'image AutoML et les modèles personnalisés, vous pouvez activer ou désactiver les journaux de prédiction lors du déploiement du modèle ou de la création de points de terminaison. Cette page décrit les différents types de journaux de prédiction disponibles, et explique comment les activer ou les désactiver.

Types de journaux de prédiction

Vous pouvez utiliser plusieurs types de journaux de prédiction pour obtenir des informations auprès de vos nœuds de prédiction :

• La journalisation des conteneurs, qui consigne dans Cloud Logging les flux stdout et stderr provenant des nœuds de prédiction. Ces journaux sont nécessaires au débogage.

  • La journalisation des conteneurs est activée par défaut sur le point de terminaison de service v1. Vous pouvez la désactiver lorsque vous déployez un modèle. Vous pouvez également désactiver ou activer la journalisation lorsque vous effectuez une mutation du modèle déployé.

  • La journalisation des conteneurs est désactivée par défaut sur le point de terminaison de service v1beta1. Vous pouvez l'activer lorsque vous déployez un modèle. Vous pouvez également désactiver ou activer la journalisation lorsque vous effectuez une mutation du modèle déployé.

• La journalisation des accès, qui consigne dans Cloud Logging des informations telles que l'horodatage et la latence associés à chaque requête.

  La journalisation des accès est désactivée par défaut sur les points de terminaison de service v1 et v1beta1. Vous pouvez activer la journalisation des accès lorsque vous déployez un modèle sur un point de terminaison.

• La journalisation des requêtes et réponses, qui consigne un échantillon de requêtes de prédiction en ligne et de réponses dans une table BigQuery.

  Vous pouvez activer la journalisation des requêtes et réponses en créant ou en appliquant un correctif au point de terminaison de la prédiction.

Vous pouvez activer ou désactiver chaque type de journal indépendamment.

Paramètres du journal de prédiction

Vous pouvez activer ou désactiver les journaux de prédiction en ligne lorsque vous créez un point de terminaison, déployez un modèle sur le point de terminaison ou modifiez un modèle déployé.

Pour mettre à jour les paramètres des journaux d'accès, vous devez annuler le déploiement de votre modèle, puis le redéployer avec vos nouveaux paramètres. Vous pouvez mettre à jour les paramètres des journaux de conteneurs sans redéployer votre modèle.

La prédiction en ligne à un taux élevé de requêtes par seconde peut produire un nombre important de journaux, qui sont soumis aux règles de tarification de Cloud Logging. Pour estimer le prix des journaux de prédiction en ligne, consultez la page Estimer vos factures. Pour réduire les coûts, vous pouvez désactiver la journalisation des prédictions.

Activer et désactiver les journaux de prédiction

Les exemples suivants mettent en évidence l'emplacement de modification des paramètres de journalisation par défaut :

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

{
   "predict_request_response_logging_config": {
     "enabled": true,
     "sampling_rate": 0.5,
     "bigquery_destination": {
       "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
     }
}

Journalisation des requêtes et réponses et surveillance des modèles

La journalisation des requêtes et réponses et la surveillance des modèles utilisent la même table BigQuery sur le backend pour consigner les requêtes entrantes. Pour éviter toute modification inattendue de cette table BigQuery, les limitations suivantes s'appliquent lorsque vous utilisez les deux fonctionnalités en même temps :

• Si la surveillance de modèles est activée sur un point de terminaison, vous ne pouvez pas activer la journalisation des requêtes et réponses pour le même point de terminaison.

• Si vous activez la journalisation des requêtes et réponses, puis que la surveillance des modèles fonctionne sur le même point de terminaison, vous ne pouvez pas modifier la configuration de journalisation des requêtes et réponses.

Étape suivante

• Estimer les tarifs pour la journalisation des prédictions en ligne
• Déployez un modèle à l'aide de la console Google Cloud ou de l'API Vertex AI.
• Découvrez comment créer une table BigQuery.