Log di previsione online

Per i modelli tabulari AutoML, i modelli di immagine AutoML e i modelli addestrati personalizzati, puoi abilitare o disabilitare i log di previsione durante il deployment dei modelli o la creazione di endpoint. In questa pagina vengono illustrati i diversi tipi di log di previsione disponibili e viene spiegato come abilitare o disabilitare questi log.

Tipi di log di previsione

Esistono diversi tipi di log di previsione che puoi utilizzare per ottenere informazioni dai nodi di previsione:

• Logging dei container, che registra i flussi stdout e stderr dai nodi di previsione a Cloud Logging. Questi log sono necessari per il debug.

  • Sull'endpoint di servizio v1, il logging dei container è abilitato per impostazione predefinita. Puoi disabilitarlo quando esegui il deployment di un modello. Puoi anche disabilitare o abilitare il logging quando mutate il modello di cui è stato eseguito il deployment.

  • Sull'endpoint di servizio v1beta1, il logging dei container è disabilitato per impostazione predefinita. Puoi abilitarlo quando esegui il deployment di un modello. Puoi anche disabilitare o abilitare il logging quando mutate il modello di cui è stato eseguito il deployment.

• Logging degli accessi, che registra informazioni come timestamp e latenza per ogni richiesta inviata a Cloud Logging.

  Su entrambi gli endpoint di servizio v1 e v1beta1, il logging degli accessi è disabilitato per impostazione predefinita. Puoi abilitare il logging degli accessi quando esegui il deployment di un modello in un endpoint.

• Logging di richieste e risposte, che registra un campione di richieste di previsione online e risposte a una tabella BigQuery.

  Puoi abilitare il logging delle richieste e delle risposte creando o applicando la patch all'endpoint di previsione.

Puoi abilitare o disabilitare ogni tipo di log in modo indipendente.

Impostazioni del log di previsione

Puoi abilitare o disabilitare i log di previsione online quando crei un endpoint, esegui il deployment di un modello nell'endpoint o modifichi un modello di cui è stato eseguito il deployment.

Per aggiornare le impostazioni dei log degli accessi, devi annullare il deployment del modello ed eseguire nuovamente il deployment del modello con le nuove impostazioni. Puoi aggiornare le impostazioni dei log dei container senza eseguire nuovamente il deployment del modello.

La previsione online con un'elevata frequenza di query al secondo (QPS) può produrre un numero considerevole di log, soggetti ai prezzi di Cloud Logging. Per stimare i prezzi per i log di previsione online, consulta Stima delle fatture per il logging. Per ridurre questi costi, puoi disabilitare il logging di previsione.

Abilita e disabilita i log di previsione

I seguenti esempi evidenziano dove modificare le impostazioni predefinite del log:

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

{
   "predict_request_response_logging_config": {
     "enabled": true,
     "sampling_rate": 0.5,
     "bigquery_destination": {
       "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
     }
}

Logging richiesta-risposta e monitoraggio dei modelli

Il logging delle richieste e le risposte e il monitoraggio dei modelli utilizzano la stessa tabella BigQuery nel backend per registrare le richieste in entrata. Per evitare modifiche impreviste a questa tabella BigQuery, vengono applicate le seguenti limitazioni quando si utilizzano entrambe le funzionalità contemporaneamente:

• Se per un endpoint è abilitato il monitoraggio dei modelli, non puoi abilitare il logging richiesta-risposta per lo stesso endpoint.

• Se abiliti il logging richiesta-risposta e poi il monitoraggio dei modelli sullo stesso endpoint, non potrai modificare la configurazione del logging richiesta-risposta.

Passaggi successivi

• Stima i prezzi per il logging delle previsioni online.
• Esegui il deployment di un modello utilizzando la console Google Cloud o l'API Vertex AI.
• Scopri come creare una tabella BigQuery.