Log di previsione online

Per i modelli tabulari AutoML, i modelli di immagini AutoML e i modelli addestrati personalizzati, puoi abilitare o disabilitare i log di previsione durante il deployment dei modelli o la creazione degli endpoint. In questa pagina vengono descritti i diversi tipi di log di previsione disponibili e viene spiegato come abilitare o disabilitare questi log.

Tipi di log di previsione

Esistono diversi tipi di log di previsione che puoi utilizzare per ottenere informazioni dai nodi di previsione:

• Logging del container, che registra i flussi stdout e stderr dai nodi di previsione a Cloud Logging. Questi log sono necessari per il debug.

  • Sull'endpoint di servizio v1, il logging dei container è abilitato per impostazione predefinita. Puoi disabilitarlo quando esegui il deployment di un modello. Puoi anche disabilitare o abilitare il logging quando mutate il modello di cui è stato eseguito il deployment.

  • Sull'endpoint di servizio v1beta1, il logging dei container è disabilitato per impostazione predefinita. Puoi abilitarlo quando esegui il deployment di un modello. Puoi anche disabilitare o abilitare il logging quando mutate il modello di cui è stato eseguito il deployment.

• Logging degli accessi, che registra informazioni come timestamp e latenza per ogni richiesta a Cloud Logging.

  Su entrambi gli endpoint di servizio v1 e v1beta1, il logging degli accessi è disabilitato per impostazione predefinita. Puoi abilitare il logging degli accessi quando esegui il deployment di un modello su un endpoint.

• Logging di richiesta-risposta, che registra un campione di richieste di previsione e risposte online a una tabella BigQuery.

  Puoi abilitare il logging della richiesta-risposta creando o applicando patch all'endpoint di previsione.

Puoi abilitare o disabilitare ciascun tipo di log in modo indipendente.

Impostazioni log di previsione

Puoi abilitare o disabilitare i log di previsione online quando crei un endpoint, esegui il deployment di un modello nell'endpoint o modifichi un modello di cui è stato eseguito il deployment.

Per aggiornare le impostazioni dei log di accesso, devi annullare il deployment del modello, quindi eseguirlo nuovamente con le nuove impostazioni. Puoi aggiornare le impostazioni dei log dei container senza eseguire nuovamente il deployment del modello.

La previsione online a un'elevata frequenza di query al secondo (QPS) può produrre un numero significativo di log, soggetti ai prezzi di Cloud Logging. Per stimare i prezzi dei log di previsione online, consulta Stima delle fatture per il logging. Per ridurre questi costi, puoi disabilitare il logging di previsione.

Abilita e disabilita i log di previsione

I seguenti esempi illustrano dove modificare le impostazioni predefinite del log:

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

{
   "predict_request_response_logging_config": {
     "enabled": true,
     "sampling_rate": 0.5,
     "bigquery_destination": {
       "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
     }
}

Logging richiesta-risposta e monitoraggio del modello

Il logging richiesta-risposta e il monitoraggio dei modelli utilizzano la stessa tabella BigQuery sul backend per registrare le richieste in entrata. Per evitare modifiche impreviste a questa tabella BigQuery, vengono applicate le seguenti limitazioni quando si utilizzano entrambe le funzionalità contemporaneamente:

• Se per un endpoint è abilitato il monitoraggio dei modelli, non puoi abilitare il logging richiesta-risposta per lo stesso endpoint.

• Se abiliti il logging richiesta-risposta e poi il monitoraggio dei modelli sullo stesso endpoint, non potrai modificare la configurazione del logging richiesta-risposta.

Passaggi successivi

• Stima i prezzi per il logging delle previsioni online.
• Esegui il deployment di un modello utilizzando la console Google Cloud o utilizzando l'API Vertex AI.
• Scopri come creare una tabella BigQuery.