Ottieni previsioni da un modello con addestramento personalizzato

Una previsione è l'output di un modello di machine learning addestrato. Questa pagina fornisce una panoramica del flusso di lavoro per ottenere previsioni dai tuoi modelli su Vertex AI.

Vertex AI offre due metodi per ottenere previsioni:

  • Le previsioni online sono richieste sincrone effettuate a un modello endpoint. Prima di inviare una richiesta, devi eseguire il deployment della risorsa model in un endpoint. In questo modo vengono associate le risorse di calcolo al modello, in modo che possa fornire previsioni online con bassa latenza. Utilizza le previsioni online quando effettui richieste in risposta all'input dell'applicazione o in situazioni che richiedono un'inferenza tempestiva.

  • Le previsioni batch sono richieste asincrone. Puoi richiedere una risorsa batchPredictionsJob direttamente dalla risorsa model senza dover eseguire il deployment del modello su un endpoint. Utilizza le previsioni batch quando non hai bisogno di una risposta immediata e vuoi elaborare i dati accumulati utilizzando un'unica richiesta.

Testa il modello in locale

Prima di ottenere previsioni, è utile eseguire il deployment del modello in un endpoint locale durante le fasi di sviluppo e test. In questo modo, puoi eseguire l'iterazione più rapidamente e testare il modello senza eseguirne il deployment su un endpoint online o senza incorrere in costi di previsione. Il deployment locale è pensato per lo sviluppo e i test locali, non per i deployment di produzione.

Per eseguire il deployment di un modello in locale, utilizza l'SDK Vertex AI per Python ed esegui il deployment di un elemento LocalModel in LocalEndpoint. Per una dimostrazione, consulta questo blocco note.

Anche se il tuo client non è scritto in Python, puoi comunque utilizzare l'SDK Vertex AI per Python per avviare il container e il server, in modo da testare le richieste del client.

Ottieni previsioni da modelli addestrati personalizzati

Per ottenere previsioni, devi prima importare il modello. Dopo l'importazione, diventa una risorsa model visibile in Vertex AI Model Registry.

Successivamente, leggi la seguente documentazione per scoprire come ottenere previsioni:

Passaggi successivi