Panoramica dell'AI generativa
Questo documento descrive le funzionalità di intelligenza artificiale generativa (AI) supportate da BigQuery ML. Queste funzionalità consentono di eseguire attività di IA in BigQuery ML utilizzando modelli di base di Vertex AI preaddestrati. Le attività supportate includono:
Puoi accedere a un modello Vertex AI per eseguire una di queste funzioni creando un modello remoto in BigQuery ML che rappresenti l'endpoint del modello Vertex AI. Dopo aver creato un modello remoto sul modello Vertex AI che vuoi utilizzare, puoi accedere alle funzionalità di quel modello eseguendo una funzione BigQuery ML sul modello remoto.
Questo approccio consente di utilizzare le funzionalità di questi modelli Vertex AI per analizzare i dati BigQuery tramite SQL.
Flusso di lavoro
Puoi utilizzare modelli remoti rispetto a modelli Vertex AI e modelli remoti su servizi Cloud AI insieme alle funzioni di BigQuery ML per svolgere attività complesse di analisi dei dati e IA generativa.
Il seguente diagramma mostra alcuni flussi di lavoro tipici in cui è possibile utilizzare queste funzionalità insieme:
AI generativa
Puoi utilizzare modelli linguistici di grandi dimensioni (LLM) per eseguire attività come la generazione e il riassunto di testi. Ad esempio, potresti riassumere un report lungo o analizzare il sentiment nei feedback dei clienti. Puoi usare i modelli di linguaggio visivo (VLM) per analizzare contenuti visivi come immagini e video per attività come le didascalie visive e le domande e risposte visive. Puoi usare modelli multimodali per svolgere le stesse attività degli LLM e dei VLM, oltre ad altre attività come la trascrizione di audio e l'analisi dei documenti.
Per eseguire attività di IA generativa, puoi creare un riferimento a un modello di base di Vertex AI preaddestrato, creando un modello remoto e specificando il nome del modello per il valore ENDPOINT
. Sono supportati i seguenti modelli
Vertex AI:
gemini-1.5-flash
(Anteprima)gemini-1.5-pro
(Anteprima)gemini-1.0-pro
gemini-1.0-pro-vision
(Anteprima)text-bison
text-bison-32k
text-unicorn
Quando crei un modello remoto che fa riferimento a qualsiasi versione di un modello text-bison
di Vertex AI, facoltativamente puoi scegliere di configurare contemporaneamente l'ottimizzazione supervisionata (Anteprima).
Dopo aver creato il modello, puoi utilizzare la funzione ML.GENERATE_TEXT
per interagire con il modello:
- Per i modelli remoti basati sui modelli
gemini-1.0-pro
,text-bison
,text-bison-32k
otext-unicorn
, puoi utilizzare la funzioneML.GENERATE_TEXT
con un prompt fornito in una query o da una colonna di una tabella standard. - Per i modelli remoti basati sul modello
gemini-1.0-pro-vision
, puoi utilizzare la funzioneML.GENERATE_TEXT
per analizzare i contenuti di immagini o video da una tabella degli oggetti con un prompt fornito come argomento della funzione. - Per i modelli remoti basati sui modelli
gemini-1.5-flash
ogemini-1.5-pro
, puoi utilizzare la funzioneML.GENERATE_TEXT
per analizzare contenuti di testo, immagini, audio, video o PDF di una tabella di oggetti con un prompt fornito come argomento di funzione oppure puoi generare testo da un prompt fornito in una query o da una colonna in una tabella standard.
Puoi utilizzare il grounding e gli attributi di sicurezza quando utilizzi i modelli Gemini con la funzione ML.GENERATE_TEXT
, a condizione di utilizzare una tabella standard per l'input. Il grounding consente al modello Gemini di utilizzare informazioni aggiuntive provenienti da internet per generare risposte più specifiche e oggettive. Gli attributi di sicurezza consentono al modello Gemini di filtrare le risposte che restituisce in base agli attributi da te specificati.
Tutte le inferenze si verificano in Vertex AI. I risultati vengono archiviati in BigQuery.
Per scoprire di più, prova a generare testo con la funzione ML.GENERATE_TEXT
.
Incorporamento
Puoi utilizzare l'incorporamento per identificare elementi semanticamente simili. Ad esempio, puoi utilizzare l'incorporamento del testo per identificare il grado di somiglianza tra due parti di testo. Se le parti di testo sono semanticamente simili, i rispettivi incorporamenti si trovano uno accanto all'altro nello spazio vettoriale di incorporamento.
Puoi utilizzare i modelli BigQuery ML per creare i seguenti tipi di incorporamenti:
- Per creare incorporamenti di testo, puoi creare un riferimento a uno dei modelli di base di incorporamento del testo
textembedding-gecko
otextembedding-gecko-multilingual
di Vertex AI creando un modello remoto e specificando il nome LLM per il valoreENDPOINT
. - Per creare incorporamenti multimodali che possono incorporare testo, immagini e video nello
stesso spazio semantico, puoi creare un riferimento all'LLM di Vertex AI
multimodalembedding
creando un modello remoto e specificando il nome LLM per il valoreENDPOINT
. Questa funzionalità è in anteprima. - Per creare incorporamenti per dati strutturati per variabili casuali (IID) indipendenti e distribuite in modo identico, puoi utilizzare un modello di analisi delle componenti principali (PCA) o un modello di Autoencoder. Questa funzionalità è in anteprima.
- Per creare incorporamenti per dati utente o degli articoli, puoi utilizzare un modello di fattorizzazione matriciale. Questa funzionalità è in anteprima.
Dopo aver creato il modello, puoi utilizzare la funzione ML.GENERATE_EMBEDDING
per interagirci. Per tutti i tipi di modelli supportati, ML.GENERATE_EMBEDDING
funziona con i dati nelle tabelle standard. Per i modelli di incorporamento multimodale, ML.GENERATE_EMBEDDING
funziona anche con contenuti visivi nelle tabelle degli oggetti. Per i modelli remoti, tutte le inferenze avvengono in Vertex AI. Per gli altri tipi di modelli,
tutte l'inferenza avviene in BigQuery. I risultati vengono archiviati
in BigQuery.
Per scoprire di più, prova a creare incorporamenti di testo e incorporamenti di immagini con la funzione ML.GENERATE_EMBEDDING
.
Per un incorporamento di testo più piccolo e leggero, prova a utilizzare un modello TensorFlow preaddestrato, ad esempio NNLM, SWIVEL o BERT.
Per informazioni su come scegliere il modello migliore per il caso d'uso di incorporamento, consulta Scegliere un modello di incorporamento del testo.
Passaggi successivi
- Per ulteriori informazioni sull'esecuzione dell'inferenza sui modelli di machine learning, consulta Panoramica dell'inferenza dei modelli.