Analizzare le immagini con un modello di visione Gemini

Questo tutorial mostra come creare un modello remoto BigQuery ML basato sul modello Vertex AI gemini-1.0-pro-vision e utilizzarlo con le funzioni ML.GENERATE_TEXT per analizzare un set di immagini della locandina di film.

Questo tutorial riguarda le attività seguenti:

• Creazione di una tabella di oggetti BigQuery su dati di immagine in un bucket Cloud Storage.
• Creazione di un modello remoto BigQuery ML che abbia come target il modello gemini-1.0-pro-vision di Vertex AI (anteprima).
• Utilizzo del modello remoto con la funzione ML.GENERATE_TEXT per identificare i film associati a un insieme di locandine.

I dati relativi ai poster dei film sono disponibili nel bucket Cloud Storage pubblico gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters.

Ruoli obbligatori

• Per creare una connessione, devi disporre del ruolo Amministratore connessione BigQuery (roles/bigquery.connectionAdmin).

• Per concedere le autorizzazioni all'account di servizio della connessione, devi disporre del ruolo Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin).

• Per creare set di dati, modelli e tabelle, devi disporre del ruolo Editor dati BigQuery (roles/bigquery.dataEditor).

• Per eseguire i job BigQuery, devi disporre del ruolo Utente BigQuery (roles/bigquery.user).

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud possono essere idonei a una prova senza costi aggiuntivi.

Per ulteriori informazioni sui prezzi di BigQuery, consulta la pagina relativa ai prezzi di BigQuery nella documentazione di BigQuery.

Per ulteriori informazioni sui prezzi di Vertex AI generativa, consulta la pagina Prezzi di Vertex AI.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

3. Abilita le API BigQuery, BigQuery Connection, and Vertex AI.

   Abilita le API

crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina di BigQuery

2. Nel riquadro Explorer, fai clic sul nome del progetto.

3. Fai clic su more_vert Visualizza azioni > Crea set di dati.

   

4. Nella pagina Crea set di dati, segui questi passaggi:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici vengono archiviati in US più regioni. Per semplicità, memorizza il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

     

Crea una connessione

Crea una connessione alle risorse cloud e recupera l'account di servizio della connessione.

 ## This creates a Cloud Resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "tutorial"
    project = "PROJECT_ID"
    location = "us"
    cloud_resource {}
}        

Concedi le autorizzazioni all'account di servizio della connessione

Per concedere all'account di servizio la connessione ruoli appropriati per l'accesso ai servizi Cloud Storage e Vertex AI, segui questi passaggi:

1. Vai alla pagina IAM e amministrazione.

   Vai a IAM e amministrazione

2. Fai clic su person_add Concedi l'accesso.

3. Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.

4. Nel campo Seleziona un ruolo, scegli Vertex AI e poi seleziona Utente Vertex AI.

5. Fai clic su Aggiungi un altro ruolo.

6. Nel campo Seleziona un ruolo, scegli Cloud Storage e poi seleziona Visualizzatore oggetti Storage.

7. Fai clic su Salva.

Crea la tabella degli oggetti

Crea una tabella degli oggetti sopra le immagini poster del film nel bucket pubblico di Cloud Storage. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente per creare la tabella degli oggetti:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters`
     WITH CONNECTION `us.tutorial`
     OPTIONS (
       object_metadata = 'SIMPLE',
       uris =
         ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);
   

Crea il modello remoto

Crea un modello remoto che rappresenta un modello Vertex AI gemini-1.0-pro-vision:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor query, esegui la query seguente per creare il modello remoto:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini-pro-vision`
     REMOTE WITH CONNECTION `us.tutorial`
     OPTIONS (ENDPOINT = 'gemini-pro-vision');
   

   Il completamento della query richiede alcuni secondi, dopodiché il modello gemini-pro-vision viene visualizzato nel set di dati bqml_tutorial nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non ci sono risultati della query.

Analizzare le locandine dei film

Utilizza il modello remoto per analizzare le locandine dei film e determinare il film che ogni poster rappresenta, quindi scrivi questi dati in una tabella.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'Editor query, esegui la query seguente per analizzare le immagini della locandina del film:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results` AS (
     SELECT
       uri,
       ml_generate_text_llm_result
     FROM
       ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-pro-vision`,
         TABLE `bqml_tutorial.movie_posters`,
         STRUCT( 0.2 AS temperature,
           'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT,
           TRUE AS FLATTEN_JSON_OUTPUT)));
       

3. Nell'editor query, esegui la seguente istruzione per visualizzare i dati della tabella:

   SELECT * FROM `bqml_tutorial.movie_posters_results`;
   

   L'output è simile al seguente:

   +--------------------------------------------+----------------------------------+
   | uri                                        | ml_generate_text_llm_result      |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/little_annie_rooney.jpg            |  "title": "Little Annie Rooney", |
   |                                            |  "year": 1912                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/mighty_like_a_mouse.jpg            |  "title": "Mighty Like a Moose", |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | ```json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/brown_of_harvard.jpeg              |  "title": "Brown of Harvard",    |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            | ```                              |
   +--------------------------------------------+----------------------------------+
   

Formatta l'output del modello

Formatta i dati di analisi del film restituiti dal modello per rendere più leggibili i dati relativi al titolo e all'anno del film.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'Editor query, esegui la query seguente per formattare i dati:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results_formatted` AS (
     SELECT
       uri,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title,
       JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year
     FROM
       `bqml_tutorial.movie_posters_results` results );
   

3. Nell'editor query, esegui la seguente istruzione per visualizzare i dati della tabella:

   SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;
   

   L'output è simile al seguente:

   +--------------------------------------------+----------------------------+------+
   | uri                                        | title                      | year |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port"   | 1895 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/barque_sortant_du_port.jpeg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery"  | 1903 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/the_great_train_robbery.jpg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney"      | 1912 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/little_annie_rooney.jpg            |                            |      |
   +--------------------------------------------+----------------------------+------+
   

Esegui la pulizia

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.