Annoter des images avec la fonction ML.ANNOTATE_IMAGE

Ce document décrit comment utiliser la fonction ML.ANNOTATE_IMAGE avec un modèle distant pour annoter des images dans une table d'objet.

Autorisations requises

• Pour créer une connexion, vous devez être inscrit au rôle suivant :

  • roles/bigquery.connectionAdmin

• Pour accorder des autorisations au compte de service de la connexion, vous devez disposer de l'autorisation suivante :

  • resourcemanager.projects.setIamPolicy

• Pour créer le modèle à l'aide de BigQuery ML, vous devez disposer des autorisations suivantes :

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Pour exécuter une inférence, vous devez disposer des autorisations suivantes :

  • bigquery.tables.getData sur la table d'objets
  • bigquery.models.getData sur le modèle
  • bigquery.jobs.create

Avant de commencer

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Accéder au sélecteur de projet

3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

4. Activer les API BigQuery, BigQuery Connection API, and Cloud Vision API.

   Activer les API

5. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Accéder au sélecteur de projet

6. Vérifiez que la facturation est activée pour votre projet Google Cloud.

7. Activer les API BigQuery, BigQuery Connection API, and Cloud Vision API.

   Activer les API

Créer une connexion

Créez une connexion de ressource cloud et obtenez le compte de service de la connexion.

Sélectionnez l'une des options suivantes :

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Accorder l'accès au compte de service

Sélectionnez l'une des options suivantes :

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/serviceusage.serviceUsageConsumer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/bigquery.connectionUser' --condition=None

Remplacez les éléments suivants :

• PROJECT_NUMBER : votre numéro de projet.
• MEMBER : ID du compte de service que vous avez copié précédemment

L'échec de l'attribution de l'autorisation génère une erreur.

Créer un modèle

Créez un modèle distant avec une valeur REMOTE_SERVICE_TYPE de CLOUD_AI_VISION_V1 :

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION PROJECT_ID.REGION.CONNECTION_ID
OPTIONS (REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1');

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet.
• DATASET_ID : ID de l'ensemble de données pour contenir le modèle. Cet ensemble de données doit se trouver dans le même emplacement que la connexion que vous utilisez.
• MODEL_NAME : nom du modèle
• REGION : région utilisée par la connexion.
• CONNECTION_ID : ID de connexion, par exemple myconnection

  Lorsque vous affichez les détails de la connexion dans la console Google Cloud, il s'agit de la valeur de la dernière section de l'ID de connexion complet affiché dans ID de connexion (par exemple, projects/myproject/locations/connection_location/connections/myconnection).

Annoter des images

Annotez des images avec la fonction ML.ANNOTATE_IMAGE :

SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME,
  STRUCT(['FEATURE_NAME' [,...]] AS vision_features)
);

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet.
• DATASET_ID : ID de l'ensemble de données contenant le modèle.
• MODEL_NAME : nom du modèle
• OBJECT_TABLE_NAME : nom de la table d'objets contenant les URI des images à annoter
• FEATURE_NAME : nom d'une fonctionnalité de l'API Cloud Vision compatible

Exemple 1

L'exemple suivant ajoute un libellé aux éléments affichés dans les images :

SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `myproject.mydataset.myvisionmodel`,
  TABLE myproject.mydataset.image_table,
  STRUCT(['label_detection'] AS vision_features)
);

Exemple 2

L'exemple suivant détecte tous les visages affichés sur les images et renvoie également des attributs d'image, tels que les couleurs dominantes :

SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `myproject.mydataset.myvisionmodel`,
  TABLE myproject.mydataset.image_table,
  STRUCT(['face_detection', 'image_properties'] AS vision_features)
);

Étapes suivantes

• Obtenez des instructions détaillées pour annoter des images à l'aide de la fonction ML.ANNOTATE_IMAGE.
• Pour en savoir plus sur l'inférence de modèle, y compris sur les autres fonctions permettant d'analyser les données BigQuery, consultez la page Présentation de l'inférence de modèle.
• Pour en savoir plus sur les instructions et les fonctions SQL compatibles avec chaque type de modèle, consultez la section Parcours utilisateur de bout en bout pour chaque modèle.
• Essayez le notebook Analyses de données non structurées avec des modèles pré-entraînés BigQuery ML et Vertex AI.