Exporter des métadonnées et des annotations à partir d'un ensemble de données

Console

1. Dans Google Cloud Console, dans la section Vertex AI, accédez à la page Ensembles de données.

   Accéder à la page Ensembles de données

2. Dans la liste déroulante Région, sélectionnez l'emplacement où le Dataset est stocké.

3. Recherchez la ligne du Dataset. Vous pouvez exporter les métadonnées et les annotations pour tous les ensembles d'annotations ou pour un ensemble d'annotations spécifique :

   • Si vous souhaitez exporter les métadonnées et les annotations de tous les ensembles d'annotations du Dataset, cliquez sur Afficher plus more_vert puis cliquez sur Exporter l'ensemble de données.

     Cela indique à Vertex AI de créer un ensemble de fichiers JSON Lines pour chaque ensemble d'annotations.

   • Si vous souhaitez exporter des métadonnées et des annotations pour un ensemble d'annotations spécifique, procédez comme suit :

     1. Cliquez sur Développer le nœud arrow_drop_down pour afficher les lignes de chacun des ensembles d'annotations du Dataset.

     2. Sur la ligne de l'ensemble d'annotations que vous souhaitez exporter, cliquez sur Afficher plus more_vert puis sur Exporter l'ensemble d'annotations.

     Cela indique à Vertex AI de créer un ensemble de fichiers JSON Lines pour l'ensemble d'annotations que vous avez spécifié.

4. Dans la boîte de dialogue Exporter des données, saisissez un répertoire Cloud Storage dans lequel vous souhaitez que Vertex AI enregistre les fichiers JSON Lines exportés. Cliquez sur Exporter.

REST

Obtenir l'ID d'un Dataset

Pour exporter un Dataset, vous devez connaître l'ID numérique de ce Dataset. Si vous connaissez le nom à afficher du Dataset mais pas son ID, développez la section suivante pour savoir comment obtenir l'ID en utilisant l'API :

GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

Vous pouvez également obtenir l'ID du Dataset à partir de la console Google Cloud. Pour ce faire, accédez à la page Ensembles de données de Vertex AI et recherchez le numéro dans la colonne ID.

Accéder à la page Ensembles de données

Exporter un ou plusieurs ensembles d'annotations

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

• LOCATION : emplacement de stockage de Dataset. Exemple :us-central1

• PROJECT_ID : l'ID de votre projet.

• DATASET_ID : ID numérique du Dataset.

• EXPORT_DIRECTORY : URI Cloud Storage (commençant par gs://) du répertoire dans lequel vous souhaitez que l'IA Vertex enregistre les fichiers JSON Lines exportés. Il doit se trouver dans un bucket Cloud Storage auquel vous avez accès, mais le répertoire n'a pas besoin d'exister.

• FILTER : chaîne de filtre qui détermine les ensembles d'annotations à exporter.

  • Si vous souhaitez exporter les métadonnées et les annotations pour tous les ensembles d'annotations du Dataset, remplacez FILTER par une chaîne vide (ou omettre le champ annotationsFilter du corps de la requête). Cela indique à Vertex AI de créer un ensemble de fichiers JSON Lines pour chaque ensemble d'annotations.

  • Si vous souhaitez exporter des métadonnées et des annotations pour un ensemble d'annotations spécifique, remplacez FILTER par l'élément suivant :

    labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID
    

    Cela indique à Vertex AI de créer un ensemble de fichiers JSON Lines pour l'ensemble d'annotations avec l'ID numérique ANNOTATION_SET_ID.

    Pour trouver l'ID numérique de l'ensemble d'annotations que vous souhaitez spécifier, affichez l'ensemble d'annotations dans la console Google Cloud et recherchez la valeur qui suit annotationSetId dans l'URL.

Méthode HTTP et URL :

POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

Corps JSON de la requête :

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

Certaines requêtes démarrent des opérations de longue durée qui nécessitent du temps. Ces requêtes renvoient un nom d'opération, que vous pouvez utiliser pour afficher l'état de l'opération ou pour annuler l'opération. Vertex AI propose des méthodes d'assistance pour appeler les opérations de longue durée. Pour en savoir plus, consultez la section Travailler avec des opérations de longue durée.