Metadaten und Annotationen aus einem Dataset exportieren

Console

1. Rufen Sie in der Google Cloud Console im Abschnitt "Vertex AI" die Seite Datasets auf.

   Zur Seite „Datasets“

2. Wählen Sie in der Drop-down-Liste Region den Ort aus, an dem der Dataset gespeichert ist.

3. Suchen Sie die Zeile des Dataset. Sie können Metadaten und Annotationen für alle Annotationssätze oder für einen bestimmten Annotationssatz exportieren:

   • Wenn Sie Metadaten und Annotationen für alle Annotationssätze von Dataset exportieren möchten, klicken Sie auf Mehr ansehen more_vert und anschließend auf Dataset exportieren.

     Damit wird Vertex AI angewiesen, für jeden Annotationssatz eine Reihe von JSON-Lines-Dateien zu erstellen.

   • Wenn Sie Metadaten und Annotationen für einen bestimmten Annotationssatz exportieren möchten, gehen Sie so vor:

     1. Klicken Sie auf Knoten erweitern arrow_drop_down, um Zeilen für jeden Annotationssatz des Dataset anzuzeigen.

     2. Klicken Sie in der Zeile mit dem Annotationssatz, den Sie exportieren möchten, auf Mehr anzeigenmore_vert und anschließend auf Annotationssatz exportieren.

     Damit wird Vertex AI angewiesen, eine Reihe von JSON Lines-Dateien für den von Ihnen angegebenen Annotationssatz zu erstellen.

4. Geben Sie im Dialogfeld Daten exportieren ein Cloud Storage-Verzeichnis ein, in dem Vertex AI die exportierten JSON Lines-Dateien speichern soll. Klicken Sie auf Exportieren

REST

ID des Datasets abrufen

Um Dataset zu exportieren, benötigen Sie die numerische ID von Dataset. Wenn Sie den Anzeigenamen von Dataset, aber nicht die ID kennen, erweitern Sie den folgenden Abschnitt, um zu erfahren, wie Sie die ID mit der API abrufen:

GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

Alternativ können Sie die ID des Dataset aus der Google Cloud Console abrufen: Rufen Sie die Vertex AI-Seite Datasets auf und suchen Sie die Nummer in der Spalte ID.

Zur Seite „Datasets“

Einen oder mehrere Anmerkungssätze exportieren

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

• LOCATION: Der Standort, an dem das Dataset gespeichert ist. Beispiel: us-central1

• PROJECT_ID: Ihre Projekt-ID.

• DATASET_ID: Die Numerische ID von Dataset.

• EXPORT_DIRECTORY: Cloud Storage-URI (beginnend mit gs://) eines Verzeichnisses, in dem Vertex AI die exportierten JSON Lines-Dateien speichern soll. Dieses muss sich in einem Cloud Storage-Bucket befinden, auf den Sie Zugriff haben. Das Verzeichnis muss aber noch nicht vorhanden sein.

• FILTER: Ein Filterstring, mit dem festgelegt wird, welche Annotationssätze exportiert werden.

  • Wenn Sie Metadaten und Anmerkungen für alle Annotationssätze des Datasets exportieren möchten, ersetzen Sie FILTER durch einen leeren String (oder lassen Sie das Feld annotationsFilter im Anfragetext ganz weg). Damit wird Vertex AI angewiesen, für jeden Annotationssatz eine Reihe von JSON-Lines-Dateien zu erstellen.

  • Wenn Sie Metadaten und Anmerkungen für einen bestimmten Annotationssatz exportieren möchten, ersetzen Sie FILTER durch Folgendes:

    labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID
    

    Damit wird Vertex AI angewiesen, eine Reihe von JSON Lines-Dateien für den Annotationssatz mit der numerischen ID ANNOTATION_SET_ID zu erstellen.

    Um die numerische ID des Annotationssatzes zu ermitteln, den Sie angeben möchten, sehen Sie sich den Annotationssatz in der Google Cloud Console an und suchen Sie nach dem Wert nach annotationSetId in der URL.

HTTP-Methode und URL:

POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

JSON-Text der Anfrage:

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

Einige Anfragen starten lang andauernde Vorgänge, die viel Zeit in Anspruch nehmen. Diese Anfragen geben einen Vorgangsnamen zurück, mit dem Sie den Status des Vorgangs aufrufen oder den Vorgang abbrechen können. Vertex AI stellt Hilfsmethoden bereit, um Aufrufe für Vorgänge mit langer Laufzeit auszuführen. Weitere Informationen finden Sie unter Mit lang andauernden Vorgängen arbeiten.