Mengekspor metadata dan anotasi dari set data

Konsol

1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Set Data.

   Buka halaman Set Data

2. Di menu drop-down Region, pilih lokasi tempat Dataset disimpan.

3. Cari baris Dataset. Anda dapat mengekspor metadata dan anotasi untuk semua kumpulan anotasi atau untuk kumpulan anotasi tertentu:

   • Jika Anda ingin mengekspor metadata dan anotasi untuk semua kumpulan anotasi Dataset, klik Tampilkan lainnya more_vert, lalu klik Ekspor set data.

     Tindakan ini akan memerintahkan Vertex AI untuk membuat sekumpulan file JSON Lines untuk setiap kumpulan anotasi.

   • Jika Anda ingin mengekspor metadata dan anotasi untuk kumpulan anotasi tertentu, lakukan hal berikut:

     1. Klik Luaskan node arrow_drop_down guna menampilkan baris untuk setiap kumpulan anotasi Dataset.

     2. Di baris kumpulan anotasi yang ingin Anda ekspor, klik Tampilkan lainnya more_vert, lalu klik Ekspor kumpulan anotasi.

     Tindakan ini akan memerintahkan Vertex AI untuk membuat sekumpulan file JSON Lines untuk kumpulan anotasi yang Anda tentukan.

4. Dalam dialog Ekspor data, masukkan direktori Cloud Storage tempat Anda ingin Vertex AI menyimpan file JSON Lines yang telah diekspor. Klik Ekspor.

REST

Dapatkan ID Dataset

Untuk mengekspor Dataset, Anda harus mengetahui ID numerik Dataset. Jika Anda mengetahui nama tampilan Dataset tetapi tidak mengetahui ID-nya, perluas bagian berikut untuk mempelajari cara mendapatkan ID menggunakan API:

GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

Bisa juga dengan mendapatkanDataset ID dari Konsol Google Cloud: Buka halaman Set data Vertex AI lalu cari angkanya di kolom ID.

Buka halaman Set Data

Mengekspor satu atau beberapa kumpulan anotasi

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• LOCATION: Lokasi tempat Dataset disimpan. Misalnya, us-central1.

• PROJECT_ID: Project ID Anda.

• DATASET_ID: ID numerik Dataset.

• EXPORT_DIRECTORY: Cloud Storage URI (dimulai dengan gs://) dari direktori tempat Anda ingin Vertex AI menyimpan file JSON Lines yang telah diekspor. Folder ini harus berada di bucket Cloud Storage yang dapat Anda akses, tetapi direktorinya belum perlu ada.

• FILTER: String filter yang menentukan kumpulan anotasi yang akan diekspor.

  • Jika Anda ingin mengekspor metadata dan anotasi untuk semua kumpulan anotasi Dataset, ganti FILTER dengan suatu string kosong (atau hilangkan semua annotationsFilter dari isi permintaan). Tindakan ini akan memerintahkan Vertex AI untuk membuat sekumpulan file JSON Lines untuk setiap kumpulan anotasi.

  • Jika Anda ingin mengekspor metadata dan anotasi untuk kumpulan anotasi tertentu,, ganti FILTER dengan elemen berikut ini:

    labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID
    

    Tindakan ini akan memerintahkan Vertex AI untuk membuat sekumpulan file JSON Lines untuk kumpulan anotasi dengan ID numerik ANNOTATION_SET_ID.

    Untuk mencari ID numerik dari kumpulan anotasi yang ingin Anda tentukan, lihat anotasi yang disetel di Konsol Google Cloud lalu cari nilai setelah annotationSetId di URL.

Metode HTTP dan URL:

POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

Isi JSON permintaan:

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

Anda akan melihat respons JSON seperti berikut:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

Beberapa permintaan memulai operasi yang berjalan lama, yang memerlukan waktu beberapa saat untuk selesai. Permintaan ini menampilkan nama operasi, yang dapat Anda gunakan untuk melihat status operasi atau membatalkan operasi. Vertex AI menyediakan metode helper untuk melakukan panggilan terhadap operasi yang berjalan lama. Untuk mengetahui informasi selengkapnya, lihat Menangani operasi yang berjalan lama.