데이터 세트에서 메타데이터 및 주석 내보내기

콘솔

1. Google Cloud 콘솔의 Vertex AI 섹션에서 데이터 세트 페이지로 이동합니다.

   데이터세트 페이지로 이동

2. 리전 드롭다운 목록에서 Dataset가 저장된 위치를 선택합니다.

3. Dataset 행을 찾습니다. 모든 주석 세트 또는 특정 주석 세트의 메타데이터와 주석을 내보낼 수 있습니다.

   • Dataset의 모든 주석 세트에 대한 메타데이터 및 주석을 내보내려면 더보기 more_vert를 클릭한 다음 데이터 세트 내보내기를 클릭합니다.

     그러면 Vertex AI에 각 주석 세트의 JSON Lines 파일 집합을 만들도록 지시합니다.

   • 특정 주석 세트의 메타데이터 및 주석을 내보내려면 다음을 수행합니다.

     1. 노드 확장 arrow_drop_down을 클릭하여 Dataset의 각 주석 세트에 대한 행을 표시합니다.

     2. 내보낼 주석 세트의 행에서 더보기 more_vert를 클릭한 다음 주석 세트 내보내기를 클릭합니다.

     그러면 Vertex AI에 지정한 주석 세트의 JSON Lines 파일 집합을 만들도록 지시합니다.

4. 데이터 내보내기 대화상자에서 Vertex AI에서 내보낸 JSON Lines 파일을 저장할 Cloud Storage 디렉터리를 입력합니다. 내보내기를 클릭합니다.

REST

Dataset ID 가져오기

Dataset를 내보내려면 Dataset의 숫자 ID를 알아야 합니다. Dataset의 표시 이름은 알지만 ID를 모르는 경우API를 사용해 ID를 가져오는 방법을 알아보려면 다음 섹션을 참조하세요.

GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

또는 Google Cloud 콘솔에서 Dataset의 ID를 가져올 수 있습니다. Vertex AI 데이터 세트 페이지로 이동하여 ID 열에서 이 값을 찾으세요.

데이터세트 페이지로 이동

하나 이상의 주석 세트 내보내기

요청 데이터를 사용하기 전에 다음을 바꿉니다.

• LOCATION: Dataset가 저장된 위치. 예를 들면 us-central1입니다.

• PROJECT_ID: 프로젝트 ID

• DATASET_ID: Dataset의 숫자 ID입니다.

• EXPORT_DIRECTORY: Vertex AI에서 내보낸 JSON Lines 파일을 저장할 디렉터리의 Cloud Storage URI(gs://로 시작)입니다. 액세스 권한이 있는 Cloud Storage 버킷에 있어야 하지만 디렉터리는 아직 존재하지 않아도 됩니다.

• FILTER: 내보낼 주석 세트를 결정하는 필터 문자열입니다.

  • 모든 Dataset의 주석 세트에 대한 메타데이터 및 주석을 내보내려면 FILTER를 빈 문자열로 바꾸거나 요청 본문의 annotationsFilter 필드를 생략합니다. 그러면 Vertex AI에 각 주석 세트의 JSON Lines 파일 집합을 만들도록 지시합니다.

  • 특정 주석 세트의 메타데이터 및 주석을 내보내려면 FILTER를 다음으로 바꿉니다.

    labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID
    

    이렇게 하면 Vertex AI에 숫자 ID ANNOTATION_SET_ID가 있는 주석 세트의 JSON Lines 파일 집합을 만들도록 지시할 수 있습니다.

    지정할 주석 세트의 숫자 ID를 찾으려면 Google Cloud 콘솔에서 주석 세트를 확인하고 URL에서 annotationSetId 다음에 있는 값을 찾습니다.

HTTP 메서드 및 URL:

POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

JSON 요청 본문:

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

요청을 보내려면 다음 옵션 중 하나를 선택합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

일부 요청은 완료하는 데 시간이 걸리는 장기 실행 작업을 시작합니다. 이러한 요청은 작업 상태를 보거나 작업을 취소하는 데 사용할 수 있는 작업 이름을 반환합니다. Vertex AI는 장기 실행 작업을 호출하는 도우미 메서드를 제공합니다. 자세한 내용은 장기 실행 작업 다루기를 참조하세요.