Exportar metadados e anotações em um conjunto de dados

Console

1. No Console do Google Cloud, na seção da Vertex AI, acesse a página Conjuntos de dados.

   Acessar a página "Conjuntos de dados"

2. Na lista suspensa Região, selecione o local onde a Dataset é armazenada.

3. Encontre a linha do Dataset. É possível exportar metadados e anotações para todos os conjuntos de anotações ou para um conjunto específico:

   • Se você quiser exportar metadados e anotações para todos os conjuntos de anotações de Dataset, clique em Ver mais more_vert e e clique em Exportar conjunto de dados.

     Isso instrui a Vertex AI a criar um conjunto de arquivos JSON Lines para cada conjunto de anotações.

   • Se você quiser exportar metadados e anotações para um conjunto de anotações específico, faça o seguinte:

     1. Clique em Expandir nó arrow_drop_down para exibir linhas para cada um dos conjuntos de anotação de Dataset.

     2. Na linha do conjunto de anotações que você quer exportar, clique em Visualizar mais more_vert e, em seguida, em Exportar conjunto de anotações.

     Isso instrui a Vertex AI a criar um conjunto de arquivos de Linhas JSON para o conjunto de anotações especificado.

4. Na caixa de diálogo Exportar dados, insira um diretório do Cloud Storage em que a Vertex AI salvará os arquivos de linhas JSON exportados. Clique em Exportar.

REST

Ver o ID de Dataset

Para exportar um Dataset, você precisa saber o código numérico de Dataset. Se você sabe o nome de exibição do Dataset, mas não o código, expanda a seção a seguir para saber como conseguir o código usando a API:

GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

Como alternativa, é possível conseguir o ID de Dataset no Console do Google Cloud: acesse a página Conjuntos de dados da Vertex AI e encontre o número na coluna ID.

Acessar a página "Conjuntos de dados"

Exportar um ou mais conjuntos de anotações

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

• LOCATION: o local onde o Dataset é armazenado. Por exemplo, us-central1.

• PROJECT_ID: o ID do projeto.

• DATASET_ID: o ID numérico de Dataset.

• EXPORT_DIRECTORY: URI do Cloud Storage (que começa com gs://) de um diretório em que você quer que a Vertex AI salve os arquivos de linhas JSON exportados. Ele precisa estar em um bucket do Cloud Storage a que você tem acesso, mas o diretório ainda não precisa existir.

• FILTER: uma string de filtro que determina quais conjuntos de anotações são exportados.

  • Se quiser exportar metadados e anotações para todos os conjuntos de anotações de Dataset, substituir FILTER por uma string vazia ou omitir o campo annotationsFilter do corpo da solicitação totalmente. Isso instrui a Vertex AI a criar um conjunto de arquivos JSON Lines para cada conjunto de anotações.

  • Se você quiser exportar metadados e anotações para um conjunto de anotações específico, substitua FILTER pelo seguinte:

    labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID
    

    Isso faz com que a Vertex AI crie um conjunto de arquivos de linhas JSON para o conjunto de anotações com o ID numérico ANNOTATION_SET_ID.

    Para encontrar o ID numérico do conjunto de anotações que você quer especificar, veja o conjunto de anotações no Console do Google Cloud e procure o valor após annotationSetId no URL.

Método HTTP e URL:

POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

Corpo JSON da solicitação:

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

Algumas solicitações iniciam operações de longa duração que exigem tempo para serem concluídas. Essas solicitações retornam um nome de operação, que pode ser usado para ver o status da operação ou cancelá-la. A Vertex AI oferece métodos auxiliares para realizar chamadas em operações de longa duração. Para mais informações, consulte Como trabalhar com operações de longa duração.