Vertex AI te permite crear versiones para un conjunto de datos. Esta funcionalidad puede ser útil para la reproducibilidad, la trazabilidad y la administración del linaje de conjuntos de datos.
Puedes crear versiones para los conjuntos de datos de imagen y texto. Cuando creas una versión del conjunto de datos, Vertex AI crea un conjunto de datos de BigQuery si no existe uno. El conjunto de datos de BigQuery almacena todas las versiones para el conjunto de datos de Vertex AI asociado.
Cuando restableces una versión, anulas el conjunto de datos asociado. El conjunto de datos no estará disponible temporalmente para otras solicitudes hasta que finalice la operación de restablecimiento.
Crea una versión de conjunto de datos
Puedes usar la API de Vertex AI para crear una versión del conjunto de datos. Sigue los pasos en la pestaña correspondiente:
REST
Obtén el ID del conjunto de datos
Para crear una versión, debes conocer el ID numérico del conjunto de datos. Si conoces el nombre visible del conjunto de datos, pero no su ID, expande la siguiente sección para saber cómo obtener el ID con la API:
Obtén el ID de Dataset a partir de su nombre visible
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
LOCATION: Es la ubicación en la que se almacena
Dataset. Por ejemplo,us-central1.PROJECT_ID: El ID del proyecto.
DATASET_DISPLAY_NAME: es el nombre visible del
Dataset.
Método HTTP y URL:
GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
"http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content
La siguiente respuesta de ejemplo se truncó con ... para destacar dónde puedes encontrar el ID de tu Dataset: es el número que toma el lugar de DATASET_ID.
{
"datasets": [
{
"name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
"displayName": "DATASET_DISPLAY_NAME",
...
}
]
}
Como alternativa, puedes obtener el ID del conjunto de datos desde la consola de Google Cloud: Ve a la página Conjuntos de datos de Vertex AI y encuentra el número en la columna ID.
Ir a la página Conjuntos de datos
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
LOCATION: La región en la que se almacena la versión del conjunto de datos. Por ejemplo,
us-central.PROJECT_ID: El ID del proyecto.
DATASET_ID: El ID numérico del conjunto de datos.
Método HTTP y URL:
POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d "" \
"http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions"
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{
"name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetVersionOperationMetadata",
"genericMetadata": {
"createTime": "2021-02-17T00:54:58.827429Z",
"updateTime": "2021-02-17T00:54:58.827429Z"
},
}
}
Algunas solicitudes inician operaciones de larga duración que requieren tiempo para completarse. Estas solicitudes devuelven un nombre de operación que puedes usar para ver el estado de la operación o cancelarla. Vertex AI proporciona métodos auxiliares para hacer llamadas en operaciones de larga duración. Para obtener más información, consulta Trabaja con operaciones de larga duración.
Restablece una versión del conjunto de datos
Puedes usar la API de Vertex AI para restablecer una versión del conjunto de datos. Sigue los pasos en la pestaña correspondiente:
REST
Obtén el ID de la versión del conjunto de datos
Para restablecer una versión, debes conocer el ID numérico de la versión. Puedes enumerar todas las versiones de conjuntos de datos con la API:
Enumera los DatasetVersion de un Dataset
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
LOCATION: La región en la que se almacena la versión del conjunto de datos. Por ejemplo,
us-central.PROJECT_ID: El ID del proyecto.
DATASET_ID: El ID numérico del conjunto de datos.
Método HTTP y URL:
GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
"http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions"
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions" | Select-Object -Expand Content
La siguiente respuesta de ejemplo se truncó con ... para destacar dónde puedes encontrar el ID de tu versión del conjunto de datos: es el número que toma el lugar de DATASET_VERSION_ID.
{
"datasetVersions": [
{
"name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/datasetVersions/DATASET_VERSION_ID",
...
}
]
}
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
LOCATION: La región en la que se almacena la versión del conjunto de datos. Por ejemplo,
us-central.PROJECT_ID: El ID del proyecto.
DATASET_ID: El ID numérico del conjunto de datos.
DATASET_VERSION_ID: El ID numérico de la versión del conjunto de datos.
Método HTTP y URL:
GET http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions/DATASET_VERSION_ID:restore
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
"http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions/DATASET_VERSION_ID:restore"
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID/datasetVersions/DATASET_VERSION_ID:restore" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{
"name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.aiplatform.v1.RestoreDatasetVersionOperationMetadata",
"genericMetadata": {
"createTime": "2021-02-17T00:54:58.827429Z",
"updateTime": "2021-02-17T00:54:58.827429Z"
},
}
}
Algunas solicitudes inician operaciones de larga duración que requieren tiempo para completarse. Estas solicitudes devuelven un nombre de operación que puedes usar para ver el estado de la operación o cancelarla. Vertex AI proporciona métodos auxiliares para hacer llamadas en operaciones de larga duración. Para obtener más información, consulta Trabaja con operaciones de larga duración.
Próximos pasos
Obtén más información para trabajar con conjuntos de datos en Vertex AI.