Obtén descripciones de imágenes con subtítulos visuales

Los subtítulos visuales te permiten generar una descripción relevante para una imagen. Puedes usar esta información para diversos usos:

• Obtener metadatos más detallados sobre las imágenes para almacenar y buscar.
• Generar subtítulos automáticos para casos de uso de accesibilidad.
• Recibir descripciones rápidas de productos y elementos visuales.

Fuente de la imagen: Santhosh Kumar en Unsplash (recortado)

Subtítulo (formato corto): una camisa azul con lunares blancos cuelga de un gancho

Idiomas compatibles

Las leyendas visuales están disponibles en los siguientes idiomas:

• Inglés (en)
• Francés (fr)
• Alemán (de)
• Italiano (it)
• Español (es)

Rendimiento y limitaciones

Se aplican los siguientes límites cuando usas este modelo:

Cuando usas este modelo, se aplican las siguientes estimaciones de latencia del servicio. Estos valores son ilustrativos y no son una promesa de servicio:

Ubicaciones

Una ubicación es una región que puedes especificar en una solicitud para controlar dónde se almacenan los datos en reposo. Para obtener una lista de las regiones disponibles, consulta IA generativa en ubicaciones de Vertex AI.

Filtrado de seguridad de IA responsable

El modelo de funciones de Búsqueda de respuestas visuales (VQA) y subtítulos de imágenes no admite filtros de seguridad configurables por el usuario. Sin embargo, el filtrado de seguridad general de Imagen se produce en los siguientes datos:

• Entrada del usuario
• Salida del modelo

Como consecuencia, tu resultado puede diferir del resultado de muestra si Imagen aplica estos filtros de seguridad. Considera los siguientes ejemplos:

Entrada filtrada

Si se filtra la entrada, la respuesta es similar a la siguiente:

{
  "error": {
    "code": 400,
    "message": "Media reasoning failed with the following error: The response is blocked, as it may violate our policies. If you believe this is an error, please send feedback to your account team. Error Code: 63429089, 72817394",
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.DebugInfo",
        "detail": "[ORIGINAL ERROR] generic::invalid_argument: Media reasoning failed with the following error: The response is blocked, as it may violate our policies. If you believe this is an error, please send feedback to your account team. Error Code: 63429089, 72817394 [google.rpc.error_details_ext] { message: \"Media reasoning failed with the following error: The response is blocked, as it may violate our policies. If you believe this is an error, please send feedback to your account team. Error Code: 63429089, 72817394\" }"
      }
    ]
  }
}

Resultado filtrado

Si la cantidad de respuestas que se muestran es menor que el recuento de muestras que especificas, significa que la IA responsable filtra las respuestas faltantes. Por ejemplo, la siguiente es una respuesta a una solicitud con "sampleCount": 2, pero una de las respuestas se filtra:

{
  "predictions": [
    "cappuccino"
  ]
}

Si se filtra todo el resultado, la respuesta es un objeto vacío similar al siguiente:

{}

Obtén subtítulos de imágenes de formato corto

Usa las siguientes muestras para generar subtítulos cortos de una imagen.

POST http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict

{
  "instances": [
    {
      "image": {
          "bytesBase64Encoded": "B64_IMAGE"
      }
    }
  ],
  "parameters": {
    "sampleCount": RESPONSE_COUNT,
    "language": "LANGUAGE_CODE"
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict" | Select-Object -Expand Content

{
  "predictions": [
    "a yellow mug with a sheep on it sits next to a slice of cake",
    "a cup of coffee with a heart shaped latte art next to a slice of cake"
  ],
  "deployedModelId": "DEPLOYED_MODEL_ID",
  "model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
  "modelDisplayName": "MODEL_DISPLAYNAME",
  "modelVersionId": "1"
}

{
  "predictions": [
    "una taza de café junto a un plato de pastel de chocolate",
    "una taza de café con una forma de corazón en la espuma"
  ]
}

import vertexai
from vertexai.preview.vision_models import Image, ImageTextModel

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"
# input_file = "my-input.png"

vertexai.init(project=project_id, location="us-central1")

model = ImageTextModel.from_pretrained("imagetext@001")
source_img = Image.load_from_file(location=input_file)

captions = model.get_captions(
    image=source_img,
    # Optional parameters
    language="en",
    number_of_results=1,
)

print(captions)

Usa parámetros para los subtítulos de imágenes

Cuando obtienes subtítulos de imágenes, hay varios parámetros que puedes configurar según tu caso de uso.

Cantidad de resultados

Usa el parámetro de cantidad de resultados para limitar la cantidad de subtítulos que se muestran de cada solicitud que envías. Para obtener más información, consulta la referencia de la API del modelo imagetext (subtitulado de imágenes).

Número de origen

Un número que agregues a una solicitud para hacer que las descripciones generadas sean determinísticas. Agregar un número de origen con tu solicitud es una forma de garantizar que obtengas la misma predicción (descripciones) cada vez. Sin embargo, los subtítulos de la imagen no se muestran necesariamente en el mismo orden. Para obtener más información, consulta la referencia de la API del modelo imagetext (subtitulado de imágenes).

¿Qué sigue?

• Mira videos que describen modelos de base de Vertex AI, incluido Imagen, el modelo de base de texto a imagen que te permite generar y editar imágenes:
  • Introducción a los modelos de base en Google Cloud
  • Imagen on Vertex AI: Crea y edita imágenes a partir de texto
• Lee las entradas de blog que describen imágenes en IA generativa y Vertex AI en Vertex AI:
  • La imagen 2 en Vertex AI ahora está disponible de forma general
  • Gemini, el modelo más capaz de Google, ahora está disponible en Vertex AI
  • Anuncio de la disponibilidad general del Asistente de programación de Gemini y Gemini en operaciones de seguridad