使用 Imagen on Vertex 的视觉标注和 Visual Question Answering (VQA) 获取图片信息(控制台)
了解如何使用 Imagen on Vertex 的视觉标注和 Visual Question Answering (VQA) 功能获取有关图片的文本信息。本快速入门介绍如何在 Google Cloud 控制台中使用视觉标注和 VQA。
须知事项
- 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手,请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金,用于运行、测试和部署工作负载。
-
在 Google Cloud Console 中的项目选择器页面上,选择或创建一个 Google Cloud 项目。
-
启用 Vertex AI API。
-
在 Google Cloud Console 中的项目选择器页面上,选择或创建一个 Google Cloud 项目。
-
启用 Vertex AI API。
获取示例图片
设置环境后,您可以获取示例图片,并可以使用视觉标注和 Visual Question Answering 来获取有关图片的信息。
如需获取示例图片,请直接从 Cloud Storage 下载该图片,或使用以下命令将图片保存到当前目录:
curl -O http://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg
使用视觉标注功能生成图片说明
获取示例图片后,您可以发送视觉标注请求,以获取图片的文本说明。
控制台
在 Google Cloud 控制台中,前往 Vertex AI 信息中心内的 Vertex AI Studio > Vision 标签页。
在下部菜单中,点击
图片说明。点击上传图片,然后选择要添加图片说明的本地图片。
在参数面板中,设置以下内容:
- 图片说明数量:选择
2
。 - 语言:如果尚未选择,请选择
English (en)
。
- 图片说明数量:选择
点击
生成图片说明。
使用 VQA 生成问题的回答
最后,您可以使用同一图片来提出有关图片的问题,并使用 VQA 功能获得回答。
控制台
在 Google Cloud 控制台中,前往 Vertex AI 信息中心内的 Vertex AI Studio > Vision 标签页。
在下方的菜单中,点击
Visual Q&A。点击上传图片,然后选择本地图片。
在参数面板中,为回答的数量选择 2。
在提示(在此处提问)字段中,输入以下文本:
What color is the left fish?
点击
生成。
恭喜!您刚刚使用了 Imagen 的视觉标注和 VQA 功能来获取有关图片的信息。
清理
为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用,请按照以下步骤操作。
删除项目
- 在 Google Cloud 控制台中,进入管理资源页面。
- 在项目列表中,选择要删除的项目,然后点击删除。
- 在对话框中输入项目 ID,然后点击关闭以删除项目。
后续步骤
- 阅读 Imagen on Vertex AI 的使用指南。
- 探索 Model Garden 中的预训练模型。
- 了解负责任的 AI 最佳实践和 Vertex AI 的安全过滤条件。