使用 Vertex AI 评估模型

本页面介绍如何使用 Vertex AI 评估模型。如需大致了解该工作流，请参阅 Vertex AI 中的模型评估。

前提条件

按照设置项目和开发环境中的步骤执行操作。此外，请启用以下服务：
- Compute Engine API
- Dataflow API
Vertex AI 可以评估通过 AutoML 或自定义训练进行训练的模型。根据 Google Cloud 控制台指南，您应该将经过训练的模型导入 Vertex AI Model Registry。
将测试数据集上传到 BigQuery 或 Cloud Storage。测试数据集应包含标准答案，即预计的预测实际结果。获取指向文件或数据集 ID 的链接。
以 BigQuery 表或 Cloud Storage URI 的形式提供批量预测输出。
确保您的默认 Compute Engine 服务账号具有以下 IAM 权限：
- Vertex AI Administrator (aiplatform.admin)
- Vertex AI Service Agent (aiplatform.serviceAgent)
- Storage Object Admin (storage.objectAdmin)
- Dataflow Worker (dataflow.worker)
- BigQuery Data Editor (bigquery.dataEditor)（仅当您以 BigQuery 表的形式提供数据时才需要）

在 Google Cloud 控制台中，前往 Vertex AI 模型页面。

转到“模型”页面
点击要评估的模型的名称。
点击模型的版本号。
在评估标签页上，点击创建评估。
输入评估名称。
选择一个目标，例如分类或回归。
输入评估目标列名称，这是训练数据中要针对其训练模型进行预测的列。
在选择来源部分，选择测试数据集的来源。
1. 在 BigQuery 表部分，输入 BigQuery 路径。
2. 在 Cloud Storage 上的文件部分，输入 Cloud Storage 路径。
在批量预测输出部分，选择一种输出格式。
1. 输入 BigQuery 路径或 Cloud Storage URI。
点击开始评估。

如需在 Vertex AI Pipelines 中查看 Vertex AI API 模型评估工作流，请参阅以下模型类型的示例笔记本：

使用 Vertex AI 评估模型的 SDK 尚处于实验阶段。如需注册该实验性功能，请填写新手入门表单。

Vertex AI 会在模型评估作业完成后自动发送电子邮件通知。

如需在 Vertex AI Pipelines 中查看 Vertex AI API 模型评估工作流，请参阅以下模型类型的示例笔记本：

使用 Vertex AI 评估模型的 SDK 尚处于实验阶段。如需注册该实验性功能，请填写新手入门表单。

您可以对不同模型、模型版本和评估作业的评估结果进行比较。如需详细了解模型版本控制，请参阅 Model Registry 中的版本控制。

您只能比较相同类型的模型，例如分类、回归或预测。在比较不同的模型时，所有模型版本的类型必须相同。

一次最多只能比较 5 个评估。