Hello 图片数据:评估和分析模型性能

使用 Google Cloud 控制台检查模型性能。通过修复数据问题,分析测试错误以迭代方式提高模型质量。

本教程包含多个页面:

  1. 设置您的项目和环境。

  2. 创建图片分类数据集并导入图片。

  3. 训练 AutoML 图片分类模型。

  4. 评估和分析模型性能。

  5. 将模型部署到端点并发送预测。

  6. 清理您的项目。

每个页面均假定您已经按照本教程中之前页面的说明操作。

1. 了解 AutoML 模型评估结果

训练完成后,系统会根据测试数据拆分自动评估模型。通过在模型注册表页面或数据集页面中点击模型的名称,系统会显示相应的评估结果。

在这里,您可以找到用于衡量模型性能的指标。

评估页面

如需了解不同评估指标的更详细介绍,请参阅评估、测试和部署模型部分。

2. 分析测试结果

如果要继续提升模型性能,第一步通常是检查错误情况并调查潜在原因。每个类别的评估页面都会显示给定类别的详细测试图片,这些图片分为假负例、假正例和真正例。您可以在评估、测试和部署模型部分中找到每个类别的定义。

对于每个类别下的每张图片,您可以通过点击图片并访问详细的分析结果来进一步检查预测详细信息。您将在页面右侧看到查看类似图片面板,其中显示来自训练集的最近样本以及在特征空间中测量的距离。

错误分析页面

您可能需要注意两种类型的数据问题:

  1. 标签不一致。如果训练集中的一个视觉上相似的样本与测试样本有不同的标签,则可能其中一个是不正确的,或者细微的差异需要更多数据供模型学习,当前的类标签根本不够准确,无法描述给定的样本。查看类似图片有助于纠正错误情况,或从测试集中排除有问题的样本,从而获得准确的标签信息。您可以在同一页面上的查看类似图片面板上方便地更改测试图片或训练图片的标签。

  2. 离群值。如果测试样本标记为离群值,则训练集中可能没有视觉上类似的样本来帮助训练模型。查看训练集中的类似图片可帮助您识别这些示例,并将类似图片添加到训练集中,以进一步改进这些情况下的模型性能。

后续步骤

如果您对模型性能感到满意,请遵循本教程的下一页将经过训练的 AutoML 模型部署到端点,并将图片发送到模型进行预测。否则,如果您对数据进行任何更正,请使用训练 AutoML 图片分类模型教程来训练新模型。