语言模型概览

您可以使用 Vertex AI PaLM API 和 Vertex AI Codey API 对 Google 的生成式 AI 语言模型进行访问、调优和部署。可使用这些语言模型通过 Vertex AI 执行各种工作流，例如使用 API 与模型进行交互并将模型部署到 Jupyter 笔记本。您还可以通过执行模型调优来针对特定应用场景自定义语言模型。本页面简要介绍了可用的语言模型、用于与模型交互的 API 以及用于自定义其行为的方法。

模型命名方案

基础模型名称包含两个组成部分：应用场景和模型大小。命名惯例为 <use case>-<model size>。例如，text-bison 表示 Bison 文本模型。

模型大小如下：

  • Unicorn：PaLM 系列中最大的模型。由于模型中嵌入了丰富的知识及其推理功能，因此 Unicorn 模型擅长处理编码和思维链 (CoT) 等复杂的任务。
  • Bison：最佳值 PaLM 模型，可处理各种语言任务，例如分类、汇总。它针对准确率和延迟时间进行了优化，并且费用合理。文本、聊天、代码和代码聊天接口可简化应用的部署和集成。
  • Gecko：适用于处理简单任务的最小且费用最低的模型。

您可以使用模型的稳定版本或最新版本。如需了解详情，请参阅模型版本和生命周期。

Vertex AI PaLM API

借助 Vertex AI PaLM API，您可以访问 PaLM 2 系列模型，这些模型支持生成自然语言文本、文本嵌入和代码（我们建议使用用于生成代码的 Vertex AI Codey API）。PaLM 2 是由 Google Labs 开发的第二代开发者路径语言模型。使用 Vertex AI PaLM API，您可以利用 MLOps 工具，Vertex AI 提供的企业级安全性、隐私性、可伸缩性。

Vertex AI PaLM API 使用每个 Google Cloud 项目独有的全球发布者端点公开 PaLM 2 模型。以下是发布者模型端点的示例：

http://us-central1-aiplatform.googleapis.com/v1/projects/your_project_id/locations/us-central1/publishers/google/models/text-bison:predict

Vertex AI PaLM API 具有适用于以下 PaLM 2 模型的发布者端点：

  • text-bison：针对执行自然语言任务（例如分类、总结、摘要、内容创建和构思）进行了优化。
  • chat-bison：针对多轮聊天进行了优化，模型可以在聊天中跟踪之前的消息，并将其用作生成新回答的上下文。
  • textembedding-gecko：为给定文本生成文本嵌入。您可以将嵌入用于语义搜索、推荐、分类和离群值检测等任务。

如需详细了解这些模型，请参阅可用模型。

Vertex AI Codey API

Vertex AI Codey API 经过优化，可针对多种编程语言支持代码生成、代码聊天和代码补全。Vertex AI Codey API 基于 PaLM 2 系列模型。如需了解详情，请参阅代码模型概览。

提示词设计

如需与 PaLM 2 等基础模型进行交互，您需要发送自然语言指令（也称为提示），以告知模型您希望它生成的内容。但是，LLM 有时可能会以不可预测的方式运行。提示设计是反复试验的迭代过程，需要一定的时间和实践才能熟练。如需了解提示设计的通用策略，请参阅提示设计简介。如需了解特定于任务的文本提示设计指导，请参阅设计文本提示。

模型调整

如果您需要针对特定应用场景自定义 PaLM 2 模型，则可以使用输入和输出示例数据集对模型进行调优。经过调优的模型会自动部署到项目中的新端点以处理请求。如需详细了解模型调优，请参阅调优基础模型。

后续步骤