Vertex AI SDK 中的语言模型类简介

您可以使用 Python 版 Vertex AI SDK 通过 Vertex AI 语言基础模型以编程方式创建解决方案。Vertex AI SDK 包含用于文本生成、文本聊天、文本嵌入、代码生成、代码聊天和代码补全模型的类。

如需了解如何安装 Python 版 Vertex AI SDK，请参阅安装 Python 版 Vertex AI SDK。如需查看 Vertex AI SDK 参考指南中的语言模型部分，请参阅软件包语言模型。

Vertex AI SDK 中表示的语言模型是对创建与生成式 AI 和语言模型无关的 Vertex AI 解决方案的补充。如需了解如何使用 Vertex AI SDK 自动执行数据注入、训练模型并在 Vertex AI 上获取预测结果，请参阅 Python 版 Vertex AI SDK 简介。

语言模型类概览

Vertex AI SDK 包含语言模型类，可帮助您完成常见的生成式 AI 任务。以下是用于处理 Vertex AI 中提供的基础模型的模型类：

  • ChatModel - 使用此类处理文本聊天基础模型。此模型的当前稳定版本的名称为 chat-bison@002。
  • CodeChatModel - 使用此类处理代码聊天基础模型。此模型的当前稳定版本的名称为 codechat-bison@002。
  • CodeGenerationModel - 可使用此类来处理代码生成和代码补全基础模型。代码生成模型的当前稳定版本的名称为 code-bison@002，代码补全模型的当前稳定版本的名称为 code-gecko@001。
  • TextEmbeddingModel - 使用此类处理文本嵌入基础模型。代码生成模型的当前稳定版本的名称为 textembedding-gecko@003。
  • TextGenerationModel — 使用此类处理文本生成基础模型。文本生成模型的当前稳定版本的名称是 text-bison@002 和 text-unicorn@001。

加载基础模型

若要开始使用 Vertex AI SDK 处理基础模型，请加载模型的实例。如需加载模型，请在语言模型类上使用 from_pretrained 方法。基础模型也称为预训练模型。当您调用 from_pretrained 时，请指定您想要处理的模型的稳定版本或最新版本。如需详细了解稳定版本和最新版本以及在代码中指定的方式，请参阅模型版本和生命周期。

以下示例 Python 代码行展示了如何加载基础模型。

  • 获取代码聊天预训练模型的稳定版本 001：

    from vertexai.language_models import ChatModel

my_chat_model = ChatModel.from_pretrained("chat-bison@002")

  • 获取最新版本的文本生成模型：

    from vertexai.language_models import TextGenerationModel

my_text_generation_model = TextGenerationModel.from_pretrained("text-bison")

使用 Vertex AI SDK 加载模型后，您可以使用该模型来创建生成式 AI 解决方案。您可以使用加载的模型执行一些任务，包括生成文本和代码内容、流式传输内容、创建文本或代码聊天会话、对模型调优、获取嵌入以及创建批量预测。您可以执行的具体任务取决于您加载的模型类型。

后续步骤