Introdução a classes de modelo de linguagem no SDK da Vertex AI

É possível usar o SDK da Vertex AI para Python para criar soluções de maneira programática usando modelos de fundação de linguagem da Vertex AI. O SDK da Vertex AI contém classes para modelos de geração de texto, chat de texto, embedding de texto, geração de código, chat de código e preenchimento de código.

Para saber como instalar o SDK da Vertex AI para Python, consulte Instalar o SDK da Vertex AI para Python. Para ver a seção do modelo de linguagem no guia de referência do SDK da Vertex AI, consulte Modelos de linguagem do pacote.

Os modelos de linguagem representados no SDK da Vertex AI são um complemento a classes que ajudam a criar soluções da Vertex AI não relacionadas a modelos de linguagem e IA generativa. Para informações sobre como usar o SDK da Vertex AI para automatizar a ingestão de dados, treinar modelos e receber previsões na Vertex AI, consulte Introdução ao SDK da Vertex AI para Python.

Visão geral da classe de modelo de linguagem

O SDK da Vertex AI contém classes de modelo de linguagem que ajudam a realizar tarefas comuns de IA generativa. Veja a seguir as classes de modelo usadas para trabalhar com os modelos de fundação disponíveis na Vertex AI:

  • ChatModel — use essa classe para trabalhar com o modelo de fundação de chat de texto. O nome da versão estável atual desse modelo é chat-bison@002.
  • CodeChatModel: use essa classe para trabalhar com o modelo de fundação de chat de código. O nome da versão estável atual desse modelo é codechat-bison@002.
  • CodeGenerationModel — use essa classe para trabalhar com os modelos de fundação de geração de código e preenchimento de código. O nome da versão estável atual do modelo de geração de código é code-bison@002, e o nome da versão estável atual do modelo de preenchimento de código é code-gecko@001.
  • TextEmbeddingModel — use essa classe para trabalhar com o modelo de fundação de embedding de texto. O nome da versão estável atual do modelo de geração de código é textembedding-gecko@003.
  • TextGenerationModel — use essa classe para trabalhar com os modelos de fundação de geração de texto. Os nomes das versões estáveis atuais dos modelos de geração de texto são text-bison@002 e text-unicorn@001.

Carregar um modelo de fundação

Para começar a usar o SDK da Vertex AI e trabalhar com um modelo de fundação, carregue uma instância do modelo. Para carregar um modelo, use o método from_pretrained em uma classe de modelo de linguagem. Os modelos de fundação também são conhecidos como modelos pré-treinados. Ao chamar from_pretrained, especifique uma versão estável ou a versão mais recente. do modelo com que você quer trabalhar. Para mais informações sobre as versões estáveis e mais recentes e como elas são especificadas no código, consulte Versões e ciclo de vida do modelo.

Os exemplos de linhas de código Python a seguir mostram como carregar um modelo de fundação.

  • Consiga a versão 001 da versão estável do modelo pré-treinado de chat de código:

    from vertexai.language_models import ChatModel

my_chat_model = ChatModel.from_pretrained("chat-bison@002")

  • Consiga a versão mais recente do modelo de geração de texto:

    from vertexai.language_models import TextGenerationModel

my_text_generation_model = TextGenerationModel.from_pretrained("text-bison")

Depois de usar o SDK da Vertex AI para carregar um modelo, é possível usar o modelo para criar soluções de IA generativa. Algumas das tarefas que podem ser realizadas com o modelo carregado são gerar conteúdo de texto e código, fazer streaming de conteúdo, criar uma sessão de chat de código ou texto, ajustar o modelo, conseguir embeddings e criar previsões em lote. As tarefas específicas que podem ser executadas dependem do tipo de modelo carregado.

A seguir