Ajustar modelos de fundação de linguagem

O ajuste de um modelo básico pode melhorar o desempenho. Os modelos de base são pré-treinados usando estratégias de design de prompts, como de comando few shot. Às vezes, os modelos pré-treinados não executam tarefas como você gostaria. Isso pode acontecer porque as tarefas que você quer que o modelo execute são tarefas especializadas que são difíceis de ensinar um modelo apenas com o design de comandos. Nesses casos, é possível usar o ajuste de modelos para melhorar o desempenho de um modelo em tarefas específicas. O ajuste do modelo também pode ajudá-lo a aderir a requisitos de saída específicos quando as instruções não são suficientes. Nesta página, fornecemos uma visão geral do ajuste de modelos, descreve as opções disponíveis na Vertex AI e ajuda a determinar quando cada opção de ajuste precisa ser usada.

Visão geral do ajuste de modelos

O ajuste de modelos fornece um modelo com um conjunto de dados de treinamento que contém muitos exemplos de uma tarefa exclusiva. Para tarefas de nicho, é possível conseguir melhorias significativas no desempenho do modelo ajustando o modelo em um número modesto de exemplos. Depois de ajustar um modelo, menos exemplos são necessários nos prompts.

A Vertex AI é compatível com os métodos a seguir para ajustar modelos de linguagem:

  • Ajuste supervisionado: o ajuste supervisionado de um modelo de texto é uma boa opção quando a saída do modelo não é complexa e é relativamente fácil de definir. O ajuste supervisionado é recomendado para classificação, análise de sentimento, extração de entidade, resumo de conteúdo que não é complexo e gravação de consultas específicas do domínio. Para modelos de código, o ajuste supervisionado é a única opção.

  • Aprendizado por reforço baseado no ajuste de feedback humano (RLHF, na sigla em inglês): o ajuste de RLHF é uma boa opção quando a saída do modelo é complexa. O RLHF funciona bem em modelos com dois objetivos que não são facilmente diferenciados com o ajuste supervisionado. O ajuste de RLHF é recomendado para responder a perguntas, resumir conteúdo complexo e criar conteúdo, como uma reescrita. Os modelos de código não oferecem suporte ao ajuste de RLHF.

Ajuste supervisionado

O ajuste supervisionado melhora o desempenho de um modelo ao ensinar uma nova habilidade. Dados que contêm centenas de exemplos rotulados são usados para ensinar o modelo a imitar um comportamento ou tarefa desejado. Cada exemplo rotulado demonstra o que você quer que o modelo produza durante a inferência.

Ao executar um job de ajuste, o modelo aprende outros parâmetros que o ajudam a codificar as informações necessárias para executar a tarefa desejada ou aprender o comportamento desejado. Esses parâmetros são usados durante a inferência. A saída do job de ajuste é um novo modelo que combina os parâmetros recém-aprendidos com o modelo original.

Modelos compatíveis com o ajuste supervisionado

Os seguintes modelos de fundação são compatíveis com ajustes supervisionados:

  • Geração de texto - text-bison@001
  • Chat de texto - chat-bison@001
  • Geração de código - code-bison@001 (prévia)
  • Chat de código - codechat-bison@001 (prévia)
  • Embeddings de texto - textembedding-gecko@001 (prévia)

Fluxo de trabalho para ajuste de modelos supervisionados

O fluxo de trabalho de ajuste de modelos supervisionados na Vertex AI inclui as seguintes etapas:

  1. Prepare o conjunto de dados de ajuste do modelo
  2. Faça o upload do conjunto de dados de ajuste do modelo em um bucket do Cloud Storage.
  3. Criar um job de ajuste de modelo supervisionado.

Depois que o ajuste do modelo é concluído, o modelo ajustado é implantado em um endpoint da Vertex AI. O nome do endpoint é igual ao nome do modelo ajustado. Os modelos ajustados estão disponíveis para seleção no Generative AI Studio quando você quiser criar uma nova solicitação.

Para saber mais sobre o ajuste de um modelo de texto com o ajuste supervisionado, consulte Ajustar modelos de texto usando o ajuste supervisionado. Para saber mais sobre o ajuste de um modelo de código com o ajuste supervisionado, consulte Ajustar modelos de código.

Ajuste do modelo RLHF

O aprendizado por reforço com base no feedback humano usa preferências especificadas por humanos para otimizar um modelo de linguagem. Ao usar o feedback humano para ajustar os modelos, você consegue alinhar melhor os modelos com as preferências humanas e reduzir resultados nocivos em cenários em que as pessoas têm incertezas complexas sobre uma tarefa. Por exemplo, a RLHF pode ajudar com uma tarefa ambígua, tipo como escrever um poema sobre o oceano, oferecendo a um humano dois poemas sobre o oceano e permitindo que essa pessoa escolha seu preferido.

Modelos compatíveis com o ajuste de RLHF

Os seguintes modelos de texto são compatíveis com o ajuste de RLHF:

  • O modelo de fundação da geração de texto, text-bison@001. Para mais informações, consulte Modelo de geração de texto.
  • Os modelos de transferência de texto para texto Flan (Flan-T5) t5-small, t5-large, t5-xl e t5-xxl. Os modelos Flan-T5 podem ser ajustados para executar tarefas como classificação de texto, tradução de idiomas e resposta a perguntas. Para mais informações, consulte Checkpoints Flan-T5.

Os modelos de código não oferecem suporte ao ajuste de RLHF.

Fluxo de trabalho para ajuste de modelos de RLHF

O fluxo de trabalho de ajuste de modelos de RLHF na Vertex AI inclui as seguintes etapas:

  1. Prepare seu conjunto de dados de preferências humanas.
  2. Prepare o conjunto de dados de prompts.
  3. Faça o upload dos conjuntos de dados para o bucket do Cloud Storage. Eles não precisam estar no mesmo bucket do Cloud Storage.
  4. Criar um job de ajuste de modelo RLHF.

Depois que o ajuste do modelo é concluído, o modelo ajustado é implantado em um endpoint da Vertex AI. O nome do endpoint é igual ao nome do modelo ajustado. Os modelos ajustados estão disponíveis para seleção no Generative AI Studio quando você quiser criar uma nova solicitação.

Para saber mais sobre como ajustar um modelo de texto usando o ajuste de RLHF, consulte Ajustar modelos de texto usando o ajuste de RLHF.

Configurações de região do ajuste de RLHF

O ajuste de aprendizado por reforço com feedback humano (RLHF) é compatível com estas duas regiões:

  • us-central1: se você escolher esta região, oito GPUs NVIDIA A100 de 80 GB serão usadas.
  • europe-west4: se você escolher essa região, serão usados 64 núcleos do pod da TPU v3.

A região escolhida é onde a Vertex AI ajusta o modelo e, em seguida, faz upload do modelo ajustado.

Cota

Cada projeto do Google Cloud precisa ter uma cota padrão suficiente para executar um job de ajuste. No entanto, se o projeto não tiver cota suficiente para um job de ajuste ou você quiser executar vários jobs de ajuste simultâneos nele, será necessário solicitar cota extra.

A seguinte tabela mostra o tipo e a quantidade de cota a ser solicitada, de acordo com a região em que você especificou o ajuste:

Região Cota de recursos Valor por job simultâneo

us-central1

Restricted image training Nvidia A100 80GB GPUs per region

8

Restricted image training CPUs for A2 CPU types per region

96

europe-west4

Restricted image training TPU V3 pod cores per region

64

Preços

Ao ajustar um modelo de fundação, você paga o custo de execução do pipeline de ajuste. Quando você implanta um modelo de fundação ajustado em um endpoint da Vertex AI, não há cobranças pela hospedagem. Para exibir previsões, você paga o mesmo preço que paga ao exibir previsões usando um modelo de fundação não ajustado. Para saber quais modelos de fundação podem ser ajustados, consulte Modelos de fundação. Para detalhes sobre preços, consulte Preços da IA generativa na Vertex AI.

A seguir