Tutoriais e amostras do Imagen no notebook do Jupyter na Vertex AI

Este documento contém uma lista de tutoriais do Imagen no notebook do Jupyter da Vertex AI e artigos com exemplos de código.

Há muitos ambientes em que você pode hospedar notebooks do Jupyter. É possível:

  • Faça o download no GitHub e execute-os na sua máquina local
  • Faça o download deles no GitHub e execute-os em um servidor Jupyter ou JupyterLab na sua rede local

  • Execute-os na nuvem usando um serviço como o Colaboratory (Colab) ou o Vertex AI Workbench.

Colab

Executar um Jupyter Notebook no Colab é uma maneira fácil de começar rapidamente.

Para abrir um tutorial do notebook no Colab, clique no link Colab na lista de notebooks. O Colab cria uma instância de VM com todas as dependências necessárias, inicia o ambiente do Colab e carrega o notebook.

Vertex AI Workbench

Também é possível executar o notebook usando notebooks gerenciados pelo usuário. Ao criar uma instância de notebooks gerenciada pelo usuário com o Vertex AI Workbench, você tem controle total sobre a VM de hospedagem. É possível especificar a configuração e o ambiente da VM de hospedagem.

Para abrir um tutorial de notebook em uma instância do Vertex AI Workbench:

  1. Clique no link Vertex AI Workbench na lista de notebooks. O link abre o console do Vertex AI Workbench.
  2. Na tela Implantar no notebook, digite um nome para a nova instância do Vertex AI Workbench e clique em Criar.
  3. Na caixa de diálogo Pronto para abrir o notebook que aparece após o início da instância, clique em Abrir.
  4. Na página Confirmar implantação no servidor de notebook, selecione Confirmar.
  5. Antes de executar o notebook, selecione Kernel > Reiniciar kernel e limpar todas as saídas.

Lista de notebooks

Recursos Descrição Abrir em
Geração de imagens (Imagen 2)
 Geração de imagens com o Imagen na Vertex AI.
Neste notebook, você vai conhecer os recursos de geração de imagens do Imagen usando o SDK da Vertex AI para Python. Saiba mais sobre o recurso de geração de imagens do Imagen.

Etapas do tutorial

  • Gerar imagens usando solicitações de texto.
  • Testar parâmetros diferentes, como:
    • Aumentar o número de imagens a serem geradas.
    • Correção de um número de semente para reprodutibilidade.
    • Influenciar as imagens de saída usando comandos negativos.
 		Colab
GitHub
Vertex AI Workbench
Geração de imagem (Imagen 2)

Geração de texto (Gemini 1.0 Pro)

Formatação de texto de saída (Gemini 1.0 Pro) 		Crie recursos visuais de alta qualidade com o Imagen e o Gemini 1.0 Pro.
Neste notebook, você criará recursos visuais de alta qualidade para o cardápio de um restaurante usando o Imagen e o Gemini 1.0 Pro. Saiba mais sobre geração de imagens e modelos multimodais.

Etapas do tutorial

  • Gere um prompt de imagem com o Gemini 1.0 Pro.
  • Use o Imagen para criar imagens de alta qualidade usando prompts.
  • Implemente um pipeline curto para produzir recursos visuais altamente detalhados.
 		Colab
GitHub
Vertex AI Workbench
Edição de imagem (Imagen 2) Crie recursos visuais de alta qualidade com a edição do Imagen 2 usando áreas de máscara geradas automaticamente.
Neste notebook, você vai conhecer os recursos de edição de imagens do Imagen usando o SDK da Vertex AI para Python.

Etapas do tutorial

  • Edite uma imagem inteira enviada ou gerada com uma solicitação de texto.
  • Defina objetos específicos em uma imagem para editar.
  • Edite o plano de fundo de uma imagem.
  • Edite o primeiro plano de uma imagem.
  • Remova o plano de fundo ou o primeiro plano de uma imagem.
  • Testar parâmetros diferentes, como:
    • Reduzir a dilatação de uma máscara para objetos finos.
    • Influenciar a imagem de saída editada usando um comando negativo.
 		Colab
GitHub
Vertex AI Workbench
Descrições de imagens / legenda visual (Imagen) Legendas visuais com o Imagen na Vertex AI.
Neste notebook, você vai aprender a usar o SDK da Vertex AI para Python para gerar legendas visuais para uma imagem. Saiba mais sobre o recurso de legenda de imagens do Imagen.

Etapas do tutorial

  • Gere legendas de imagens usando os recursos de legenda visual do Imagen.
  • Testar parâmetros diferentes, como:
    • Número de legendas a serem geradas.
    • Idioma das legendas geradas.
    • Tipo e versão do modelo usado para gerar as legendas.
 		Colab
GitHub
Vertex AI Workbench
Resposta visual a perguntas (VQA) (Imagen) Respostas visuais a perguntas (VQA) com o Imagen na Vertex AI.
Neste notebook, você vai aprender a usar o SDK da Vertex AI para Python para gerar respostas a perguntas sobre uma imagem. Saiba mais sobre o recurso de resposta visual a perguntas (VQA) do Imagen.

Etapas do tutorial

  • Responda a perguntas sobre imagens usando o recurso visual de resposta a perguntas do Imagen.
  • Testar parâmetros diferentes, como:
    • Número de respostas a serem fornecidas pelo modelo.
 		Colab
GitHub
Vertex AI Workbench

Lista de artigos com amostras

Recursos Descrição Links
Edição de imagem (Imagen)
 Mudança de plano de fundo com o Imagen na Vertex AI: um guia explicativo
Neste artigo, mostramos como fazer a edição baseada em máscaras usando o SDK da Vertex AI para Python. Para mudar o plano de fundo, siga estas etapas:
  • Remova o plano de fundo existente.
  • Crie uma máscara e uma imagem de máscara invertida.
  • Codifique uma imagem em uma string.
  • Crie um payload de solicitação.
Saiba mais sobre o recurso de edição de imagens do Imagen. 		Link do artigo
GitHub
Geração de imagens (Imagen)

Geração de texto (PaLM 2 para texto) 		Google Imagen (usando o Vertex AI Studio do Google Cloud) como assistente de design de moda.

Neste artigo, vamos explorar como a IA generativa pode ajudar designers de moda a criar novas ideias e designs usando o conjunto de modelos generativos do Google para geração de texto e imagem. Neste artigo, mostramos como usar o PaLM 2 para o modelo text-bison do Text no console do Google Cloud e com o SDK da Vertex AI para Python. Em seguida, ele mostra como usar os prompts gerados para servirem como entrada para a geração de imagens usando o modelo imagegeneration do Imagen.

Saiba mais sobre o recurso de geração de imagens do Imagen e sobre o PaLM 2 para o recurso de geração de texto do Text.

Link do artigo
Geração de imagens (Imagen 2)

Edição de imagem (Imagen) 		Geração de imagens com o Imagen e o LangChain4j (Java)

Neste artigo, vamos ver como gerar e editar imagens com o Imagen no LangChain4j.

Saiba mais sobre os recursos de geração e edição de imagens do Imagen.

Link do artigo