Rastrear a linhagem de artefatos de pipeline

Cada execução de pipeline criada usando o Vertex AI Pipelines tem vários artefatos e parâmetros associados, como modelos, conjuntos de dados, modelos de pipeline e componentes. A linhagem de um artefato de pipeline inclui os fatores que contribuíram para a criação, bem como artefatos e metadados derivados desse artefato. Por exemplo, a linhagem de um modelo pode incluir o seguinte:

  • Os dados de treinamento, teste e avaliação usados para criar o modelo.

  • Os hiperparâmetros usados durante o treinamento do modelo.

  • Os metadados gravados do processo de treinamento e avaliação, como a acurácia do modelo.

  • Artefatos descendentes desse modelo, como os resultados de previsões em lote.

Use esses metadados para responder a perguntas como as seguintes:

  • por que um pipeline específico executou um modelo especialmente preciso?

  • Qual execução de pipeline produziu o modelo mais preciso e quais hiperparâmetros foram usados para treinar o modelo?

  • Dependendo das etapas no pipeline, talvez seja possível responder a perguntas sobre a governança do sistema. Por exemplo, é possível usar metadados para determinar qual versão do seu modelo estava em produção em um determinado momento.

Para conferir e analisar a linhagem de artefatos do pipeline, é possível usar o Vertex ML Metadata ou o Dataplex.

A tabela a seguir descreve as diferenças entre o Vertex ML Metadata e o Dataplex:

Engenharia de Vertex ML Metadata Dataplex
Tipos de metadados de pipeline capturados Todos os artefatos de entrada e saída produzidos por uma execução de pipeline. Artefatos de entrada e saída que podem ser mapeados para nomes totalmente qualificados (FQNs) compatíveis com o Dataplex, geralmente usando componentes de pipeline do Google Cloud.
Geografia Leituras de região única. Leituras globais, ou seja, em várias regiões.
Projetos Leituras de projeto único. Faz leituras em vários projetos em toda a organização.
Serviços integrados Integrado com o Vertex AI Pipelines, os Experimentos da Vertex AI, o Vertex AI Model Registry e os conjuntos de dados Integrado com vários produtos do Google Cloud, como Vertex AI, BigQuery, Cloud Composer e Dataproc.
Ativar? Não, sempre ativado. A ativação é obrigatória para cada repositório de metadados de ML.

Mapear artefatos do Vertex ML Metadata para o Dataplex

Para mapear artefatos do Vertex ML Metadata para FQNs no Dataplex, você precisa fazer o seguinte:

  • Usar componentes de pipeline do Google Cloud ao criar modelos da Vertex AI e conjuntos de dados gerenciados.

  • Use títulos de esquema personalizados (google.VertexDataset ou google.VertexModel) ao especificar o nome do recurso do modelo ou do conjunto de dados gerenciado no campo metadata, conforme ilustrado no exemplo a seguir:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "http://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analisar a linhagem de artefatos de pipeline usando o Vertex ML Metadata

Ao executar um pipeline usando o Vertex AI Pipelines, os artefatos e os parâmetros da execução do pipeline são armazenados usando o Vertex ML Metadata. O Vertex ML Metadata facilita a análise da linhagem dos artefatos do pipeline, poupando a dificuldade de acompanhar os metadados do pipeline.

Se você não conhece o Vertex ML Metadata, leia a introdução ao Vertex ML Metadata.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline usando o Vertex ML Metadata:

  1. No Console do Google Cloud, na seção "Vertex AI", acesse a página Modelos.

    Acessar a página "Metadados"

    A página "Metadados" lista os artefatos criados no armazenamento de metadados padrão.

  2. Na lista suspensa Região, selecione a região em que sua execução foi criada.

  3. Clique no Nome do artefato de um artefato para ver o gráfico de linhagem dele.

    Será exibido um gráfico estático mostrando os artefatos e as execuções que fazem parte desse gráfico de linhagem.

  4. Clique em um artefato ou execução para saber mais sobre ele.

Analisar a linhagem de artefatos de pipeline usando o Dataplex

O Dataplex Data Catalog descobre metadados dos recursos do Google Cloud, que incluem artefatos do Vertex AI Pipelines, como modelos da Vertex AI, conjuntos de dados gerenciados e outros recursos do Google Cloud que podem ser descobertos no Data Catalog. É possível descobrir esses artefatos usando o recurso de pesquisa de metadados do Data Catalog e visualizar os respectivos gráficos de linhagem.

Para mais informações sobre o recurso de pesquisa de metadados do Data Catalog, consulte Pesquisar e ver recursos de dados com o Data Catalog.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline no Dataplex:

  1. Para iniciar uma consulta de pesquisa do Dataplex no console do Google Cloud, acesse a página Pesquisa do Dataplex.

    Acessar a Pesquisa do Dataplex

  2. Use os filtros para pesquisar os artefatos. Por exemplo, use o filtro Tipos de dados para especificar o tipo de artefato, como modelo, conjunto de dados ou tabela do BigQuery. Para mais informações sobre a pesquisa do Data Catalog, consulte Pesquisar recursos de dados

    Também é possível definir sua consulta no campo de pesquisa.

  3. Para visualizar a linhagem de um artefato, clique no nome do artefato e, em seguida, na guia Linhagem.

    No gráfico de linhagem, os processos da Vertex AI são precedidos por Ícone de linhagem da Vertex AI. Isso inclui artefatos e componentes de pipeline e modelos de pipeline.

    • Para visualizar os detalhes de um processo, clique nele no gráfico de linhagem.

    • Para processos com base em tarefas de pipeline de execuções de pipeline, é possível fazer o seguinte:

      • Para conferir a execução do pipeline na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes. Para visualizar os detalhes do ambiente de execução de uma execução de pipeline, como estados, carimbos de data/hora e atributos, clique em Mais. Para conferir a execução do pipeline na Vertex AI, clique em Abrir na Vertex AI.

    • Para processos baseados em um modelo de pipeline, faça o seguinte:

      • Para conferir os detalhes do modelo na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes.

      • Veja a lista de tarefas de pipeline criadas em execuções de pipeline na guia Execuções. Para conferir os detalhes do modelo de pipeline na Vertex AI, clique em Mais e, em seguida, em Abrir na Vertex AI.

A seguir