Modello dei dati e risorse

Vertex ML Metadata organizza le risorse in modo gerarchico, dove ogni risorsa appartiene a un MetadataStore. Per poter creare risorse di metadati, devi avere un MetadataStore.

Terminologia Vertex ML Metadata

Di seguito vengono presentati il modello dei dati e la terminologia utilizzati per descrivere le risorse e i componenti di Vertex ML Metadata.

MetadataStore
  • Un MetadataStore è il contenitore di primo livello per le risorse dei metadati. MetadataStore è regionalizzato e associato a un progetto Google Cloud specifico. In genere, un'organizzazione utilizza un MetadataStore condiviso per le risorse di metadati all'interno di ciascun progetto.
risorse di metadati
  • Vertex ML Metadata espone un modello dei dati simile a un grafico per rappresentare i metadati prodotti e consumati dai flussi di lavoro ML. I concetti principali sono artefatti, esecuzioni, eventi e contesti.
artefatto
  • Un artefatto è un'entità discreta o un dato prodotto e utilizzato da un flusso di lavoro di machine learning. Esempi di artefatti includono set di dati, modelli, file di input e log di addestramento.
contesto
  • Un contesto viene utilizzato per raggruppare artefatti ed esecuzioni in un'unica categoria interrogabile e digitata. I contesti possono essere utilizzati per rappresentare insiemi di metadati. Un esempio di contesto è l'esecuzione di una pipeline di machine learning.
Ad esempio, puoi utilizzare i contesti per rappresentare insiemi di metadati come:

  • L'esecuzione di una pipeline Vertex AI Pipelines. In questo caso, il contesto rappresenta un'esecuzione e ogni esecuzione rappresenta un passaggio nella pipeline ML. Mostra come artefatti, esecuzioni e contesto si combinano nelmodello dei datii del grafico di Vertex ML Metadata.

  • Un esperimento eseguito da un blocco note Jupyter. In questo caso, il contesto potrebbe rappresentare il blocco note e ogni esecuzione potrebbe rappresentare una cella in quel blocco note.

    evento
    • Un evento descrive la relazione tra artefatti ed esecuzioni. Ogni artefatto può essere prodotto da un'esecuzione e consumato da altre esecuzioni. Gli eventi ti aiutano a determinare la provenienza degli artefatti nei loro flussi di lavoro ML concatenando artefatti ed esecuzioni.
    l'esecuzione
    • Un'esecuzione è un record di un singolo passaggio del flusso di lavoro di machine learning, in genere annotato con i relativi parametri di runtime. Esempi di esecuzioni includono importazione dati, convalida dei dati, addestramento del modello, valutazione e deployment del modello.
    MetadataSchema
    • Un MetadataSchema descrive lo schema per particolari tipi di artefatti, esecuzioni o contesti. Gli schemi MetadataSchemas vengono utilizzati per convalidare le coppie chiave-valore durante la creazione delle risorse Metadata corrispondenti. La convalida dello schema viene eseguita solo sui campi corrispondenti tra la risorsa e MetadataSchema. Gli schemi dei tipi sono rappresentati utilizzando oggetti schema OpenAPI, che dovrebbero essere descritti usando YAML.

Esempio di MetadataSchema

Gli schemi dei tipi sono rappresentati utilizzando Oggetti schema OpenAPI, che devono essere descritti utilizzando YAML.

Di seguito è riportato un esempio di come viene specificato il tipo di sistema predefinito Model in formato YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

Il titolo dello schema deve essere nel formato <namespace>.<type name>. Vertex ML Metadata pubblica e gestisce schemi definiti dal sistema per rappresentare i tipi comuni ampiamente utilizzati nei flussi di lavoro ML. Questi schemi si trovano nello spazio dei nomi system e sono accessibili come risorse MetadataSchema nell'API. Viene sempre eseguito il controllo delle versioni degli schemi.

Per scoprire di più sugli schemi, consulta Schemi di sistema. Inoltre, Vertex ML Metadata consente di creare schemi personalizzati definiti dall'utente. Per scoprire di più sugli schemi di sistema, consulta l'articolo Come registrare schemi personalizzati.

Le risorse Metadata esposte rispecchiano esattamente quelle dell'implementazione open source di ML Metadata (MLMD).

Passaggi successivi