Entraînement PyTorch efficace avec les données cloud

Vertex AI Neural Architecture Search n'a aucune exigence décrivant la conception de vos applications d'entraînement. Par conséquent, choisissez un framework d'entraînement pour créer l'application d'entraînement.

Pour l'entraînement PyTorch avec de grandes quantités de données, la bonne pratique consiste à utiliser le paradigme d'entraînement distribué et à lire des données à partir de Cloud Storage. Consultez l'article de blog Entraînement PyTorch efficace avec Vertex AI pour connaître les méthodes permettant d'améliorer les performances d'entraînement. Vous pouvez constater une amélioration des performances globale (multipliées par six) avec les données Cloud Storage en utilisant WebDataset et en choisissant les stratégies d'entraînement distribué DistributedDataParallel ou FullyShardedDataParallel. Les performances de l'entraînement utilisant des données sur Cloud Storage sont semblables à celles de l'entraînement utilisant des données sur un disque local.

L'exemple de classification MNasNet prédéfini a intégré ces méthodes dans son pipeline d'entraînement.