클라우드 데이터로 효율적인 PyTorch 학습 수행

Vertex AI 신경망 아키텍처 검색에는 트레이너를 설계하는 방법을 설명하는 요구 사항이 없습니다. 따라서 트레이너를 빌드할 학습 프레임워크를 선택합니다.

대용량 데이터를 사용하는 PyTorch 학습의 경우 분산 학습 패러다임을 사용하고 Cloud Storage에서 데이터를 읽는 것이 가장 좋습니다. 학습 성능을 향상시키는 방법은 Vertex AI로 효율적인 PyTorch 학습 블로그 게시물을 참조하세요. WebDataset를 사용하고 DistributedDataParallel 또는 FullyShardedDataParallel 분산 학습 전략을 선택하면 Cloud Storage에서 데이터 성능이 전반적으로 6배 향상될 수 있습니다. Cloud Storage의 데이터를 사용한 학습 성능은 로컬 디스크의 데이터를 사용한 학습 성능과 유사합니다.

사전 빌드된 MNasNet 분류 예시는 이러한 메서드를 학습 파이프라인에 통합했습니다.