Memasang berbagi secara NFS untuk pelatihan kustom

Anda dapat mengonfigurasi tugas pelatihan kustom untuk memasang bagian Network File System (NFS) ke container tempat kode Anda berjalan. Hal ini memungkinkan tugas Anda mengakses file jarak jauh seolah-olah file tersebut bersifat lokal, sehingga memungkinkan throughput tinggi dan latensi rendah.

Panduan ini menunjukkan cara memasang berbagi secara NFS saat menjalankan tugas pelatihan kustom.

Sebelum memulai

  1. Buat berbagi secara NFS di Virtual Private Cloud (VPC). Konten yang Anda bagikan harus dapat diakses tanpa autentikasi.

    Anda dapat menggunakan instance Filestore sebagai berbagi NFS. Jika Anda menggunakan Filestore, pilih akses layanan pribadi sebagai mode koneksi saat Anda membuat instance. Sebagai contoh, lihat Membuat instance dalam dokumentasi Filestore.

  2. Ikuti petunjuk dalam Menyiapkan Peering Jaringan VPC untuk membandingkan Vertex AI dengan VPC yang menghosting berbagi secara NFS Anda.

Informasi NFS untuk pelatihan kustom

Saat membuat tugas pelatihan kustom yang memasang berbagi secara NFS, Anda harus menentukan hal berikut:

  • Nama jaringan yang akan diakses oleh Vertex AI. Cara Anda menentukan nama jaringan akan berbeda-beda, bergantung pada jenis tugas pelatihan kustom. Untuk mengetahui detailnya, lihat Melakukan pelatihan kustom.

  • Konfigurasi NFS Anda di kolom WorkerPoolSpec. Sertakan kolom berikut:

    Kolom Deskripsi
    nfsMounts.server Alamat IP server NFS Anda. Alamat ini harus berupa alamat pribadi di VPC Anda.
    nfsMounts.path Jalur berbagi secara NFS. Jalur ini harus berupa jalur absolut yang dimulai dengan /.
    nfsMounts.mountPoint Lokasi titik pemasangan lokal. Titik ini harus berupa nama direktori UNIX yang valid. Misalnya, jika direktori pemasangan lokal adalah sourceData, tentukan jalur /mnt/nfs/sourceData dari instance VM pelatihan Anda.

    Untuk mengetahui informasi selengkapnya, lihat Tempat menentukan resource komputasi.

Contoh: membuat tugas kustom menggunakan gcloud CLI

  1. Ikuti langkah-langkah di Membuat aplikasi pelatihan Python untuk container bawaan guna membuat aplikasi pelatihan agar berjalan di Vertex AI.

  2. Buat file bernama config.yaml yang mendeskripsikan jaringan dan setelan pemasangan NFS untuk tugas pelatihan Anda. Gunakan format berikut:

    network: projects/PROJECT_NUMBER/global/networks/NETWORK_NAME
workerPoolSpecs:
    - machineSpec:
        machineType: MACHINE_TYPE
      replicaCount: 1
      pythonPackageSpec:
        executorImageUri: PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI
        packageUris:
          -  PYTHON_PACKAGE_URIS
        pythonModule: PYTHON_MODULE
      nfsMounts:
        - server: NFS_SERVER_IP
          path: NFS_SHARE_NAME
          mountPoint: LOCAL_FOLDER

    Ganti kode berikut:

    • PROJECT_NUMBER: Project ID dari project Google Cloud Anda.

    • NETWORK_NAME: Nama VPC pribadi atau bersama Anda.

    • MACHINE_TYPE: ID jenis mesin virtual Anda.

    • PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI: URI image container di Artifact Registry yang akan menjalankan paket Python yang disediakan. Vertex AI menyediakan berbagai image eksekutor dengan paket yang sudah terinstall untuk memenuhi berbagai kasus penggunaan pengguna.

    • PYTHON_PACKAGE_URIS: Daftar URI Cloud Storage yang dipisahkan koma yang menentukan file paket Python yang membentuk program pelatihan dan paket dependennya. Jumlah maksimum URI paket adalah 100.

    • PYTHON_MODULE: Nama modul Python yang akan dijalankan setelah menginstal paket.

    • NFS_SERVER_IP: Alamat IP server NFS Anda.

    • NFS_SHARE_NAME: Jalur berbagi NFS, yang merupakan jalur absolut yang dimulai dengan /.

    • LOCAL_FOLDER: Titik pemasangan lokal (nama direktori UNIX).

    Pastikan nama jaringan diformat dengan benar dan file NFS ada di jaringan yang ditentukan.

  3. Buat tugas kustom dan teruskan file config.yaml Anda ke parameter --config.

    gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --config=config.yaml

    Ganti kode berikut:

    • LOCATION: Menentukan region tempat membuat tugas.

    • JOB_NAME: Nama untuk tugas kustom.

Batasan

  • Anda harus memasang berbagi secara NFS menggunakan alamat IP yang bersifat internal untuk VPC Anda; dilarang menggunakan URL publik.

  • Tugas pelatihan memasang fitur berbagi secara NFS tanpa autentikasi, dan akan gagal jika nama pengguna dan sandi diperlukan.

    Untuk mengamankan data Anda, tetapkan izin akses pada NFS. Jika Anda menggunakan Filestore, lihat kontrol akses dalam dokumentasi Filestore.

  • Anda tidak dapat menjalankan dua tugas pelatihan yang memasang berbagi secara NFS dari jaringan VPC yang berbeda secara bersamaan. Hal ini disebabkan oleh pembatasan peering jaringan.