Sviluppo di un'applicazione nel cluster Ray su Vertex AI

Puoi connetterti a un cluster Ray su Vertex AI e sviluppare un'applicazione utilizzando i seguenti metodi:

  • Connettiti al cluster Ray su Vertex AI utilizzando la versione dell'SDK Vertex AI per Python che include la funzionalità del client Ray. Utilizza questa opzione se preferisci un ambiente di sviluppo Python interattivo.

    • Usa l'SDK Vertex AI per Python nel blocco note Colab Enterprise nella console Google Cloud.

    • Utilizza l'SDK Vertex AI per Python all'interno di una sessione Python, di una shell o di un blocco note Jupyter.

  • Scrivi uno script Python e invialo al cluster Ray su Vertex AI utilizzando l'API Ray Jobs. Utilizza questa opzione se preferisci inviare i job in modo programmatico.

Prima di iniziare, assicurati di leggere la panoramica di Ray on Vertex AI e di configurare tutti gli strumenti prerequisiti di cui hai bisogno.

Connettiti a un cluster Ray

Per utilizzare il client Ray interattivo, connettiti al cluster Ray su Vertex AI. La rete dell'ambiente di connessione dipende dalla configurazione di rete del cluster. Non ci sono limitazioni per l'ambiente di connessione, a patto che il cluster abbia accesso a internet pubblico. Ciò significa che una rete VPC non è stata specificata durante la creazione del cluster. Tuttavia, se il cluster si trova su una rete VPC privata in peering con Vertex AI, l'ambiente di connessione deve trovarsi sulla stessa rete VPC del cluster.

Console

  1. Nella console Google Cloud, vai alla pagina Ray on Vertex AI.

    Vai alla pagina Ray su Vertex AI

  2. Nella riga corrispondente al cluster che hai creato, fai clic su Apri in Colab Enterprise.

  3. Si apre il blocco note di Colab Enterprise. Segui le istruzioni su come usare l'SDK Vertex AI per Python per connetterti al cluster Ray su Vertex AI.

    • Se una schermata di dialogo ti chiede di attivare le API, fai clic su Abilita.

    • Fai clic su Connetti se ti connetti al cluster per la prima volta oppure su Riconnetti se ti stai riconnettendo al cluster. Il blocco note impiega alcuni minuti per connettersi al runtime.

    • Fai clic su +CREA per creare un nuovo blocco note.

    • Fai clic su Riquadro Ray su Vertex AI per aprire il riquadro Ray su Vertex AI.
      Viene visualizzata la visualizzazione dei cluster esistenti.

    • Seleziona un cluster e fai clic su COLLEGA.
      Il codice viene visualizzato nel blocco note aperto che si connette al cluster scelto.

    • (Facoltativo) Altre azioni: per aprire la pagina dell'elenco di cluster Ray on Vertex AI, fai clic su Gestisci cluster nel riquadro Ray on Vertex AI.

      • Seleziona un cluster e fai clic sul menu Altre azioni.
        Vengono visualizzate altre opzioni:
        vengono visualizzate altre opzioni

    • Esegui la cella di codice Introduzione per importare l'SDK Vertex AI per Python e connettiti al cluster Ray su Vertex AI.

Python

Da un ambiente Python interattivo:

import ray

# Necessary even if aiplatform.* symbol is not directly used in your program.
from google.cloud import aiplatform
import vertex_ray

import vertexai
vertexai.init()
# The CLUSTER_RESOURCE_NAME is the one returned from vertex_ray.create_ray_cluster.
CLUSTER_RESOURCE_NAME='projects/{}/locations/{}/persistentResources/{}'.format(PROJECT_ID, LOCATION, CLUSTER_NAME)

ray.init('vertex_ray://{}'.format(CLUSTER_RESOURCE_NAME))

Dove:

  • LOCATION: la località specificata per il cluster Ray su Vertex AI.

  • PROJECT_ID: l'ID del tuo progetto Google Cloud. Puoi trovare l'ID progetto nella pagina di benvenuto della console Google Cloud.

  • CLUSTER_NAME: il nome del tuo cluster Ray su Vertex AI, specificato al momento della creazione del cluster. Vai alla console Google Cloud per visualizzare l'elenco dei nomi dei cluster per un progetto.

Dovrebbe essere restituito un output simile al seguente:

Python version:  3.10.12
Ray version: 2.9
Vertex SDK version: 1.46.0
Dashboard: xxxx-dot-us-central1.aiplatform-training.googleusercontent.com

Puoi utilizzare l'URL Dashboard per accedere alla dashboard Ray da un browser. L'URI è nel formato http://xxxx-dot-us-central1.aiplatform-training.googleusercontent.com/. La dashboard mostra i job inviati, il numero di GPU o CPU e lo spazio su disco di ogni macchina nel cluster.

Una volta stabilita la connessione al cluster Ray su Vertex AI, puoi sviluppare un programma Ray nello stesso modo in cui ne svilupperesti uno per un normale backend Ray OSS.

@ray.remote
def square(x):
  print(x)
  return x * x

# Launch four parallel square tasks.
futures = [square.remote(i) for i in range(4)]

print(ray.get(futures))
# Returns [0, 1, 4, 9]

Sviluppare un'applicazione utilizzando l'API Ray Jobs

Questa sezione descrive come inviare un programma Python al cluster Ray su Vertex AI utilizzando l'API Ray Jobs.

Scrivere uno script Python

Sviluppa la tua applicazione come script Python in qualsiasi editor di testo. Ad esempio, inserisci il seguente script in un file my_script.py:

import ray
import time

@ray.remote
def hello_world():
    return "hello world"

@ray.remote
def square(x):
    print(x)
    time.sleep(100)
    return x * x

ray.init()  # No need to specify address="vertex_ray://...."
print(ray.get(hello_world.remote()))
print(ray.get([square.remote(i) for i in range(4)]))

Inviare un job Ray usando l'API Ray Jobs

Puoi inviare un job Ray utilizzando Python, l'interfaccia a riga di comando Ray Jobs o l'indirizzo pubblico della dashboard Ray.

Python: nome della risorsa del cluster

All'interno della rete in peering VPC, invia un job Ray utilizzando un ambiente Python:

import ray
import vertex_ray
from ray.job_submission import JobSubmissionClient
from google.cloud import aiplatform  # Necessary even if aiplatform.* symbol is not directly used in your program.

CLUSTER_RESOURCE_NAME='projects/{}/locations/REGION/persistentResources/{}'.format(PROJECT_ID, CLUSTER_NAME)

client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME))

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file.
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "xgboost",
            "ray==2.9.3", # pin the Ray version to prevent it from being overwritten
           ]
  }
)

# Ensure that the Ray job has been created.
print(job_id)

Dove:

  • REGION: la regione specificata per il cluster Ray su Vertex AI.

  • PROJECT_ID: il numero del tuo progetto Google Cloud. Puoi trovare l'ID progetto nella pagina di benvenuto della console Google Cloud.

  • CLUSTER_NAME: il nome del tuo cluster Ray su Vertex AI, specificato al momento della creazione del cluster. Vai alla console Google Cloud per visualizzare l'elenco dei nomi dei cluster per un progetto.

Python - Dashboard Ray

L'indirizzo della dashboard Ray è accessibile dall'esterno del VPC, inclusa la rete internet pubblica. Tieni presente che vertex_ray è necessario per ottenere automaticamente l'autenticazione.

from ray.job_submission import JobSubmissionClient
import vertex_ray

DASHBOARD_ADDRESS=DASHBOARD_ADDRESS

client = JobSubmissionClient(
  "vertex_ray://{}".format(DASHBOARD_ADDRESS),
)

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "xgboost",
            "ray==2.9.3", # pin the Ray version to prevent it from being overwritten
           ]
  }
)
print(job_id)

Dove:

DASHBOARD_ADDRESS: l'indirizzo della dashboard Ray per il cluster. Puoi trovare l'indirizzo della dashboard utilizzando l'SDK Vertex AI per Python.

Interfaccia a riga di comando Ray Jobs

Tieni presente che puoi utilizzare solo i comandi dell'interfaccia a riga di comando Ray Jobs all'interno della rete VPC in peering.

$ ray job submit --working-dir ./ --address vertex_ray://{CLUSTER_RESOURCE_NAME} -- python my_script.py

Passaggi successivi