Vertex AI의 Ray 설정

Vertex AI에서 Ray를 시작하기 전에 Google 프로젝트, Python용 Vertex AI SDK, VPC 피어링 네트워크를 설정하는 단계를 수행합니다.

  1. 프로젝트 및 개발 환경 설정의 단계를 수행하여 프로젝트에 대한 결제를 설정하고 Vertex AI API를 사용 설정하며 gcloud CLI를 설치합니다.

  2. Compute Engine API 및 Service Networking API를 아직 사용 설정하지 않았으면 사용 설정합니다.

    API 사용 설정

  3. 기본 요건: 오픈소스 Ray를 사용하여 프로그램을 개발하는 방법을 알고 있어야 합니다.

  4. Vertex AI에 액세스하도록 VPC 피어링 네트워크 및 비공개 서비스 연결을 설정합니다. Python용 Vertex AI SDK를 사용하여 Ray 클러스터의 헤드 노드에 연결하려면 연결 환경(예: Compute Engine VM 또는 Vertex AI Workbench 노트북)이 클러스터와 동일한 피어링된 VPC 네트워크에 있어야 합니다.

  5. 여기에서 사용된 Python용 Vertex AI SDK의 Ray는 Ray 클라이언트, Ray BigQuery 커넥터, Vertex AI 기반 Ray 클러스터 관리, Vertex AI의 예측 기능이 포함된 Python용 Vertex AI SDK 버전입니다.

    • Google Cloud 콘솔에서 Vertex AI의 Ray를 사용하는 경우 Colab Enterprise 노트북은 Ray 클러스터를 만든 후 Python용 Vertex AI SDK 설치 프로세스를 안내합니다.

    • Vertex AI Workbench 또는 다른 대화형 Python 환경에서 Vertex AI의 Ray를 사용하는 경우 Python용 Vertex AI SDK를 설치합니다.

      # The latest image in the Ray cluster includes Ray 2.9
# The latest supported Python version is Python 3.10.
$ pip install google-cloud-aiplatform[ray]

      SDK를 설치한 후 패키지를 가져오기 전에 커널을 다시 시작합니다.

  6. 수직 확장할 수 있는 Vertex AI 기반 Ray 클러스터의 최대 총 노드 수(M)는 설정한 초기 총 노드 수(N)에 따라 다릅니다. Vertex AI 클러스터 기반 Ray를 만든 후 총 노드 수를 P에서 M(포함) 사이의 값으로 확장할 수 있습니다. 여기서 P는 클러스터의 풀 수입니다.

    f(x) = min(29, (32 - ceiling(log2(x)))를 가정할 때 최대 노드 수(M)를 초과하지 않도록 다음 수식을 사용합니다.

    • f(2 * M) = f(2 * N)
    • f(64 * M) = f(64 * N)
    • f(max(32, 16 + M)) = f(max(32, 16 + N))

  7. (선택사항) BigQuery에서 읽으려면 새 BigQuery 데이터 세트를 만들거나 기존 데이터 세트를 사용해야 합니다.

  8. (선택사항) Vertex AI에서 데이터 무단 반출 위험을 완화하려면 VPC 서비스 제어를 사용 설정하면 됩니다. 자세한 내용은 Vertex AI를 사용한 VPC 서비스 제어를 참조하세요.

    VPC 서비스 제어를 사용 설정하면 Cloud Storage 버킷의 파일과 같이 경계 외부의 리소스에 연결할 수 없습니다.

지원되는 위치

커스텀 모델 학습용 특성 가용성 표에는 Vertex AI의 Ray에 사용할 수 있는 위치가 나와 있습니다.

다음 단계