Vertex AI의 Ray 클러스터 로그 보기

Vertex AI의 Ray 클러스터를 사용하여 태스크를 수행하면 추적 로그가 자동으로 생성되고 Cloud Logging 및 오픈소스 Ray 모두에 저장됩니다. 이 섹션에서는 Google Cloud 콘솔을 통해 생성된 로그에 액세스하는 방법을 설명합니다.

시작하기 전에 Vertex AI의 Ray 개요를 읽고 필요한 모든 기본 요건 도구를 설정해야 합니다.

Cloud Logging 콘솔

  1. Google Cloud 콘솔의 탐색 패널에서 Logging을 선택한 후 로그 탐색기를 선택합니다.

    로그 탐색기로 이동

  2. 기존 Google Cloud 프로젝트, 폴더 또는 조직을 선택합니다.

  3. 모든 Ray 로그를 표시하려면 다음 쿼리를 쿼리 편집기 필드에 입력한 후 쿼리 실행을 클릭합니다.

    resource.labels.task_name="ray-cluster-logs"

  4. 특정 Ray 클러스터로 로그 범위를 좁히려면 쿼리에 다음 줄을 추가한 후 쿼리 실행을 클릭합니다.

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    여기서 CLUSTER_NAME은 Ray 클러스터 이름입니다.

  5. 로그 범위를 raylet.out과 같은 특정 로그 파일로 더 좁히려면 로그 필드 -> 로그 이름에서 로그 이름을 클릭합니다.

  6. 유사한 로그 항목을 함께 그룹화할 수 있습니다.

    1. 쿼리 결과에서 로그 항목을 클릭하여 로그를 펼칩니다.

    2. jsonPayload에서 tailed_path 값을 클릭합니다. 드롭다운 메뉴가 표시됩니다.

    3. 일치하는 항목 표시를 클릭합니다.

헤드 노드 셸

Ray 헤드 노드의 대화형 셸을 통해 오픈소스 Ray 로그 파일을 볼 수 있습니다.

  1. Google Cloud 콘솔에서 Vertex AI의 Ray 페이지로 이동합니다.

    Vertex AI의 Ray 페이지로 이동

  2. 만든 클러스터 행에서 작업 더보기 메뉴를 클릭합니다.

  3. 헤드 노드 대화형 셸을 선택합니다. 셸이 다른 탭에서 열립니다.

  4. /var/log-storage/ 디렉터리로 이동합니다.

    cd /var/log-storage/

  5. session_DATE/logs/ 디렉터리에서 Ray 로그에 액세스합니다. 여기서 DATE는 Vertex AI의 Ray 클러스터를 만든 날짜입니다.

다음 단계