このページでは、Dataproc Serverless を使用して、Vertex AI Workbench マネージド ノートブック インスタンスのサーバーレス Spark でノートブック ファイルを実行する方法について説明します。
マネージド ノートブック インスタンスは、Dataproc Serverless サービスで実行するノートブック ファイルのコードを送信できます。このサービスは、必要に応じてリソースを自動的にスケーリングするマネージド コンピューティング インフラストラクチャでコードを実行します。したがって、独自のクラスタをプロビジョニングして管理する必要はありません。
Dataproc Serverless の料金は、ワークロードが実行されている時間に対してのみ適用されます。
要件
Dataproc Serverless Spark でノートブック ファイルを実行するには、次の要件をご覧ください。
Dataproc Serverless セッションは、マネージド ノートブック インスタンスと同じリージョンで実行する必要があります。
「OS Login が必要（
constraints/compute.requireOsLogin）」の制約をプロジェクトで有効にしないでください。組織での OS Login の管理をご覧ください。Dataproc Serverless でノートブック ファイルを実行するには、特定の権限を持つサービス アカウントを指定する必要があります。これらの権限をデフォルトのサービス アカウントに付与するか、カスタム サービス アカウントを指定できます。このページの権限に関するセクションをご覧ください。
Dataproc Serverless Spark セッションでは、Virtual Private Cloud（VPC）ネットワークを使用してワークロードを実行します。VPC サブネットワークは特定の要件を満たす必要があります。Spark 向け Dataproc Serverless ネットワーク構成の要件をご覧ください。
権限
Dataproc Serverless でノートブック ファイルを実行するために必要な権限がサービス アカウントに付与されるように、サービス アカウントにプロジェクトの Dataproc ワーカー（roles/dataproc.worker）IAM ロールを付与するように管理者に依頼してください。ロールの付与の詳細については、アクセスの管理をご覧ください。
この事前定義ロールには、Dataproc Serverless でノートブック ファイルを実行するために必要な権限が含まれています。必要な権限を正確に確認するには、[必要な権限] セクションを開いてください。
必要な権限
-
dataproc.agents.create -
dataproc.agents.delete -
dataproc.agents.get -
dataproc.agents.update -
dataproc.tasks.lease -
dataproc.tasks.listInvalidatedLeases -
dataproc.tasks.reportStatus
管理者は、サービス アカウントに、カスタムロールや他の事前定義ロールを付与することもできます。
始める前に
-
サーバーレス Spark セッションを作成するには、プレビュー アクセスリストに登録されている必要があります。
アクセスをリクエスト - Google Cloud アカウントにログインします。Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Notebooks, Vertex AI, and Dataproc API を有効にします。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。