教師ありチューニングを使用して Gemini Pro モデルをチューニングする

このドキュメントでは、教師ありチューニングを使用して Gemini モデルをチューニングする方法について説明します。

始める前に

教師ありチューニングの仕組みとそのメリットを理解します。
教師ありチューニングデータセットの作成方法の詳細を確認します。
チューニングジョブを実行する教師ありチューニングのリージョンを選択します。

チューニングジョブを作成する

テキストモデルの教師ありチューニングジョブは、Google Cloud コンソール、API、または Vertex AI SDK for Python を使用して作成できます。モデルのチューニング構成のガイダンスについては、推奨構成をご覧ください。

REST

モデルのチューニングジョブを作成するには、tuningJobs.create メソッドを使用して POST リクエストを送信します。一部のパラメータは、すべてのモデルでサポートされているわけではないことに注意してください。チューニングするモデルに適用可能なパラメータのみを含めるようにしてください。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: 実際のプロジェクト ID。
TUNING_JOB_REGION: チューニングジョブを実行するリージョン。これは、チューニング済みのモデルをアップロードするデフォルトのリージョンでもあります。
BASE_MODEL: チューニングする基盤モデルの名前。サポートされる値: gemini-1.0-pro-002
TRAINING_DATASET_URI: トレーニングデータセットの Cloud Storage URI。データセットは JSONL ファイル形式でなければなりません。最適な結果を得るには、少なくとも 100～500 個のサンプルを含めます。詳細については、教師ありチューニングデータセットについてをご覧ください。
VALIDATION_DATASET_URI: 省略可。検証データセットファイルの Cloud Storage URI。
EPOCH_COUNT: 省略可。トレーニングするエポック数。推奨値を使用する場合は、未設定のままにします。
LEARNING_RATE_MULTIPLIER: 省略可。推奨学習率に適用する乗数。推奨値を使用する場合は、未設定のままにします。
TUNED_MODEL_DISPLAYNAME: 省略可。チューニングされたモデルの表示名。設定されていない場合は、ランダムな名前が生成されます。

HTTP メソッドと URL:

POST http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

リクエストの本文（JSON）:

{
  "baseModel": "BASE_MODEL",
  "supervisedTuningSpec" : {
      "training_dataset_uri": "TRAINING_DATASET_URI",
      "validation_dataset_uri": "VALIDATION_DATASET_URI",
      "hyper_parameters": {
          "epoch_count": EPOCH_COUNT,
          "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER
      },
  },
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME,
}

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"

PowerShell

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

レスポンス

{
  "name": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID",
  "createTime": CREATE_TIME,
  "updateTime": UPDATE_TIME,
  "status": "STATUS",
  "supervisedTuningSpec": {
        "training_dataset_uri": "TRAINING_DATASET_URI",
        "validation_dataset_uri": "VALIDATION_DATASET_URI",
        "hyper_parameters": {
            "epoch_count": EPOCH_COUNT,
            "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER
        },
    },
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME"
}

Python


import time

import vertexai
from vertexai.preview.tuning import sft

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"

vertexai.init(project=project_id, location="us-central1")

sft_tuning_job = sft.train(
    source_model="gemini-1.0-pro-002",
    train_dataset="gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
    # The following parameters are optional
    validation_dataset="gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
    epochs=4,
    learning_rate_multiplier=1.0,
    tuned_model_display_name="tuned_gemini_pro",
)

# Polling for job completion
while not sft_tuning_job.has_ended:
    time.sleep(60)
    sft_tuning_job.refresh()

print(sft_tuning_job.tuned_model_name)
print(sft_tuning_job.tuned_model_endpoint_name)
print(sft_tuning_job.experiment)

コンソール

Google Cloud コンソールを使用し、教師ありチューニングでテキストモデルをチューニングするには、次のステップを実行します。

Google Cloud コンソールの [Vertex AI Studio] セクションで、[Vertex AI Studio] ページに移動します。

Vertex AI Studio に移動
[チューニングと抽出] タブをクリックします。
[チューニング済みモデルを作成] をクリックします。
[チューニング方法] で、[教師ありチューニング] のラジオボタンを選択します。
[モデルの詳細] で、次のように構成します。
1. [チューニング済みモデル名] フィールドに、新しいチューニング済みモデルの名前を入力します（最大 128 文字）。
2. [ベースモデル] フィールドで、[gemini-1.0-pro-002] を選択します。
3. [リージョン] プルダウンフィールドで、パイプラインチューニングジョブが実行されるリージョンと、チューニングされたモデルがデプロイされるリージョンを選択します。
省略可: [詳細オプション] プルダウン矢印を開き、以下を構成します。
1. [エポック数] フィールドに、モデルのチューニングで実行するステップ数を入力します。
2. [学習率の乗数] フィールドに、各反復処理のステップサイズを入力します。デフォルト値は 1 です。
[続行] をクリックします。

[チューニング用データセット] ページが開きます。
データセットファイルをアップロードするには、次のいずれかを選択します。
1. まだデータセットをアップロードしていない場合は、[ファイルを Cloud Storage にアップロード] のラジオボタンを選択します。
2. [JSONL ファイルの選択] フィールドで [参照] をクリックし、データセットファイルを選択します。
3. [データセットの場所] で [参照] をクリックし、データセットファイルを保存する Cloud Storage バケットを選択します。
4. データセットファイルがすでに Cloud Storage バケットにある場合は、[Cloud Storage 上の既存ファイル] のラジオボタンを選択します。
5. [Cloud Storage のファイルパス] フィールドで [参照] をクリックし、データセットファイルがある Cloud Storage バケットを選択します。
（省略可）トレーニング中に検証指標を取得するには、[モデル検証を有効にする] 切り替えボタンをクリックします。
1. [検証データセット] に、検証データセットの Cloud Storage パスを入力します。
[チューニングを開始] をクリックします。

新しいモデルは、[チューニングと抽出] ページの [Gemini Pro チューニング済みモデル] セクションに表示されます。モデルのチューニングが完了すると、[ステータス] に「成功」と表示されます。

curl コマンドの例

PROJECT_ID=myproject
LOCATION=us-central1

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"http://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/tuningJobs" \
-d \
$'{
    "baseModel": "gemini-1.0-pro-002",
    "supervisedTuningSpec" : {
        "training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
        "validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl"
    },
    "tunedModelDisplayName": "tuned_gemini_pro"
}'

推奨構成

タスクごとに基盤モデルをチューニングするための推奨構成を、次の表に示します。

タスク	データセットのサンプル数	エポック数
分類	500+	2-4
要約	1,000 以上	2-4
抽出型の QA	500+	2-4
チャット	1,000 以上	2-4

エポック数については、特定のデータセットで最高のパフォーマンスを得るために、複数の値を試すことをおすすめします。エポック数を増やすと、より良い結果が得られる可能性があります。ただし、データセットが小さい場合は特にオーバーフィッティングに注意してください。オーバーフィッティングが発生した場合はエポック数を減らしてください。

分類タスクの場合、タスクの複雑さはクラスの数に比例して増加します。クラスの数が多い場合は、より大きなデータセットが必要になる場合があります。

チューニングジョブのリストを表示する

現在のプロジェクトのチューニングジョブのリストを表示するには、Google Cloud コンソール、Vertex AI SDK for Python を使用するか、tuningJobs メソッドを使用して GET リクエストを送信します。

REST

モデルのチューニングジョブのリストを表示するには、tuningJobs.list メソッドを使用して GET リクエストを送信します。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: 実際のプロジェクト ID。
TUNING_JOB_REGION: チューニングジョブを実行するリージョン。これは、チューニング済みのモデルをアップロードするデフォルトのリージョンでもあります。

HTTP メソッドと URL:

GET http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

次のコマンドを実行します。

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"

PowerShell

次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

レスポンス

{
  "tuning_jobs": [
    TUNING_JOB_1, TUNING_JOB_2, ...
  ]
}

Python

import vertexai
from vertexai.preview.tuning import sft

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"

vertexai.init(project=project_id, location="us-central1")

responses = sft.SupervisedTuningJob.list()

for response in responses:
    print(response)

コンソール

Google Cloud コンソールでチューニングジョブを表示するには、[Vertex AI Studio] ページに移動します。

Vertex AI Studio に移動

Gemini チューニングジョブは、[Gemini Pro チューニング済みモデル] セクションの表に表示されます。

チューニングジョブの詳細を取得する

現在のプロジェクトのチューニングジョブの詳細を取得するには、Google Cloud コンソールまたは Vertex AI SDK for Python を使用します。また、tuningJobs メソッドを使用して GET リクエストを送信することで取得することもできます。

REST

モデルのチューニングジョブのリストを表示するには、tuningJobs.get メソッドを使用して GET リクエストを送信し、TuningJob_ID を指定します。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: 実際のプロジェクト ID。
TUNING_JOB_REGION: チューニングジョブを実行するリージョン。これは、チューニング済みのモデルをアップロードするデフォルトのリージョンでもあります。
TUNING_JOB_ID: チューニングジョブの ID。

HTTP メソッドと URL:

GET http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

次のコマンドを実行します。

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID"

PowerShell

次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

レスポンス

{
  "name": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME",
  "createTime": CREATE_TIME,
  "endTime": END_TIME,
  "tuned_model": {
      "model": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/models/MODEL_ID",
      "endpoint": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID"
  },
  "experiment": "projects/PROJECT_ID/locations/TUNING_JOB_REGION/metadataStores/default/contexts/EXPERIMENT_ID",
  "tuning_data_statistics": {
      "supervised_tuning_data_stats": {
          "tuning_dataset_example_count": "TUNING_DATASET_EXAMPLE_COUNT",
          "total_tuning_character_count": "TOTAL_TUNING_CHARACTER_COUNT",
          "tuning_step_count": "TUNING_STEP_COUNT"
      }
  },
  "status": "STATUS",
  "supervisedTuningSpec" : {
        "training_dataset_uri": "TRAINING_DATASET_URI",
        "validation_dataset_uri": "VALIDATION_DATASET_URI",
        "hyper_parameters": {
            "epoch_count": EPOCH_COUNT,
            "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER
        }
    }
}

Python

import vertexai
from vertexai.preview.tuning import sft

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"
# location = "us-central1"
# tuning_job_id = "TUNING_JOB_ID"

vertexai.init(project=project_id, location="us-central1")

response = sft.SupervisedTuningJob(
    f"projects/{project_id}/locations/{location}/tuningJobs/{tuning_job_id}"
)

print(response)

コンソール

チューニング済みモデルの詳細を Google Cloud コンソールで表示するには、[Vertex AI Studio] ページに移動します。

Vertex AI Studio に移動
[Gemini Pro チューニング済みモデル] の表でモデルを見つけて、[詳細] をクリックします。

モデルの詳細が表示されます。

チューニングジョブをキャンセルする

現在のプロジェクトのチューニングジョブをキャンセルするには、Google Cloud コンソールまたは Vertex AI SDK for Python を使用します。また、tuningJobs メソッドを使用して POST リクエストを送信することでキャンセルすることもできます。

REST

モデルのチューニングジョブのリストを表示するには、tuningJobs.cancel メソッドを使用して GET リクエストを送信し、TuningJob_ID を指定します。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: 実際のプロジェクト ID。
TUNING_JOB_REGION: チューニングジョブを実行するリージョン。これは、チューニング済みのモデルをアップロードするデフォルトのリージョンでもあります。
TUNING_JOB_ID: チューニングジョブの ID。

HTTP メソッドと URL:

POST http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d "" \
     "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel"

PowerShell

次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -Uri "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

レスポンス

{}

Python

import vertexai
from vertexai.preview.tuning import sft

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"
# location = "us-central1"
# tuning_job_id = "TUNING_JOB_ID"

vertexai.init(project=project_id, location="us-central1")

job = sft.SupervisedTuningJob(
    f"projects/{project_id}/locations/{location}/tuningJobs/{tuning_job_id}"
)
job.cancel()

コンソール

Google Cloud コンソールでチューニングジョブをキャンセルするには、[Vertex AI Studio] ページに移動します。

Vertex AI Studio に移動
[Gemini Pro チューニング済みモデル] の表で、[ 実行を管理] をクリックします。
[キャンセル] をクリックします。

チューニングしたモデルで予測を行う

REST

チューニングジョブからチューニング済みモデルを使用して予測を取得するには、POST リクエストを送信して TUNED_ENDPOINT_ID を指定します。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: 実際のプロジェクト ID。
TUNING_JOB_REGION: チューニングジョブを実行するリージョン。これは、チューニング済みのモデルをアップロードするデフォルトのリージョンでもあります。
ENDPOINT_ID: GET API から取得したチューニング済みモデルのエンドポイント ID。
TEMPERATURE: 温度は、topP と topK が適用された場合に発生するレスポンス生成時のサンプリングに使用されます。温度は、トークン選択のランダム性の度合いを制御します。温度が低いほど、確定的で自由度や創造性を抑えたレスポンスが求められるプロンプトに適しています。一方、温度が高いと、より多様で創造的な結果を導くことができます。温度が 0 の場合、確率が最も高いトークンが常に選択されます。この場合、特定のプロンプトに対するレスポンスはほとんど確定的ですが、わずかに変動する可能性は残ります。
モデルが返すレスポンスが一般的すぎる、短すぎる、あるいはフォールバック（代替）レスポンスが返ってくる場合は、温度を高く設定してみてください。
TOP_P: Top-P は、モデルが出力用にトークンを選択する方法を変更します。トークンは、確率の合計が Top-P 値に等しくなるまで、確率の高いもの（Top-K を参照）から低いものへと選択されます。たとえば、トークン A、B、C の確率が 0.3、0.2、0.1 であり、トップ P 値が 0.5 であるとします。この場合、モデルは温度を使用して A または B を次のトークンとして選択し、C は候補から除外します。
ランダムなレスポンスを減らしたい場合は小さい値を、ランダムなレスポンスを増やしたい場合は大きい値を指定します。
TOP_K: Top-K は、モデルが出力用にトークンを選択する方法を変更します。Top-K が 1 の場合、次に選択されるトークンは、モデルの語彙内のすべてのトークンで最も確率の高いものであることになります（グリーディデコードとも呼ばれます）。Top-K が 3 の場合は、最も確率が高い上位 3 つのトークンから次のトークン選択されることになります（温度を使用します）。
トークン選択のそれぞれのステップで、最も高い確率を持つトップ K のトークンがサンプリングされます。その後、トークンはトップ P に基づいてさらにフィルタリングされ、最終的なトークンは温度サンプリングを用いて選択されます。

ランダムなレスポンスを減らしたい場合は小さい値を、ランダムなレスポンスを増やしたい場合は大きい値を指定します。
MAX_OUTPUT_TOKENS: レスポンスで生成できるトークンの最大数。1 トークンは約 4 文字です。100 トークンは約 60～80 語に相当します。
レスポンスを短くしたい場合は小さい値を、長くしたい場合は大きい値を指定します。

HTTP メソッドと URL:

POST http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID:generateContent

リクエストの本文（JSON）:

{
    "contents": [
        {
            "role": "USER",
            "parts": {
                "text" : "Why is sky blue?"
            }
        }
    ],
    "generation_config": {
        "temperature":TEMPERATURE,
        "top_p": TOP_P,
        "top_k": TOP_K,
        "max_output_tokens": MAX_OUTPUT_TOKENS
    }
}

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID:generateContent"

PowerShell

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/endpoints/ENDPOINT_ID:generateContent" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

レスポンス

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "The sky appears blue due to a phenomenon called Rayleigh scattering, where shorter blue wavelengths of sunlight are scattered more strongly by the Earth's atmosphere than longer red wavelengths."
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        {
          "category": "HARM_CATEGORY_HATE_SPEECH",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.06325052,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.03179867
        },
        {
          "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.09334688,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.027742893
        },
        {
          "category": "HARM_CATEGORY_HARASSMENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.17356819,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.025419652
        },
        {
          "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.07864238,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.020332353
        }
      ]
    }
  ],
  "usageMetadata": {
    "promptTokenCount": 5,
    "candidatesTokenCount": 33,
    "totalTokenCount": 38
  }
}

Python

from vertexai.preview.generative_models import GenerativeModel
from vertexai.preview import tuning
from vertexai.preview.tuning import sft

sft_tuning_job = sft.SupervisedTuningJob("projects/<PROJECT_ID>/locations/<TUNING_JOB_REGION>/tuningJobs/<TUNING_JOB_ID>")
tuned_model = GenerativeModel(sft_tuning_job.tuned_model_endpoint_name)
print(tuned_model.generate_content(content))

コンソール

チューニング済みモデルの詳細を Google Cloud コンソールで表示するには、[Vertex AI Studio] ページに移動します。

Vertex AI Studio に移動
[Gemini Pro チューニング済みモデル] の表で、[テスト] を選択します。

チューニングしたモデルで会話を作成できるページが開きます。

チューニングと検証の指標

モデルのチューニングとモデルの評価の指標を収集して報告するよう、モデルのチューニングジョブを構成できます。その後、Vertex AI Studio ページでこれらの指標を可視化できます。

モデルチューニングの指標

モデルのチューニングジョブは、gemini-1.0-pro-002 について次のチューニング指標を自動的に収集します。

/train_total_loss: トレーニングステップでのチューニングデータセットの損失。
/train_fraction_of_correct_next_step_preds: トレーニングステップでのトークンの精度。1 回の予測は一連のトークンで構成されます。この指標は、チューニング用データセットのグラウンドトゥルースと比較したときに予測される、トークンの精度を測定します。
/train_num_predictions: トレーニングステップで予測されるトークンの数。

モデル検証の指標

モデルのチューニングジョブを構成して、gemini-1.0-pro-002 について次の検証指標を収集できます。

/eval_total_loss: 検証ステップでの検証データセットの損失。
/eval_fraction_of_correct_next_step_preds: 評価ステップでのトークンの精度。1 回の予測は一連のトークンで構成されます。この指標は、検証データセットのグラウンドトゥルースと比較したときに予測される、トークンの精度を測定します。
/eval_num_predictions: 検証ステップで予測されるトークンの数。

指標の可視化は、モデルのチューニングジョブの完了後に利用できます。チューニングジョブの作成時に検証データセットを指定しなかった場合、チューニング指標の可視化のみを行うことができます。

次のステップ

生成 AI ナレッジベースを構築するソリューションで教師ありチューニングを使用する方法については、ジャンプスタートソリューション: 生成 AI ナレッジベースをご覧ください。

教師ありチューニングを使用して Gemini Pro モデルをチューニングする

始める前に

チューニング ジョブを作成する

REST

curl

PowerShell

レスポンス

Python

コンソール

curl コマンドの例

推奨構成

チューニング ジョブのリストを表示する

REST

curl

PowerShell

レスポンス

Python

コンソール

チューニング ジョブの詳細を取得する

REST

curl

PowerShell

レスポンス

Python

コンソール

チューニング ジョブをキャンセルする

REST

curl

PowerShell

レスポンス

Python

コンソール

チューニングしたモデルで予測を行う

REST

curl

PowerShell

レスポンス

Python

コンソール

チューニングと検証の指標

モデル チューニングの指標

モデル検証の指標

次のステップ

チューニングジョブを作成する

チューニングジョブのリストを表示する

チューニングジョブの詳細を取得する

チューニングジョブをキャンセルする

モデルチューニングの指標