AutoSxS

要約

summarization タスクの入力トークンの上限は 4,096 です。

summarization の評価基準は次のとおりです。

質問応答

question_answering タスクの入力トークンの上限は 4,096 です。

question_answering の評価基準は次のとおりです。

REST

モデル評価ジョブを作成するには、pipelineJobs メソッドを使用して POST リクエストを送信します。

リクエストのデータを使用する前に、次のように置き換えます。

• PIPELINEJOB_DISPLAYNAME : pipelineJob の表示名。
• PROJECT_ID : パイプライン コンポーネントを実行する Google Cloud プロジェクト。
• LOCATION: パイプライン コンポーネントを実行するリージョン。us-central1 がサポートされています。
• OUTPUT_DIR: 評価出力を保存する Cloud Storage URI。
• EVALUATION_DATASET : BigQuery テーブル、または評価例を含む JSONL データセットへの Cloud Storage パスのカンマ区切りのリスト。
• TASK: 評価タスク。[summarization, question_answering] のいずれかを指定できます。
• ID_COLUMNS : 各評価例を区別する列。
• AUTORATER_PROMPT_PARAMETERS : 列またはテンプレートにマッピングされた自動評価プロンプト パラメータ。想定されるパラメータは inference_instruction（タスクを行う方法の詳細）と inference_context（タスクの実行に関するコンテンツ）です。たとえば、{'inference_context': {'column': 'my_prompt'}} は、自動評価のコンテキストに対して評価データセットの「my_prompt」列を使用します。
• RESPONSE_COLUMN_A : 事前定義された予測を含む評価データセットの列の名前、または予測を含むモデル A の出力の列の名前。値が指定されていない場合は、正しいモデル出力列名の推定が試行されます。
• RESPONSE_COLUMN_B : 事前定義された予測を含む評価データセットの列の名前、または予測を含むモデル B の出力の列の名前。値が指定されていない場合は、正しいモデル出力列名の推定が試行されます。
• MODEL_A（省略可）: 完全修飾モデルリソース名（projects/{project}/locations/{location}/models/{model}@{version}）またはパブリッシャー モデル リソース名（publishers/{publisher}/models/{model}）。モデル A のレスポンスが指定されている場合は、このパラメータを指定しないでください。
• MODEL_B（省略可）: 完全修飾モデルリソース名（projects/{project}/locations/{location}/models/{model}@{version}）またはパブリッシャー モデル リソース名（publishers/{publisher}/models/{model}）。モデル B のレスポンスが指定されている場合は、このパラメータを指定しないでください。
• MODEL_A_PROMPT_PARAMETERS（省略可）: 列またはテンプレートにマッピングされたモデル A のプロンプト テンプレート パラメータ。モデル A のレスポンスが事前定義されている場合、このパラメータは指定しないでください。例: {'prompt': {'column': 'my_prompt'}} は、prompt という名前のプロンプト パラメータに評価データセットの my_prompt 列を使用します。
• MODEL_B_PROMPT_PARAMETERS（省略可）: 列またはテンプレートにマッピングされたモデル B のプロンプト テンプレート パラメータ。モデル B のレスポンスが事前定義されている場合、このパラメータは指定しないでください。例: {'prompt': {'column': 'my_prompt'}} は、prompt という名前のプロンプト パラメータに評価データセットの my_prompt 列を使用します。

リクエストの本文（JSON）

  {
    "displayName": "PIPELINEJOB_DISPLAYNAME",
    "runtimeConfig": {
        "gcsOutputDirectory": "gs://OUTPUT_DIR",
        "parameterValues": {
            "evaluation_dataset": "EVALUATION_DATASET",
            "id_columns": ["ID_COLUMNS"],
            "task": "TASK",
            "autorater_prompt_parameters": AUTORATER_PROMPT_PARAMETERS,
            "response_column_a": "RESPONSE_COLUMN_A",
            "response_column_b": "RESPONSE_COLUMN_B",
            "model_a": "MODEL_A",
            "model_a_prompt_parameters": MODEL_A_PROMPT_PARAMETERS,
            "model_b": "MODEL_B",
            "model_b_prompt_parameters": MODEL_B_PROMPT_PARAMETERS,
        },
    },
    "templateUri": "http://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default"
  }

curl を使用してリクエストを送信します。

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "http://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

レスポンス

  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "1234567890123456789"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://my-evaluation-bucket/output",
    "parameterValues": {
      "evaluation_dataset": "gs://my-evaluation-bucket/output/data.json",
      "id_columns": [
        "context"
      ],
      "task": "question_answering",
      "autorater_prompt_parameters": {
        "inference_instruction": {
          "template": "Answer the following question: {{ question }} }."
        },
        "inference_context": {
          "column": "context"
        }
      },
      "response_column_a": "",
      "response_column_b": "response_b",
      "model_a": "publishers/google/models/text-bison@001",
      "model_a_prompt_parameters": {
        "prompt": {
          "template": "Answer the following question from the point of view of a college professor: {{ question }}\n{{ context }} }"
        }
      },
      "model_b": "",
      "model_b_prompt_parameters": {}
    }
  },
  "serviceAccount": "[email protected]",
  "templateUri": "http://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default",
  "templateMetadata": {
    "version": "sha256:7366b784205551ed28f2c076e841c0dbeec4111b6df16743fc5605daa2da8f8a"
  }
}

Vertex AI SDK for Python

Vertex AI SDK for Python のインストールまたは更新の方法については、Vertex AI SDK for Python をインストールするをご覧ください。Python API の詳細については、Vertex AI SDK for Python API をご覧ください。

パイプライン パラメータの詳細については、Google Cloud パイプライン コンポーネントのリファレンス ドキュメントをご覧ください。

リクエストのデータを使用する前に、次のように置き換えます。

• PIPELINEJOB_DISPLAYNAME : pipelineJob の表示名。
• PROJECT_ID : パイプライン コンポーネントを実行する Google Cloud プロジェクト。
• LOCATION: パイプライン コンポーネントを実行するリージョン。us-central1 がサポートされています。
• OUTPUT_DIR: 評価出力を保存する Cloud Storage URI。
• EVALUATION_DATASET : BigQuery テーブル、または評価例を含む JSONL データセットへの Cloud Storage パスのカンマ区切りのリスト。
• TASK: 評価タスク。[summarization, question_answering] のいずれかを指定できます。
• ID_COLUMNS : 各評価例を区別する列。
• AUTORATER_PROMPT_PARAMETERS : 列またはテンプレートにマッピングされた自動評価プロンプト パラメータ。想定されるパラメータは inference_instruction（タスクを行う方法の詳細）と inference_context（タスクの実行に関するコンテンツ）です。たとえば、{'inference_context': {'column': 'my_prompt'}} は、自動評価のコンテキストに対して評価データセットの「my_prompt」列を使用します。
• RESPONSE_COLUMN_A : 事前定義された予測を含む評価データセットの列の名前、または予測を含むモデル A の出力の列の名前。値が指定されていない場合は、正しいモデル出力列名の推定が試行されます。
• RESPONSE_COLUMN_B : 事前定義された予測を含む評価データセットの列の名前、または予測を含むモデル B の出力の列の名前。値が指定されていない場合は、正しいモデル出力列名の推定が試行されます。
• MODEL_A（省略可）: 完全修飾モデルリソース名（projects/{project}/locations/{location}/models/{model}@{version}）またはパブリッシャー モデル リソース名（publishers/{publisher}/models/{model}）。モデル A のレスポンスが指定されている場合は、このパラメータを指定しないでください。
• MODEL_B（省略可）: 完全修飾モデルリソース名（projects/{project}/locations/{location}/models/{model}@{version}）またはパブリッシャー モデル リソース名（publishers/{publisher}/models/{model}）。モデル B のレスポンスが指定されている場合は、このパラメータを指定しないでください。
• MODEL_A_PROMPT_PARAMETERS（省略可）: 列またはテンプレートにマッピングされたモデル A のプロンプト テンプレート パラメータ。モデル A のレスポンスが事前定義されている場合、このパラメータは指定しないでください。例: {'prompt': {'column': 'my_prompt'}} は、prompt という名前のプロンプト パラメータに評価データセットの my_prompt 列を使用します。
• MODEL_B_PROMPT_PARAMETERS（省略可）: 列またはテンプレートにマッピングされたモデル B のプロンプト テンプレート パラメータ。モデル B のレスポンスが事前定義されている場合、このパラメータは指定しないでください。例: {'prompt': {'column': 'my_prompt'}} は、prompt という名前のプロンプト パラメータに評価データセットの my_prompt 列を使用します。

import os
from google.cloud import aiplatform
parameters = {
    'evaluation_dataset': 'EVALUATION_DATASET',
    'id_columns': ['ID_COLUMNS'],
    'task': 'TASK',
    'autorater_prompt_parameters': AUTORATER_PROMPT_PARAMETERS,
    'response_column_a': 'RESPONSE_COLUMN_A',
    'response_column_b': 'RESPONSE_COLUMN_B',
    'model_a': 'MODEL_A',
    'model_a_prompt_parameters': MODEL_A_PROMPT_PARAMETERS,
    'model_b': 'MODEL_B',
    'model_b_prompt_parameters': MODEL_B_PROMPT_PARAMETERS,
}
aiplatform.init(project='PROJECT_ID', location='LOCATION', staging_bucket='gs://OUTPUT_DIR')
aiplatform.PipelineJob(
    display_name='PIPELINEJOB_DISPLAYNAME',
    pipeline_root=os.path.join('gs://OUTPUT_DIR', 'PIPELINEJOB_DISPLAYNAME'),
    template_path=(
      'http://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default'),
    parameter_values=parameters,
).run()

モデルを比較する

ファースト パーティ（1p）のリファレンス モデルに対して調整された 1p モデルを評価します。

推論が両方のモデルで同時に実行されるように指定できます。

このコードサンプルは、Vertex Model Registry の調整されたモデルを、同じレジストリのリファレンス モデルに対して評価します。

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
    'model_a': 'publishers/google/models/text-bison@001',
    'model_a_prompt_parameters': {QUESTION: {'template': '{{my_question}}\nCONTEXT: {{my_context}}'}},
  'response_column_a': 'content',
    'model_b': 'projects/abc/locations/abc/models/tuned_bison',
    'model_b_prompt_parameters': {'prompt': {'template': '{{my_context}}\n{{my_question}}'}},
  'response_column_b': 'content',
}

予測を比較する

3p のリファレンス モデルに対して、調整されたサードパーティ（3p）モデルを評価します。

モデルのレスポンスを直接渡すことで、推論をスキップできます。

このコードサンプルは、3p のリファレンス モデルに対して調整された 3p モデルを評価します。

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
#   response_b: str

parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters':
        'inference_instruction': {'column': 'my_question'},
        'inference_context': {'column': 'my_context'},
    },
    'response_column_a': 'content',
    'response_column_b': 'response_b',
}

アライメントを確認する

サポートされているすべてのタスクは、自動評価のレスポンスが人間の好みと一致するように、人間の評価者データを使用してベンチマークされています。ユースケースに対して AutoSxS のベンチマークを行う場合は、人間の好みのデータを AutoSxS に直接提供してください。これにより、アライメント集計の統計情報が出力されます。

人間の好みのデータセットとのアライメントを確認するには、両方の出力（予測結果）を自動評価に指定します。推論の結果を提供することもできます。

このコードサンプルは、自動評価の結果と説明が想定どおりの内容であることを確認します。

# Evaluation dataset schema:
#  my_question: str
#  my_context: str
#   response_a: str
#   response_b: str
#   actual: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
  'response_column_a': 'response_a',
  'response_column_b': 'response_b',
  'human_preference_column': 'actual',
}