教師ありチューニングについて

教師ありのファインチューニングは、ラベル付きデータが利用可能な、明確に定義されたタスクがある場合に適しています。これは、言語やコンテンツが、大規模モデルのトレーニングに使用されたデータと大きく異なるドメイン固有のアプリケーションに特に有効です。

教師ありチューニングでは、ラベル付きデータセットを使用してモデルの動作を調整します。このプロセスでは、予測と実際のラベルの差を最小限に抑えるために、モデルの重みを調整します。次のタイプのタスクでモデルのパフォーマンスを向上させることができます。

  • 分類
  • 感情分析
  • エンティティの抽出
  • 複雑でないコンテンツの要約
  • ドメイン固有のクエリの作成

サポートされているモデル

教師ありチューニングは、次の Gemini テキストモデルでサポートされています。

  • gemini-1.0-pro-002

テキストモデルで教師ありチューニングを使用するユースケース

基盤テキストモデルは、期待される出力やタスクがプロンプトで明確かつ簡潔に定義可能で、プロンプトが常に期待される出力を生成する場合に適しています。一般的な言語パターンから逸脱するニッチな、または特定の情報をモデルに学習させるときは、そのモデルのチューニングを検討してください。たとえば、モデルのチューニングを使用して、モデルに次のことを学習させられます。

  • 出力を生成するための特定の構造や形式
  • 場合に応じて出力を簡潔または詳細にするなどの、特定の動作
  • 入力のタイプに合わせてカスタマイズされた特定の出力

次の例は、プロンプトの指示だけではキャプチャが難しいユースケースです。

  • 分類: 期待されるレスポンスが特定の単語やフレーズ。

    モデルをチューニングすると、モデルが冗長なレスポンスを生成しないようにできます。

  • 要約: 要約は特定の形式に従っています。たとえば、チャットの概要で個人情報(PII)の削除が必要な場合があります。

    この形式では、話者の名前を #Person1#Person2 で置き換えていますが、記述しにくく、基盤モデルではこのようなレスポンスが自然に得られない可能性があります。

  • 抜粋された質問応答: 質問はコンテキストに関するもので、回答はコンテキストの部分文字列です。

    「最終氷期極大期」というレスポンスは、コンテキストから抜き出した特定のフレーズです。

  • チャット: ペルソナ、ロール、キャラクターに合わせて、モデルのレスポンスをカスタマイズする必要があります。

次のような状況でも、モデルをチューニングできます。

  • プロンプトが、希望する結果を十分に一貫して生成しない。
  • タスクが複雑すぎて、プロンプトで定義できない。たとえば、プロンプトで表現するのが難しい動作について、モデルに動作を再現させることができます。
  • タスクについての直感が複雑で、引き出すのは簡単だが、プロンプトとして定式化するのが難しい。
  • 少数ショットの例を削除して、コンテキストを短くしたい。

次のステップ