Vertex AI の Imagen で画像キャプションと Visual Question & Answering(VQA)を使用して画像情報を取得する(コンソール)
Vertex AI の Imagen で画像キャプション機能と Visual Question & Answering(VQA)機能を使用して画像に関するテキスト情報を取得する方法を学習します。このクイックスタートでは、Google Cloud コンソールで画像キャプションと VQA を使用する方法について説明します。
始める前に
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Vertex AI API を有効にします。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Vertex AI API を有効にします。
サンプル画像を取得する
環境の設定が完了したら、サンプル画像を取得し、画像キャプションと VQA を使用して画像に関する情報を取得できます。
サンプル画像を取得するには、画像を Cloud Storage から直接ダウンロードするか、次のコマンドを使用して現在のディレクトリに保存します。
curl -O http://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg
画像キャプションを使用して画像の説明を生成する
サンプル画像を取得したら、画像キャプション リクエストを送信して画像のテキスト説明を取得できます。
コンソール
Google Cloud コンソールの Vertex AI ダッシュボードで [Vertex AI Studio] > [ビジョン] タブを開きます。
下部のメニューで [
Caption] をクリックします。[Upload image] をクリックして字幕を付けるローカル画像を選択します。
[Parameters] パネルで次のように設定します。
- Number of captions:
2
を選択します。 - Language: まだ選択していない場合は、
English (en)
を選択します。
- Number of captions:
[
Generate captions] をクリックします。
VQA で質問に対する回答を生成する
最後に、同じ画像を使用して画像について質問し、VQA 機能を使用して回答を取得できます。
コンソール
Google Cloud コンソールの Vertex AI ダッシュボードで [Vertex AI Studio] > [ビジョン] タブを開きます。
下部のメニューで [
Visual Q&A] をクリックします。[Upload image] をクリックしてローカル画像を選択します。
[Parameters] パネルで、回答の数として「2」を選択します。
プロンプト([ここに質問を入力してください。])フィールドに次のテキストを入力します。
What color is the left fish?
[
Generate] をクリックします。
これで完了です。これで、Imagen の画像キャプション機能と VQA 機能を使用して画像に関する情報を取得できました。
クリーンアップ
このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を実施します。
プロジェクトを削除する
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
次のステップ
- Vertex AI の Imagen に関する使用上のガイドラインを確認する。
- Model Garden でトレーニング済みモデルを確認する。
- 責任ある AI のベスト プラクティスと Vertex AI の安全フィルタについて学習する。