Menggunakan Imagen pada teks visual serta Pertanyaan dan Jawaban Visual (VQA) Vertex AI untuk mendapatkan informasi gambar (Konsol)

Pelajari cara menggunakan Imagen pada teks visual Vertex AI serta fitur Pertanyaan dan Jawaban Visual (VQA) untuk mendapatkan informasi teks tentang gambar. Panduan memulai ini menunjukkan cara menggunakan teks visual dan VQA di Konsol Google Cloud.

Gambar sampel ikan
Sumber gambar: Worachat Sodsri di Unsplash (gambar yang dipangkas ditampilkan di Konsol Google Cloud).

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Enable the Vertex AI API.

    Enable the API

    5.

  5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  7. Enable the Vertex AI API.

    Enable the API

    8.

Mendapatkan gambar sampel

Setelah menyiapkan lingkungannya, Anda bisa mendapatkan gambar sampel dan menggunakan teks visual serta Pertanyaan dan Jawaban Visual untuk mendapatkan informasi tentang gambar tersebut.

Gambar sampel ikan
Sumber gambar: Worachat Sodsri di Unsplash (gambar dipangkas).

Untuk mendapatkan gambar sampel, download gambar langsung dari Cloud Storage, atau gunakan perintah berikut untuk menyimpannya di direktori saat ini:

curl -O http://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg

Membuat deskripsi gambar dengan teks visual

Setelah mendapatkan gambar sampel, Anda dapat mengirim permintaan teks visual untuk mendapatkan deskripsi teks dari gambar tersebut.

Konsol

  1. Di konsol Google Cloud, buka tab Vertex AI Studio > Vision di dasbor Vertex AI.

    Buka tab Vertex AI Studio

  2. Di menu bawah, klik Caption.

  3. Klik Upload image, lalu pilih gambar lokal yang akan diberi teks.

  4. Di panel Parameters, tetapkan hal berikut:

    1. Number of captions: Pilih 2.
    2. Language: Jika belum dipilih, pilih English (en).

  5. Klik Generate captions.

Membuat jawaban atas pertanyaan dengan VQA

Terakhir, Anda dapat menggunakan gambar yang sama untuk mengajukan pertanyaan tentang gambar tersebut dan mendapatkan jawaban menggunakan fitur VQA.

Konsol

  1. Di konsol Google Cloud, buka tab Vertex AI Studio > Vision di dasbor Vertex AI.

    Buka tab Vertex AI Studio

  2. Di menu bawah, klik Visual Q&A.

  3. Klik Upload image, lalu pilih gambar lokal.

  4. Di panel Parameters, pilih 2 sebagai Number of answers.

  5. Pada kolom prompt (Ask a question here), masukkan teks berikut:

    What color is the left fish?

  6. Klik Generate.

Selamat! Anda baru saja menggunakan teks visual dan fitur VQA Imagen untuk mendapatkan informasi tentang gambar.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus project

  1. Di konsol Google Cloud, buka halaman Manage resource.

    Buka Manage resource

  2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah selanjutnya