Imagen di Vertex AI menghadirkan kemampuan AI generatif Google yang canggih kepada developer aplikasi. Sebagai teknologi tahap awal, kemampuan dan penggunaan Imagen di Vertex AI yang terus berkembang menciptakan potensi penyelewengan, penyalahgunaan, dan konsekuensi yang tidak diinginkan atau tidak terduga. Misalnya, Imagen di Vertex AI dapat menghasilkan output yang tidak diharapkan, seperti gambar yang menyinggung, tidak sensitif, atau salah secara kontekstual.
Mengingat risiko dan kompleksitas ini, Imagen di Vertex AI dirancang dengan mempertimbangkan Prinsip AI Google. Namun, penting bagi para developer untuk memahami dan menguji model mereka agar dapat men-deploy-nya dengan aman dan bertanggung jawab. Untuk membantu developer, Imagen di Vertex AI memiliki filter keamanan bawaan untuk membantu pelanggan memblokir output yang berpotensi berbahaya dalam kasus penggunaan mereka. Lihat bagian filter keamanan untuk mengetahui informasi selengkapnya.
Saat Imagen di Vertex AI diintegrasikan ke dalam konteks dan kasus penggunaan unik untuk pelanggan, pertimbangan responsible AI tambahan dan batasan model mungkin perlu untuk dipertimbangkan. Kami mendorong pelanggan untuk menggunakan praktik yang direkomendasikan, keadilan, penafsiran, privasi, dan keamanan.
Filter keamanan
Perintah teks yang disediakan sebagai input dan gambar (yang dihasilkan atau diupload) melalui
Imagen di Vertex AI dinilai berdasarkan daftar filter keamanan, yang
mencakup 'kategori berbahaya' (misalnya, violence, sexual, derogatory,
dan toxic).
Filter keamanan ini bertujuan untuk memfilter konten (yang dihasilkan atau diupload) yang
melanggar Kebijakan Penggunaan yang Dapat Diterima (AUP),
Prinsip Kebijakan Penggunaan Terlarang AI Generatif, atau
AI kami
Jika model merespons permintaan yang berisi pesan error seperti "Prompt tidak dapat dikirimkan" atau "mungkin melanggar kebijakan kami", input tersebut akan memicu filter keamanan. Jika jumlah gambar yang ditampilkan lebih sedikit dari yang diminta, beberapa output yang dihasilkan akan diblokir karena tidak memenuhi persyaratan keamanan.
Anda dapat memilih seberapa agresif memfilter konten sensitif dengan menyesuaikan
parameter safetySetting.
Atribut keamanan
Atribut keamanan dan filter keamanan tidak memiliki hubungan pemetaan
one-to-one. Atribut keamanan adalah kumpulan atribut yang kami tampilkan kembali kepada pengguna
jika includeSafetyAttributes ditetapkan. Filter keamanan adalah seperangkat filter yang
kita gunakan untuk memfilter konten. Kami tidak memfilter semua kategori atribut keamanan. Misalnya, untuk kategori atribut keamanan "Kesehatan", kami tidak memfilter konten
berdasarkan skor keyakinan kesehatan. Selain itu, kami tidak mengekspos skor keyakinan
untuk beberapa filter keamanan sensitif internal kami.
Konfigurasi filter keamanan
Ada beberapa parameter pemfilteran keamanan yang dapat Anda gunakan dengan
model imagegeneration. Misalnya, Anda dapat mengizinkan model tersebut melaporkan kode filter keamanan untuk konten yang diblokir, menonaktifkan orang atau pembuatan wajah, menyesuaikan sensitivitas pemfilteran konten, atau menampilkan skor keamanan bulat dari daftar atribut keamanan untuk input dan output. Untuk informasi teknis lebih lanjut tentang masing-masing kolom, lihat referensi API model imagegeneration.
Responsnya bervariasi, bergantung pada parameter yang Anda tetapkan; beberapa parameter memengaruhi konten yang dihasilkan, sementara parameter lainnya memengaruhi pemfilteran konten dan cara pemfilteran dilaporkan kepada Anda. Selain itu, format output bergantung pada apakah data input difilter, atau apakah output gambar yang dihasilkan difilter.
Parameter yang memfilter konten
Parameter opsional berikut memengaruhi pemfilteran konten atau cara pemfilteran dilaporkan kepada Anda:
safetySetting* - Memungkinkan Anda menetapkan seberapa agresif filter untuk konten output yang berpotensi sensitif.includeRaiReason- Memberikan informasi yang lebih panjang tentang output yang difilter.personGeneration- Setelan yang memungkinkan Anda lebih mengontrol pembuatan orang, wajah, dan anak-anak.disablePersonFace- Tidak digunakan lagi. Pilihan untuk mengizinkan pembuatan orang dan wajah atau tidak. Sebagai gantinya, pengguna harus menetapkanpersonGeneration.includeSafetyAttributes- Memberi Anda informasi atribut keamanan lengkap untuk teks input, gambar input (untuk pengeditan), dan semua gambar yang dihasilkan. Informasi ini mencakup kategori keamanan (misalnya,"Firearms & Weapons","Illicit Drugs", atau"Violence") dan skor keyakinan.
* Hanya tersedia untuk model imagegeneration@006.
Input yang difilter
Jika input teks atau gambar input (untuk pengeditan) difilter, Anda akan mendapatkan respons
dengan kode error 400. Permintaan dengan input yang difilter RAI akan menampilkan format
output ini jika Anda menetapkan includeRaiReason atau includeSafetyAttributes.
Outputnya bergantung pada versi model yang Anda gunakan. Berikut ini output saat input difilter untuk versi model yang berbeda:
Model
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Model
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Output yang difilter
Konten dari output yang difilter bervariasi bergantung pada parameter RAI yang Anda setel.
Contoh output berikut menunjukkan hasil penggunaan parameter includeRaiReason
dan includeSafetyAttributes.
Output yang difilter menggunakan includeRaiReason
Jika Anda tidak menambahkan includeRaiReason atau menetapkan includeRaiReason: false, respons
Anda hanya akan menyertakan objek gambar yang dihasilkan yang tidak difilter. Semua
objek gambar yang difilter akan dihilangkan dari array "predictions": []. Misalnya, hal berikut adalah respons terhadap permintaan dengan "sampleCount": 4, tetapi
dua gambar difilter dan akibatnya dihilangkan:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
}
],
"deployedModelId": "MODEL_ID"
}
Jika Anda menetapkan includeRaiReason: true dan beberapa gambar output difilter, respons
Anda akan menyertakan objek gambar yang dihasilkan dan objek raiFilteredReason untuk
gambar output yang difilter. Misalnya, contoh berikut adalah respons terhadap
permintaan dengan "sampleCount": 4 dan includeRaiReason: true, tetapi dua gambar
tersebut difilter. Akibatnya, dua objek menyertakan informasi gambar
yang dihasilkan dan objek lainnya menyertakan pesan error.
Model
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
},
],
"deployedModelId": "MODEL_ID"
}
Model
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "56562880"
},
{
"raiFilteredReason": "56562880"
}
],
"deployedModelId": "MODEL_ID"
}
Output yang difilter menggunakan includeSafetyAttributes
Jika Anda menetapkan "includeSafetyAttributes": true, array "predictions": []
respons akan menyertakan skor RAI (dibulatkan ke satu angka desimal) dari atribut keamanan teks
perintah positif. Atribut keamanan gambar
juga ditambahkan ke setiap output yang tidak difilter. Jika gambar output
difilter, atribut keamanannya tidak akan ditampilkan. Misalnya, berikut ini adalah
respons terhadap permintaan yang tidak difilter, dan satu gambar ditampilkan:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttrbutes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttrbutes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Batasan
Batas berikut berlaku untuk tugas yang berbeda:
Batasan pembuatan gambar
- Penguatan bias: Meskipun Imagen di Vertex AI dapat menghasilkan gambar berkualitas tinggi, konten yang dihasilkan mungkin memiliki potensi bias. Gambar yang dihasilkan bergantung pada data pelatihan produk, yang dapat secara tidak sengaja menyertakan bias yang dapat menyebabkan stereotip atau diskriminasi terhadap kelompok-kelompok tertentu. Pemantauan dan pengevaluasian yang cermat diperlukan untuk memastikan agar outputnya sesuai dengan Kebijakan Penggunaan yang Dapat Diterima Google dan kasus penggunaan Anda.
- Transparansi dan pengungkapan: Pengguna mungkin akan kesulitan untuk membedakan antara Gambar yang dibuat AI, dan gambar yang tidak dibuat AI. Saat menggunakan gambar yang dibuat AI dalam kasus penggunaan Anda, penting untuk mengungkapkan dengan jelas kepada pengguna bahwa gambarnya telah dibuat oleh sistem AI untuk memastikan transparansi dan menjaga kepercayaan dalam prosesnya. Kami telah menerapkan pelabelan metadata pada gambar yang dibuat AI untuk membantu mengurangi risiko misinformasi, dan sebagai bagian dari pendekatan yang bertanggung jawab terhadap AI.
- Konteks yang tidak memadai: Imagen di Vertex AI mungkin kurang memiliki pemahaman kontekstual yang diperlukan untuk menghasilkan gambar yang sesuai untuk semua situasi atau audiens dalam kasus penggunaan Anda. Pastikan untuk memeriksa apakah gambar yang dihasilkan selaras dengan konteks, tujuan, dan audiens yang dipilih.
Batasan pengeditan gambar
- Pernyataan tidak benar dan keaslian: Mengedit gambar menggunakan Imagen di Vertex AI dapat mengakibatkan pernyataan tidak benar atau manipulasi gambar, yang berpotensi menyebabkan pembuatan konten yang menipu atau menyesatkan. Penting untuk memastikan bahwa proses pengeditan digunakan secara bertanggung jawab, tanpa mengorbankan keaslian dan kebenaran gambar yang telah diedit. Kami telah menerapkan pelabelan metadata pada gambar yang diedit AI untuk membantu memerangi risiko misinformasi, dan sebagai bagian dari pendekatan yang bertanggung jawab terhadap AI.
Batasan teks keterangan visual
- Akurasi dan sensitivitas konteks: Teks keterangan visual mungkin mengalami tantangan dalam mendeskripsikan gambar yang kompleks atau ambigu secara akurat. Deskripsi yang dihasilkan mungkin tidak selalu menangkap konteks atau nuansa konten visual secara lengkap. Perlu diketahui bahwa sistem teks keterangan otomatis memiliki keterbatasan dalam memahami gambar dengan berbagai tingkat kompleksitas, dan deskripsinya harus digunakan dengan hati-hati, terutama dalam konteks penting atau sensitif.
- Ambiguitas dan penafsiran subjektif: Gambar sering kali dapat ditafsirkan dalam beberapa interpretasi, dan teks yang dihasilkan mungkin tidak selalu sesuai dengan pemahaman atau ekspektasi manusia. Setiap orang dapat melihat dan menggambarkan gambar secara berbeda, berdasarkan pengalaman subjektif dan latar belakang budaya mereka. Anda harus mempertimbangkan potensi ambiguitas dan subjektivitas dalam deskripsi gambar, dan memberikan konteks tambahan atau interpretasi alternatif jika diperlukan.
- Pertimbangan aksesibilitas: Meskipun teks gambar otomatis dapat mendukung aksesibilitas dengan memberikan deskripsi untuk penyandang gangguan penglihatan, penting untuk diketahui bahwa teks ini mungkin tidak sepenuhnya menggantikan teks alternatif buatan manusia, atau deskripsi yang disesuaikan dengan kebutuhan aksesibilitas tertentu. Teks otomatis mungkin tidak memiliki tingkat detail atau pemahaman kontekstual yang diperlukan untuk kasus penggunaan aksesibilitas tertentu.
Batasan Visual Question Answering (VQA)
- Kepercayaan diri yang berlebih, dan ketidakpastian: Model VQA terkadang dapat memberikan jawaban dengan keyakinan yang tidak beralasan, bahkan saat jawaban yang benarnya belum pasti atau ambigu. Penting untuk mengomunikasikan ketidakpastian model, dan memberikan skor keyakinan yang sesuai atau jawaban alternatif jika terdapat ambiguitas, daripada menyampaikan rasa kepastian yang palsu.
Praktik yang direkomendasikan
Untuk memanfaatkan teknologi ini dengan aman dan bertanggung jawab, penting juga untuk mempertimbangkan risiko lain yang spesifik untuk kasus penggunaan, pengguna, dan konteks bisnis Anda, selain memanfaatkan perlindungan teknis bawaan.
Anda sebaiknya melakukan langkah-langkah berikut ini:
- Menilai risiko keamanan aplikasi Anda.
- Mempertimbangkan penyesuaian untuk mengurangi risiko keselamatan.
- Melakukan pengujian keamanan yang sesuai dengan kasus penggunaan Anda.
- Meminta masukan pengguna dan memantau konten.
Referensi tambahan
- Mempelajari Responsible AI untuk Model Bahasa Besar (LLM).
- Mempelajari rekomendasi Google lebih lanjut untuk Praktik Responsible AI.
- Membaca blog kami, Agenda bersama untuk progres responsible AI
Memberikan masukan tentang Imagen di Vertex AI
Jika Anda menerima output atau respons yang tidak akurat, atau yang menurut Anda tidak aman, Anda dapat memberi tahu kami dengan mengirimkan masukan. Masukan Anda dapat membantu meningkatkan kualitas Imagen di Vertex AI, dan upaya Google yang lebih luas dalam AI.
Karena masukan dapat dibaca manusia, jangan kirimkan data yang berisi informasi pribadi, rahasia, atau sensitif.