Imagen su Vertex AI offre agli sviluppatori di applicazioni le funzionalità all'avanguardia di IA generativa. Poiché si tratta di una tecnologia in fase iniziale, Imagen utilizza le capacità e gli utilizzi in continua evoluzione di Vertex AI per creare potenziali applicazioni errate, usi impropri e conseguenze intenzionali o impreviste. Ad esempio, Imagen su Vertex AI potrebbe generare risultati inaspettati, come immagini offensive, insensibili o contestualmente errate.
Dati questi rischi e complessità, Imagen su Vertex AI è stato progettato sulla base dei principi dell'IA di Google. Tuttavia, è importante che gli sviluppatori comprendano e testino i propri modelli per eseguirne il deployment in modo sicuro e responsabile. Per aiutare gli sviluppatori, Imagen su Vertex AI ha filtri di sicurezza integrati per aiutare i clienti a bloccare output potenzialmente dannosi all'interno del loro caso d'uso. Per saperne di più, consulta la sezione Filtri di sicurezza.
Quando Imagen su Vertex AI è integrato nel caso d'uso unico di un cliente e nel contesto, potrebbero essere necessarie ulteriori considerazioni sull'AI responsabile e limitazioni del modello. Incoraggiamo i clienti a usare pratiche consigliate relative a equità, interpretabilità, privacy e sicurezza.
Filtri di sicurezza
I prompt di testo forniti come input e immagini (generati o caricati) tramite
Imagen su Vertex AI vengono valutati in base a un elenco di filtri di sicurezza, che
includono "categorie dannose" (ad esempio violence, sexual, derogatory
e toxic).
Questi filtri di sicurezza mirano a filtrare i contenuti (generati o caricati) che
violano le nostre Norme di utilizzo accettabile (AUP),
i nostri principi relativi all'uso dell'IA generativa
Se il modello risponde a una richiesta con un messaggio di errore come "Impossibile inviare la richiesta" o"potrebbe violare le nostre norme ", l'input attiva un filtro di sicurezza. Se vengono restituite meno immagini di quelle richieste, alcuni output generati vengono bloccati perché non soddisfano i requisiti di sicurezza.
Puoi scegliere l'aggressività di filtrare i contenuti sensibili regolando il parametro safetySetting.
Attributi di sicurezza
Gli attributi di sicurezza e i filtri di sicurezza non hanno una relazione di mappatura one-to-one. Gli attributi di sicurezza sono l'insieme di attributi che restituiamo all'utente
quando viene impostato includeSafetyAttributes. I filtri di sicurezza sono un insieme di filtri
che utilizziamo per filtrare i contenuti. Non filtriamo tutte le categorie di attributi di sicurezza. Ad
esempio, per la categoria dell'attributo sicurezza"Salute", non filtriamo i contenuti
in base al punteggio di confidenza. Inoltre, non esponiamo i punteggi di confidenza per alcuni dei nostri filtri di sicurezza sensibili interni.
Configura i filtri di sicurezza
Esistono diversi parametri di filtro di sicurezza che puoi utilizzare con il modello imagegeneration. Ad esempio, puoi consentire al modello di segnalare i codici del filtro di sicurezza per i contenuti bloccati, disattivare le persone o la generazione di volti, regolare la sensibilità del filtro dei contenuti o restituire punteggi di sicurezza arrotondati dell'elenco di attributi di sicurezza per input e output. Per informazioni più tecniche sui singoli campi, consulta il riferimento dell'API del modello imagegeneration.
La risposta varia a seconda dei parametri impostati; alcuni influiscono sui contenuti prodotti, mentre altri influiscono sul filtro dei contenuti e sulla modalità di segnalazione dei filtri. Inoltre, il formato di output dipende dall'applicazione di filtri ai dati di input o dall'applicazione di filtri all'output dell'immagine generata.
Parametri che filtrano i contenuti
I seguenti parametri facoltativi influiscono sul filtro dei contenuti o sul modo in cui il filtro ti viene segnalato:
safetySetting* - Consente di impostare l'intensità del filtro per contenuti di output potenzialmente sensibili.includeRaiReason: fornisce informazioni più dettagliate sull'output filtrato.personGeneration- Un'impostazione che offre un maggiore controllo sulla generazione di persone, volti e bambini.disablePersonFace- Deprecato. È possibile scegliere se consentire o meno la generazione di persone e volti. Gli utenti devono invece impostarepersonGeneration.includeSafetyAttributes: fornisce informazioni complete sull'attributo sicurezza per il testo di input, l'immagine di input (per la modifica) e tutte le immagini generate. Queste informazioni includono la categoria di sicurezza (ad esempio"Firearms & Weapons","Illicit Drugs"o"Violence") e i punteggi di confidenza.
* Disponibile solo per il modello imagegeneration@006.
Input filtrato
Se l'input di testo o l'immagine di input (per la modifica) viene filtrata, ricevi una risposta con un codice di errore 400. Una richiesta con input con filtro RAI restituisce questo formato di output se imposti includeRaiReason o includeSafetyAttributes.
L'output dipende dalla versione del modello utilizzata. Di seguito viene mostrato l'output quando l'input viene filtrato in base a versioni diverse del modello:
Modello
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Modelli
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Output filtrato
I contenuti dell'output filtrato variano in base al parametro RAI impostato.
I seguenti esempi di output mostrano il risultato dell'utilizzo dei parametri includeRaiReason
e includeSafetyAttributes.
Output filtrato utilizzando includeRaiReason
Se non aggiungi includeRaiReason o non imposti includeRaiReason: false, la
risposta include solo gli oggetti immagine generati che non vengono filtrati. Tutti gli oggetti immagine filtrati vengono omessi dall'array "predictions": []. Ad esempio, quanto segue è una risposta a una richiesta con "sampleCount": 4, ma due delle immagini vengono filtrate e di conseguenza omesse:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
}
],
"deployedModelId": "MODEL_ID"
}
Se imposti includeRaiReason: true e diverse immagini di output vengono filtrate, la risposta include oggetti immagine generati e oggetti raiFilteredReason per qualsiasi immagine di output filtrata. Ad esempio, di seguito è riportata una risposta a una richiesta con "sampleCount": 4 e includeRaiReason: true, ma due delle immagini sono filtrate. Di conseguenza, due oggetti includono informazioni sull'immagine generate e l'altro oggetto include un messaggio di errore.
Modello
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
},
],
"deployedModelId": "MODEL_ID"
}
Modelli
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "56562880"
},
{
"raiFilteredReason": "56562880"
}
],
"deployedModelId": "MODEL_ID"
}
Output filtrato utilizzando includeSafetyAttributes
Se imposti "includeSafetyAttributes": true, l'array di risposte "predictions": [] include i punteggi RAI (arrotondati a una posizione decimale) degli attributi di sicurezza del testo del prompt positivo. A ogni output non filtrato vengono aggiunti anche gli attributi di sicurezza dell'immagine. Se un'immagine di output viene filtrata, gli attributi di sicurezza non vengono restituiti. Ad esempio, di seguito è riportata una risposta a una richiesta non filtrata e viene restituita un'immagine:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Limitazioni
I seguenti limiti si applicano ad attività diverse:
Limitazioni per la generazione delle immagini
- Amplificazione dei bias: sebbene Imagen su Vertex AI possa generare immagini di alta qualità, potrebbero esserci potenziali bias nei contenuti generati. Le immagini generate si basano sui dati di addestramento del prodotto, il che può includere involontariamente bias che possono perpetuare stereotipi o discriminare determinati gruppi. Sono necessari un monitoraggio e una valutazione accurati per garantire che gli output siano in linea con le Norme di utilizzo accettabile di Google e con il tuo caso d'uso.
- Trasparenza e divulgazione: può essere difficile per gli utenti distinguere tra immagini create con AI'IA e immagini non create con l'IA. Quando utilizzi immagini create con l'AI nel tuo caso d'uso, è importante comunicare chiaramente agli utenti che le immagini sono state generate da un sistema di AI per garantire la trasparenza e mantenere la fiducia nel processo. Abbiamo applicato l'etichettatura dei metadati alle immagini create con AI'IA per contribuire a contrastare il rischio di disinformazione e come parte del nostro approccio responsabile all&#AI.
- Contesto insufficiente: Imagen su Vertex AI potrebbe non avere la comprensione contestuale necessaria per generare immagini appropriate per tutte le situazioni o segmenti di pubblico all'interno del tuo caso d'uso. Assicurati di verificare che le immagini generate siano in linea con il contesto, lo scopo e il pubblico di destinazione scelti.
Limitazioni della modifica delle immagini
- Rappresentazione ingannevole e autenticità: la modifica delle immagini utilizzando Imagen su Vertex AI può comportare la rappresentazione ingannevole o la manipolazione delle immagini, il che potrebbe portare alla creazione di contenuti ingannevoli o fuorvianti. È importante garantire che il processo di editing venga utilizzato in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con AI'IA per contribuire a combattere il rischio di disinformazione e come parte del nostro approccio responsabile all&#AI.
Limitazioni per i sottotitoli codificati
- Accuratezza e sensibilità del contesto: la creazione di didascalie visive potrebbe incontrare difficoltà nel descrivere con precisione immagini complesse o ambigue. Le descrizioni generate potrebbero non comprendere sempre il contesto completo o le sfumature dei contenuti visivi. È importante riconoscere che i sistemi di sottotitolaggio automatizzato presentano limitazioni nella comprensione delle immagini con diversi livelli di complessità e le loro descrizioni devono essere utilizzate con cautela, in particolare in contesti critici o sensibili.
- Ambiguità e interpretazioni soggettive: le immagini possono spesso essere soggette a più interpretazioni e le didascalie generate potrebbero non essere sempre in linea con la comprensione o le aspettative umane. Persone diverse possono percepire e descrivere le immagini in modo diverso a seconda delle esperienze soggettive e del background culturale. È fondamentale considerare il potenziale di ambiguità e soggettività nelle descrizioni delle immagini e fornire contesto aggiuntivo o interpretazioni alternative dove necessario.
- Considerazioni sull'accessibilità: anche se i sottotitoli automatici delle immagini possono supportare l'accessibilità fornendo descrizioni per persone con disabilità visiva, è importante riconoscere che potrebbero non sostituire completamente il testo alternativo o le descrizioni generati dall'uomo e adattati a specifiche esigenze di accessibilità. I sottotitoli automatici potrebbero non avere il livello di dettaglio o la comprensione contestuale necessaria per alcuni casi d'uso relativi all'accessibilità.
Limitazioni della funzionalità Visual Question Answering (VQA)
- Confidenza e incertezza: a volte i modelli VQA possono fornire risposte con fiducia ingiustificata, anche quando la risposta corretta è incerta o ambigua. È essenziale comunicare l'incertezza del modello e fornire punteggi di confidenza appropriati o risposte alternative in caso di ambiguità, anziché trasmettere un falso senso di certezza.
Pratiche consigliate
Per utilizzare questa tecnologia in modo sicuro e responsabile, oltre a misure di salvaguardia tecniche integrate, è importante considerare anche altri rischi specifici del caso d'uso, degli utenti e del contesto aziendale.
Ti consigliamo di procedere nel seguente modo:
- Valutare i rischi per la sicurezza della tua applicazione.
- Valuta la possibilità di apportare modifiche per mitigare i rischi per la sicurezza.
- Esegui test di sicurezza appropriati al tuo caso d'uso.
- Sollecitare il feedback degli utenti e monitorare i contenuti.
Risorse aggiuntive
- Scopri di più sull'IA responsabile per i modelli linguistici di grandi dimensioni (LLM).
- Scopri di più sui consigli di Google relativi alle pratiche di IA responsabile.
- Leggi il nostro blog, Un'agenda condivisa per AI responsabile responsabile
Invia feedback su Imagen su Vertex AI
Se ricevi un output o una risposta imprecisi o che ritieni non sicuri, puoi comunicarcelo inviando un feedback. Il tuo feedback può contribuire a migliorare Imagen su Vertex AI e l'impegno di Google nel campo dell'IA.
Poiché il feedback potrebbe essere leggibile, non inviare dati contenenti informazioni personali, riservate o sensibili.