Pour concevoir une invite qui fonctionne bien, testez différentes versions de l'invite et testez des paramètres d'invite pour déterminer ce qui renvoie la réponse optimale. Vous pouvez tester les invites de manière automatisée avec les API Codey et dans la console Google Cloud avec Generative AI Studio.
Tester les invites de génération de code
Pour tester les invites de génération de code, choisissez l'une des méthodes suivantes..
REST
Pour tester une invite de génération de code avec l'API Vertex AI, envoyez une requête POST au point de terminaison du modèle de l'éditeur.
Avant d'utiliser les données de la requête, effectuez les remplacements suivants:
- PROJECT_ID : ID de votre projet
- PREFIX : pour les modèles de code,
prefix
représente le début d'un code de programmation significatif ou une invite en langage naturel décrivant le code à générer. - TEMPERATURE : la température est utilisée pour l'échantillonnage pendant la génération de la réponse. La température permet de contrôler le degré de hasard dans la sélection des jetons. Des températures inférieures sont idéales pour les invites qui nécessitent une réponse moins ouverte ou créative, tandis que des températures plus élevées peuvent entraîner des résultats plus diversifiés ou plus créatifs. Une température de
0
signifie que les jetons de probabilité les plus élevés sont toujours sélectionnés. Dans ce cas, les réponses pour une invite donnée sont principalement déterministes, mais une petite quantité de variation est toujours possible. - MAX_OUTPUT_TOKENS : nombre maximal de jetons pouvant être générés dans la réponse. Un jeton correspond environ à quatre caractères. 100 jetons correspondent à environ 60-80 mots.
Spécifiez une valeur inférieure pour les réponses plus courtes et une valeur plus élevée pour les réponses plus longues.
- CANDIDATE_COUNT : nombre de variantes de réponse à renvoyer.
La plage de valeurs valides est une valeur
int
comprise entre 1 et 4.
Méthode HTTP et URL :
POST http://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-bison:predict
Corps JSON de la requête :
{ "instances": [ { "prefix": "PREFIX" } ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "candidateCount": CANDIDATE_COUNT } }
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Enregistrez le corps de la requête dans un fichier nommé request.json
, puis exécutez la commande suivante:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"http://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-bison:predict"
PowerShell
Enregistrez le corps de la requête dans un fichier nommé request.json
, puis exécutez la commande suivante:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "http://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-bison:predict" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON semblable à la suivante.
SDK Vertex AI pour Python
Pour savoir comment installer ou mettre à jour le SDK Vertex AI pour Python, consultez la section Installer le SDK Vertex AI pour Python. Pour en savoir plus, consultez la documentation de référence de l'API SDK Vertex AI pour Python.
Node.js
Avant d'essayer cet exemple, suivez les instructions de configuration pour Node.js décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI Node.js.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Avant d'essayer cet exemple, suivez les instructions de configuration pour Java décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI Java.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Console
Pour tester une invite de génération de code à partir de Generative AI Studio dans la console Google Cloud, procédez comme suit :
- Dans la section "Vertex AI" de la console Google Cloud, accédez à Generative AI Studio.
- Cliquez sur Commencer.
- Cliquez sur Créer une requête.
- Dans Modèle, sélectionnez le modèle dont le nom commence par
code-bison
. Un nombre à trois chiffres aprèscode-bison
indique le numéro de version du modèle. Par exemple,code-bison@001
est le nom de la version 1 du modèle de génération de code. - Dans Requête, saisissez une invite de génération de code.
- Ajustez les Températures et les Limites de jetons pour tester leur impact sur la réponse. Pour en savoir plus, consultez la section Paramètres du modèle de génération de code.
- Cliquez sur Envoyer pour générer une réponse.
- Cliquez sur Enregistrer si vous souhaitez enregistrer une invite.
- Cliquez sur Afficher le code pour afficher le code Python ou une commande curl pour votre invite.
Exemple de commande curl
MODEL_ID="code-bison"
PROJECT_ID=PROJECT_ID
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
http://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \
$"{
'instances': [
{ 'prefix': 'Write a function that checks if a year is a leap year.' }
],
'parameters': {
'temperature': 0.2,
'maxOutputTokens': 1024,
'candidateCount': 1
}
}"
Pour en savoir plus sur la conception de requêtes pour la génération de code, consultez la page Créer des requêtes pour la génération de code.
Diffuser la réponse du modèle de code
Pour afficher des exemples de requêtes et de réponses de code à l'aide de l'API REST, consultez la page Exemples d'utilisation de l'API REST en streaming.
Pour afficher des exemples de requêtes et de réponses de code à l'aide du SDK Vertex AI pour Python, consultez la page Exemples d'utilisation du SDK Vertex AI pour Python pour le streaming.
Étapes suivantes
- Découvrez comment créer des invites de chat de code.
- Découvrez comment créer des invites de complétion de code.
- Découvrez les bonnes pratiques d'IA responsable et les filtres de sécurité de Vertex AI.