Recuperare un elenco di token

Questa pagina mostra come calcolare i token per un determinato prompt.

I token sono l'unità di testo più piccola che assume un significato per un modello linguistico. Per preparare il testo alla comprensione, i modelli utilizzano la tokenizzazione, un processo che suddivide frasi o blocchi di testo più grandi in token singoli. Quindi, a ogni token univoco viene assegnato un ID numerico. Ciò consente al modello di lavorare con il testo sotto forma di numeri. Quando crei un token, un modello linguistico di grandi dimensioni (LLM) può calcolare le relazioni statistiche tra i token e produrre il token successivo più probabile in una sequenza di token.

Modelli supportati

I seguenti modelli di base supportano la ricezione di un elenco di token e ID token:

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

Recuperare un elenco di token e ID token per una richiesta

Puoi ottenere un elenco di token e ID token utilizzando l'API Vertex AI.

REST

Per ottenere un elenco di token e ID per una richiesta utilizzando l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_ID: il tuo ID progetto.
  • MODEL_ID: il nome del modello per cui vuoi calcolare i token per il prompt. Le opzioni del modello di base sono:
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    Puoi specificare una versione stabile aggiungendo un numero di versione al nome del modello, ad esempio @001. Puoi anche specificare una versione più recente non aggiungendo un numero di versione al nome del modello. Per scoprire quali versioni del modello *stabile* sono disponibili, consulta la sezione Versioni dei modelli stabili disponibili.
  • PROMPT: il prompt per calcolare i token. Non aggiungere virgolette per il prompt qui.

Metodo HTTP e URL: 

POST http://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

Corpo JSON della richiesta: 

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

arricciatura

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory attuale: 

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

Quindi esegui questo comando per inviare la richiesta REST: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory attuale: 

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

Quindi esegui questo comando per inviare la richiesta REST: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

I token di output sono rappresentati in una stringa base64. Per una migliore leggibilità, puoi convertire l'output in stringa normale. Ecco un esempio:


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

Comando curl di esempio

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
http://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

Prezzi e quote

Non è previsto alcun costo per l'utilizzo dell'API ComputeTokens. Esiste un limite di quota di 3000 richieste al minuto, la stessa quota per l'API CountTokens.

Passaggi successivi