Chip: Universal-Sprachmodell

Chirp ist die nächste Generation der Google-Sprachmodelle. Nachdem das Unternehmen mehrere Jahre lang Forschungsarbeiten ausgeführt hat, ist jetzt die erste Version von Chirp für Speech-to-Text verfügbar. Wir möchten Chirp verbessern und auf weitere Sprachen und Domains ausweiten. Weitere Informationen finden Sie in unserem Whitepaper Google USM.

Wir haben Chirp-Modelle mit einer anderen Architektur trainiert als unsere aktuellen Sprachmodelle. Ein einzelnes Modell vereint Daten aus mehreren Sprachen. Nutzer geben jedoch weiterhin die Sprache an, in der das Modell Sprache erkennen soll. Chirp unterstützt einige der Google Speech-Features, die andere Modelle haben. Unten finden Sie die vollständige Liste der Länder.

Modell-Kennzeichnungen

Chirp ist in der Cloud Speech-to-Text API v2 verfügbar. Sie können es wie jedes andere Modell nutzen.

Die Modell-ID für Chirp lautet chirp.

Sie können dieses Modell beim Erstellen einer Erkennung oder inline in synchronen oder Batch-Erkennungsanfragen angeben.

Verfügbare API-Methoden

Chirp verarbeitet Sprache in viel größeren Blöcken als andere Modelle. Das bedeutet, dass sie möglicherweise nicht für die tatsächliche Nutzung geeignet ist. Chip ist über die folgenden API-Methoden verfügbar:

v2Speech.Recognize (gut für kurze Audioaufnahmen < 1 Min.)
v2Speech.BatchRecognize (gut für lange Audioaufnahmen 1 Min. bis 8 Std.)

Chirp ist in den folgenden API-Methoden nicht verfügbar:

v2 Speech.StreamingRecognize
v1 Speech.StreamingRecognize
v1 Speech.Recognize
v1 Speech.LongRunningRecognize
v1p1beta1 Speech.StreamingRecognize
v1p1beta1 Speech.Recognize
v1p1beta1 Speech.LongRunningRecognize

Regionen

Chip ist in den folgenden Regionen verfügbar:

us-central1
europe-west4
asia-southeast1

Weitere Informationen finden Sie auf der Sprachenseite.

Sprachen

Die unterstützten Sprachen finden Sie in der vollständigen Sprachliste.

Funktionsunterstützung und Einschränkungen

Chirp unterstützt derzeit nicht viele der STT API-Features. Weitere Einschränkungen finden Sie unten.

Konfidenzwerte: Die API gibt einen Wert zurück, es ist jedoch kein echter Konfidenzwert.
Sprachanpassung: Keine Anpassungsfunktionen unterstützt.
Sprecherbestimmung: Die automatische Sprecherbestimmung wird nicht unterstützt.
Erzwungene Normalisierung: Nicht unterstützt.
Konfidenz auf Wortebene: Nicht unterstützt.
Spracherkennung: Wird nicht unterstützt.

Chirp unterstützt die folgenden Funktionen:

Automatische Satzzeichen: Die Satzzeichen werden vom Modell vorhergesagt. Sie kann deaktiviert werden.
Timing von Wörtern: Optional zurückgegeben.
Sprachunabhängige Audiotranskription: Das Modell leitet die gesprochene Sprache automatisch in Ihrer Audiodatei ab und fügt sie den Ergebnissen hinzu.

Hinweise

Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Zur Projektauswahl

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Speech-to-Text APIs aktivieren.

Aktivieren Sie die APIs

Prüfen Sie, ob Sie die folgenden Rollen für das Projekt haben: Cloud Speech Administrator

Auf Rollen prüfen

Öffnen Sie in der Google Cloud Console die Seite IAM.
IAM aufrufen
Wählen Sie das Projekt aus.
Suchen Sie in der Spalte Hauptkonto die Zeile mit Ihrer E-Mail-Adresse.

Ist Ihre E-Mail-Adresse nicht in dieser Spalte enthalten, haben Sie keine Rollen.
Prüfen Sie in der Spalte Rolle der Zeile mit Ihrer E-Mail-Adresse, ob die Liste der Rollen die erforderlichen Rollen enthält.

Rollen zuweisen

Öffnen Sie in der Google Cloud Console die Seite IAM.
IAM aufrufen
Wählen Sie das Projekt aus.
Klicken Sie auf Zugriff erlauben.
Geben Sie in das Feld Neue Hauptkonten Ihre E-Mail-Adresse ein.
Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
Klicken Sie auf Speichern.

Installieren Sie die Google Cloud CLI.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Hinweis: Wenn Sie die gcloud CLI zuvor installiert haben, prüfen Sie, ob Sie die neueste Version haben, indem Sie

gcloud components
      update

ausführen.

Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Zur Projektauswahl

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Speech-to-Text APIs aktivieren.

Aktivieren Sie die APIs

Prüfen Sie, ob Sie die folgenden Rollen für das Projekt haben: Cloud Speech Administrator

Auf Rollen prüfen

Öffnen Sie in der Google Cloud Console die Seite IAM.
IAM aufrufen
Wählen Sie das Projekt aus.
Suchen Sie in der Spalte Hauptkonto die Zeile mit Ihrer E-Mail-Adresse.

Ist Ihre E-Mail-Adresse nicht in dieser Spalte enthalten, haben Sie keine Rollen.
Prüfen Sie in der Spalte Rolle der Zeile mit Ihrer E-Mail-Adresse, ob die Liste der Rollen die erforderlichen Rollen enthält.

Rollen zuweisen

Öffnen Sie in der Google Cloud Console die Seite IAM.
IAM aufrufen
Wählen Sie das Projekt aus.
Klicken Sie auf Zugriff erlauben.
Geben Sie in das Feld Neue Hauptkonten Ihre E-Mail-Adresse ein.
Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
Klicken Sie auf Speichern.

Installieren Sie die Google Cloud CLI.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Hinweis: Wenn Sie die gcloud CLI zuvor installiert haben, prüfen Sie, ob Sie die neueste Version haben, indem Sie

gcloud components
      update

ausführen.

Clientbibliotheken können Standardanmeldedaten für Anwendungen verwenden, um sich einfach bei Google APIs zu authentifizieren und Anfragen an diese APIs zu senden. Mit den Standardanmeldedaten für Anwendungen können Sie Ihre Anwendung lokal testen und bereitstellen, ohne den zugrunde liegenden Code zu ändern. Weitere Informationen finden Sie unter <atrack-type="commonincludes" l10n-attrs-original-order="href,track-type,track-name" l10n-encrypted-href="WDE63JFVMK0YqIWBqG8nCycgwkRfOeEqRvzYs1N+2tJUEhcZvE5VtDH5LoWw0lj/" track-name="referenceLink">. Authentifizieren Sie sich für die Verwendung von Clientbibliotheken.</atrack-type="commoninclude">

Erstellen Sie lokale Anmeldedaten zur Authentifizierung für Ihr Google-Konto:
```
gcloud auth application-default login
```

Prüfen Sie außerdem, ob Sie die Clientbibliothek installiert haben.

Synchrone Spracherkennung mit Chirp durchführen

Im Folgenden finden Sie ein Beispiel für eine synchrone Spracherkennung für eine lokale Audiodatei mit Chirp:

Python

from google.api_core.client_options import ClientOptions
from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

def transcribe_chirp(
    project_id: str,
    audio_file: str,
) -> cloud_speech.RecognizeResponse:
    """Transcribe an audio file using Chirp."""
    # Instantiates a client
    client = SpeechClient(
        client_options=ClientOptions(
            api_endpoint="us-central1-speech.googleapis.com",
        )
    )

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        content = f.read()

    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        language_codes=["en-US"],
        model="chirp",
    )

    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{project_id}/locations/us-central1/recognizers/_",
        config=config,
        content=content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response

Anfrage mit aktivierter sprachunabhängiger Transkription stellen

Die folgenden Codebeispiele zeigen, wie Sie eine Anfrage mit aktivierter sprachunabhängiger Transkription stellen.

Python


from google.api_core.client_options import ClientOptions
from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

def transcribe_chirp_auto_detect_language(
    project_id: str,
    audio_file: str,
    region: str = "us-central1",
) -> cloud_speech.RecognizeResponse:
    """Transcribe an audio file and auto-detect spoken language using Chirp.

    Please see http://cloud.go888ogle.com.fqhub.com/speech-to-text/v2/docs/encoding for more
    information on which audio encodings are supported.
    """
    # Instantiates a client
    client = SpeechClient(
        client_options=ClientOptions(
            api_endpoint=f"{region}-speech.googleapis.com",
        )
    )

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        content = f.read()

    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        language_codes=["auto"],  # Set language code to auto to detect language.
        model="chirp",
    )

    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{project_id}/locations/{region}/recognizers/_",
        config=config,
        content=content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")
        print(f"Detected Language: {result.language_code}")

    return response

Erste Schritte mit Chirp in der Google Cloud Console

Achten Sie darauf, dass Sie sich für ein Google Cloud-Konto registriert und ein Projekt erstellt haben.
Rufen Sie in der Google Cloud Console Speech auf.
Aktivieren Sie die API, falls sie noch nicht aktiviert ist.
Erstellen Sie eine STT-Erkennung, die Chirp verwendet. a. Wechseln Sie zum Tab Erkennungen und klicken Sie auf Erstellen.

b. Geben Sie auf der Seite Erkennung erstellen die erforderlichen Felder für Chirp ein.

i. Benennen Sie das Erkennungsmodul.

ii. Wählen Sie chirp als Modell aus.

iii. Wählen Sie die gewünschte Sprache aus. Sie müssen eine Erkennung pro Sprache verwenden, die Sie testen möchten.

iv. Wählen Sie keine anderen Features aus.
Sie benötigen einen STT UI-Arbeitsbereich. Erstellen Sie einen Arbeitsbereich, falls Sie noch keinen haben. a. Rufen Sie die Seite „Transkriptionen“ auf und klicken Sie auf Neue Transkription.

b. Öffnen Sie das Drop-down-Menü Arbeitsbereich und klicken Sie auf Neuer Arbeitsbereich, um einen Arbeitsbereich für die Transkription zu erstellen.

c. Klicken Sie in der Navigationsleiste Neuen Arbeitsbereich erstellen auf Durchsuchen.

d. Klicken Sie, um einen neuen Bucket zu erstellen.

. Geben Sie einen Namen für den Bucket ein und klicken Sie auf Weiter.

f. Klicken Sie auf Erstellen, um den Cloud Storage-Bucket zu erstellen.

g. Klicken Sie nach der Erstellung des Buckets auf Auswählen, um Ihren Bucket auszuwählen.

h. Klicken Sie auf Erstellen, um den Arbeitsbereich für die Speech-to-Text-UI zu erstellen.
Führen Sie eine Transkription Ihres Audios durch.

a. Wählen Sie auf der Seite Neue Transkription Ihre Audiodatei entweder durch einen Upload (Lokaler Upload) oder durch Angabe einer vorhandenen Cloud Storage-Datei (Cloud Storage) aus. Hinweis: Die Benutzeroberfläche versucht, die Parameter der Audiodatei automatisch zu bewerten.

b. Klicken Sie auf Weiter, um zu den Transkriptionsoptionen zu gelangen.

c. Wählen Sie die Gesprochene Sprache aus, die Sie für die Erkennung mit Chirp von Ihrem zuvor erstellten Erkennungsmodul verwenden möchten.

d. Wählen Sie im Drop-down-Menü des Modells Chirp – Universal Speech Model aus.

. Wählen Sie im Drop-down-Menü Erkennung Ihre neu erstellte Erkennung aus.

f. Klicken Sie auf Senden, um Ihre erste Erkennungsanfrage mit Chirp auszuführen.
Sehen Sie sich das Chipp-Transkriptionsergebnis an. a. Klicken Sie auf der Seite Transkriptionen auf den Namen der Transkription, um das Ergebnis aufzurufen.

b. Auf der Seite Transkriptionsdetails können Sie Ihr Transkriptionsergebnis anzeigen und optional die Audioinhalte im Browser abspielen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Optional: Widerrufen Sie die von Ihnen erstellten Anmeldedaten für die Authentifizierung und löschen Sie die lokale Datei mit den Anmeldedaten:
```
gcloud auth application-default revoke
```

Optional: Widerrufen Sie Anmeldedaten von der gcloud-CLI.
```
gcloud auth revoke
```

Console

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

Zur Seite „Ressourcen verwalten“

Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.

Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

gcloud

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Google Cloud-Projekt löschen:

gcloud projects delete PROJECT_ID

Nächste Schritte

Transkribieren kurzer Audiodateien üben
Weitere Informationen zum Transkribieren von Audiostreams
Lange Audiodateien transkribieren
Best Practices-Dokumentation für maximale Leistung und Genauigkeit sowie für weitere Tipps