Cloud Composer-Versionsverwaltung

Auf dieser Seite werden die Cloud Composer-Versionsverwaltung und die Unterschiede zwischen den Haupt-Cloud Composer-Versionen beschrieben.

Hauptversionen von Cloud Composer

Für Cloud Composer gibt es drei Hauptversionen:

  • Cloud Composer 1. Dank manueller Umgebungsskalierung wird die Infrastruktur für Ihre Projekte und Netzwerke bereitgestellt.

  • Cloud Composer 2. Bei dieser Version wird der Cluster der Umgebung automatisch skaliert, um die Ressourcenanforderungen zu erfüllen.

Vergleich der Cloud Composer-Versionen

In der folgenden Tabelle sind die wichtigsten Unterschiede zwischen Cloud Composer 1 und Cloud Composer 2 aufgeführt.

Funktion Cloud Composer 1 Cloud Composer 2
Image-Version composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z
Airflow-Versionen Airflow 1.10.* und Airflow 2 Airflow 2
Python-Versionen 3.8.12 3.11.5 und 3.8.12 in früheren Versionen
Cluster der Umgebung VPC-nativer oder routenbasierter Google Kubernetes Engine-Cluster im Standardmodus VPC-nativer Google Kubernetes Engine-Cluster im Autopilot-Modus
Horizontale Skalierung Kann die Anzahl der Knoten im Cluster der Umgebung anpassen. Dadurch ändert sich die Anzahl der Airflow-Worker.
Kann die Anzahl der Airflow-Planer anpassen.		 Anzahl der Airflow-Worker je nach Bedarf automatisch skalieren. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer und -Trigger anpassen
Vertikale Skalierung Kann beim Erstellen einer Umgebung Maschinentypen für Clusterknoten, den Airflow-Webserver und die Datenbank festlegen. Kann Maschinentypen für Airflow-Webserver und -Datenbank ändern. Kann die Arbeitslastkonfiguration festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, Planer, Webserver und die Umgebungsgröße.
Preismodell Cloud Composer 1-Preismodell Cloud Composer 2-Preismodell
Zugriffssteuerung Cloud Composer 1-Rollen Cloud Composer-Rollen. Verwendet Workload Identity und erfordert zusätzliche Berechtigungen für das Konto des Cloud Composer-Dienst-Agents.
Zugriff über die Mitarbeiteridentitätsföderation Nicht unterstützt Unterstützt
Äußerst stabile Umgebungen Nicht unterstützt Unterstützt
Privates IP-Netzwerk VPC-Peerings Private Service Connect
VPC Service Controls Unterstützt Unterstützt
Airflow-Executors Celery Executor Celery Executor
Airflow-Trigger (verzögerte Operatoren) Nicht unterstützt Unterstützt
CMEK Unterstützt Unterstützt
Webserverzugriffssteuerungen Unterstützt Unterstützt
Webserver neu starten Unterstützt Unterstützt
Webserver-Plug-ins Unterstützt in Airflow 1-Umgebungen mit deaktivierter DAG-Serialisierung. Unterstützt
Benutzerdefinierte Plug-ins installieren Unterstützt Unterstützt
Wartungsvorgänge Alle Aufgaben können betroffen sein. Aufgaben, deren Ausführung weniger als 55 Minuten dauert, sind nicht betroffen.
Snapshots speichern Für Airflow 2.x und 1.10.15 unterstützt Unterstützt
Snapshots werden geladen Nicht unterstützt Unterstützt
Geplante Snapshots Nicht unterstützt Unterstützt
Bucket der benutzerdefinierten Umgebung Nicht unterstützt Unterstützt
Airflow-Tasklogs nur in Cloud Logging speichern Nicht unterstützt Unterstützt
Einbindung von Data Lineage Nicht unterstützt Unterstützt

Cloud Composer-Images

Zur Ausführung von Apache Airflow erstellt Cloud Composer Docker-Images, in denen Airflow-Versionen mit anderen gängigen Binärdateien und Python-Bibliotheken gebündelt werden.

Cloud Composer-Images enthalten Airflow-Änderungen, die spezifisch für Cloud Composer und für die vorgelagerte Airflow-Codebasis nicht geeignet sind. Jedes Cloud Composer-Image enthält vorinstallierte Pakete sowie Cloud Composer-spezifische Airflow-Änderungen.

Google veröffentlicht regelmäßig neue Cloud Composer-Images:

  • In Cloud Composer 2 und Cloud Composer 1 enthalten die Images Cloud Composer-Verbesserungen und neue Builds unterstützter Airflow-Versionen. Wenn Sie Cloud Composer-Verbesserungen nutzen möchten, führen Sie ein Upgrade Ihrer Umgebung auf eine neuere Version von Cloud Composer durch.

Unterstützte und verworfene Versionen

Composer 2

Google unterstützt Cloud Composer 2-Versionen für einen bestimmten Zeitraum nach Veröffentlichung der Version. Während dieser Zeit werden Cloud Composer 2-Umgebungen, die diese Versionen verwenden, vollständig unterstützt.

Die Unterstützung der Cloud Composer 2-Version ist so definiert:

  • 0 bis 12 Monate ab dem Releasedatum: Cloud Composer 2-Umgebungen, in denen diese Versionen ausgeführt werden, werden vollständig unterstützt.

  • 12 bis 18 Monate ab dem Releasedatum: Cloud Composer 2-Umgebungen, in denen diese Versionen ausgeführt werden, werden nur noch unterstützt, um Kunden über Sicherheitsprobleme zu informieren.

  • Mehr als 18 Monate ab dem Releasedatum: Cloud Composer 2-Umgebungen, in denen diese Versionen ausgeführt werden, werden nicht mehr unterstützt und werden vollständig vom Nutzer verwaltet.

Sie können Cloud Composer-Versionen nach dem Datum verwenden, an dem sie nicht mehr unterstützt werden. Wenn Ihre Umgebung beispielsweise auf einer Cloud Composer-Version basiert, deren Supportzeitraum abgelaufen ist, funktioniert die Umgebung weiterhin und Sie können sie weiterhin verwenden. In diesem Fall empfehlen wir ein Upgrade auf eine unterstützte Version für Ihre Umgebung.

Composer 1

Die neuen Versionen von Cloud Composer 1 wurden bis Ende März 2023 veröffentlicht. Alle veröffentlichten Versionen von Cloud Composer 1 unterliegen derselben Richtlinie zur Einstellung von Versionen wie Cloud Composer 2 und werden entsprechend unterstützt.

Am 25. März 2024 wechselte Cloud Composer 1 in den Modus nach der Wartung. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow, Fehlerkorrekturen und Sicherheitsupdates. Wir empfehlen die Migration zu Cloud Composer 2.

Unterstützung für Airflow-Versionen

Airflow folgt dem semantischen Schema zur Verwaltung von Softwareversionen. Jede Airflow-Version hat eine Hauptversion, eine Nebenversion und eine Patchversion.

Composer 2

Eine Liste der Airflow-Versionen, die in jeder Cloud Composer-Version unterstützt werden, finden Sie in der Liste der Cloud Composer-Versionen.

  • In jedem Release unterstützt Cloud Composer 2 zwei Nebenversionen von Airflow 2.

    Cloud Composer 2.4.0 unterstützt beispielsweise Airflow 2.4.* und Airflow 2.5.*

  • Cloud Composer unterstützt für jede Nebenversion von Airflow 2 eine Patchversion.

    Für Airflow 2.4.* Cloud Composer unterstützt Airflow 2.4.3.

  • Wenn eine neue Patchversion von Airflow 2 in Cloud Composer verfügbar ist, sind für den entsprechenden Release zwei Patchversionen von Airflow 2 für dieselbe Nebenversion von Airflow verfügbar. Die vorherige Patchversion wird dann in einer der nächsten Releases entfernt.

    Cloud Composer 2.3.4 unterstützt beispielsweise sowohl Airflow 2.5.1 als auch Airflow 2.5.3.

  • Cloud Composer kann zwischen den Releases von Cloud Composer einige Airflow-Patchversionen überspringen. Wenn es bei einer bestimmten Patchversion von Airflow Funktions-, Qualitäts- oder Leistungsprobleme gibt, kann Cloud Composer diese Version auch überspringen.

    Airflow 2.1.3 wird beispielsweise übersprungen und Airflow 2.1.4 ist verfügbar.

  • Eine Cloud Composer-Version mit einer stabilen Airflow-Version kann Airflow-Updates enthalten, die von einer späteren Airflow-Version zurückportiert werden.

Composer 1

Die neueste in Cloud Composer 1 unterstützte Airflow-Version ist Airflow 2.4.3.

Nur Cloud Composer 1 unterstützt Airflow 1.10.15, die neueste veröffentlichte Version von Airflow 1.

Cloud Composer-Versionsschema

Composer 2

Das Image-Versionsverwaltungsschema von Cloud Composer 2 erfasst Cloud Composer- und Airflow-Versionen:

composer-2.b.c-airflow-x.y.z

Wobei:

  • composer-2.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Composer 1

Das Image-Versionsverwaltungsschema von Cloud Composer 1 erfasst Cloud Composer- und Airflow-Versionen:

composer-1.b.c-airflow-x.y.z

Wobei:

  • composer-1.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Versionsaliasse

Versionsaliasse funktionieren so:

  • Cloud Composer löst den Versionsalias beim Erstellen Ihrer Umgebung in das vollständige Format auf:
    • Alle Versionsaliasse werden in Cloud Composer 2 und Cloud Composer 1 zu composer-a.b.c-airflow-x.y.z.

  • In Cloud Composer 2 und Cloud Composer 1 werden durch die Verwendung eines Versionsalias wie composer-a-airflow-x.y.z keine automatischen Upgrades für eine Umgebung bereitgestellt. Die Umgebung bleibt in derselben Cloud Composer- und Airflow-Version, bis Sie ein Upgrade durchführen.

Cloud Composer 2 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-2-airflow-2 Neueste Version von Cloud Composer 2 Neueste Version von Airflow 2
composer-2-airflow-x.y Neueste Version von Cloud Composer 2 Aktuelle Version von Airflow mit x.y Haupt- und Nebenversionen
composer-2-airflow-x.y.z Neueste Version von Cloud Composer 2 Angegebene Airflow-Version
composer-2.b.c-airflow-x.y Angegebene Version von Cloud Composer 2 Aktuelle Version von Airflow in x.y Haupt- und Nebenversionen verfügbar

Cloud Composer 1 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-1-airflow-2 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 2
composer-1-airflow-1 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 1
composer-1-airflow-x.y Neueste Version von Cloud Composer 1 Aktuelle Version von Airflow mit x.y Haupt- und Nebenversionen
composer-1-airflow-x.y.z Neueste Version von Cloud Composer 1 Angegebene Airflow-Version
composer-1.b.c-airflow-x.y Angegebene Version von Cloud Composer 1 Die neueste Version von Airflow ist in x.y Haupt- und Nebenversionen verfügbar.

Die folgenden Versionsaliasse verweisen auf Cloud Composer 2. Sie können sie weiterhin verwenden, sollten jedoch erwägen, zu Aliassen für Ihre Version von Cloud Composer zu wechseln.

  • composer-latest-airflow-x.y ist gleich composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z ist gleich composer-2-airflow-x.y.z.

Versionsargumente in der Google Cloud CLI

Wenn Sie eine Cloud Composer-Umgebung mit der Google Cloud CLI erstellen oder upgraden, können Sie die Cloud Composer- und Airflow-Versionen angeben:

Composer 2

  • Das Argument --image-version gibt die Cloud Composer 2- und die Airflow-Version an:

    • Mit dem Format composer-a.b.c-airflow-x.y.z wird eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow erstellt.
    • Versionsaliasse werden zuerst in das Format composer-a.b.c-airflow-x.y.z aufgelöst und erstellen dann eine Umgebung mit den angegebenen Versionen von Cloud Composer 2 und Airflow.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z ist für die neueste Version von Cloud Composer 2 und die angegebene Version von Airflow. Dieses Format entspricht dem Versionsalias composer-2-airflow-x.y.z.

    • Das Format x.y ist für die neueste Version von Cloud Composer 2 und die neueste Version von Airflow in den x.y-Haupt- und Nebenversionen verfügbar. Dieses Format entspricht dem Versionsalias composer-2-airflow-x.y.

Composer 1

  • Das Argument --image-version gibt die Cloud Composer 1- und die Airflow-Version an:

    • Mit dem Format composer-a.b.c-airflow-x.y.z wird eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow erstellt.
    • Versionsaliasse werden zuerst in das Format composer-a.b.c-airflow-x.y.z aufgelöst und erstellen dann eine Umgebung mit den angegebenen Versionen von Cloud Composer 1 und Airflow.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z ist für die neueste Version von Cloud Composer 1 und die angegebene Version von Airflow. Dieses Format entspricht dem Versionsalias composer-1-airflow-x.y.z.

    • Das Format x.y ist für die neueste Version von Cloud Composer 1 und die neueste Version von Airflow, die in den Haupt- und Nebenversionen von x.y verfügbar ist. Dieses Format entspricht dem Versionsalias composer-1-airflow-x.y.

Nächste Schritte