Dataproc Serverless Spark 运行时版本

Spark 运行时版本 2.2

组件 2.2.8
2024/06/05		 2.2.7
2024/05/29
 2.2.6
2024/05/22		 2.2.5
2024/05/08		 2.2.4
2024/05/01
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.2 0.36.2 0.36.2 0.36.1 0.36.1
Java 17 个 17 个 17 个 17 个 17 个
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Spark 运行时版本 2.0

组件 2.0.72
2024/06/05		 2.0.71
2024/05/29
 2.0.70
2024/05/22		 2.0.69
2024/05/08		 2.0.68
2024/05/01
Apache Spark备注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 连接器 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
Java 17 个 17 个 17 个 17 个 17 个
Conda 22.9 22.9 22.9 22.9 22.9
Python 3.10 3.10 3.10 3.10 3.10
R 4.1 4.1 4.1 4.1 4.1
Scala 2.13 2.13 2.13 2.13 2.13

Spark 运行时版本 1.2

组件 1.2.8
2024/06/05		 1.2.7
2024/05/29
 1.2.6
2024/05/22		 1.2.5
2024/05/08		 1.2.4
2024/05/01
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.2 0.36.2 0.36.2 0.36.1 0.36.1
Java 17 个 17 个 17 个 17 个 17 个
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Spark 运行时版本 1.1

组件 1.1.64
2024/06/05		 1.1.63
2024/05/29
 1.1.62
2024/05/22		 1.1.61
2024/05/08		 1.1.60
2024/05/01
Apache Spark备注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 连接器 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
BigQuery 连接器 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
Java 11 11 11 11 11
Conda 22.11 22.11 22.11 22.11 22.11
Python 3.10 3.10 3.10 3.10 3.10
R 4.2 4.2 4.2 4.2 4.2
Scala 2.12 2.12 2.12 2.12 2.12

注意：

1. 以下 Dataproc 无服务器运行时使用以下默认字符编码：

  • 2.2：UTF-8
  • 2.0：ASCII
  • 1.2：UTF-8
  • 1.1：ASCII