运行 Spark Operator 的多个实例

在同一个 K8s 集群中运行 Spark Operator 的多个实例

如果需要在同一个 k8s 集群中运行多个 Spark operator 实例，则需要确保这些运行中的实例不监听同一个 spark job 命名空间。例如，您可以在 spark-operator 命名空间中部署两个 Spark operator 实例，其中一个的 release name 为 spark-operator-1，它监听 spark-1 命名空间

# Create the spark-1 namespace if it does not exist
kubectl create ns spark-1

# Install the Spark operator with release name spark-operator-1
helm install spark-operator-1 spark-operator/spark-operator \
    --namespace spark-operator \
    --create-namespace \
    --set 'spark.jobNamespaces={spark-1}'

然后部署另一个 release name 为 spark-operator-2 的实例，它监听 spark-2 命名空间

# Create the spark-2 namespace if it does not exist
kubectl create ns spark-2

# Install the Spark operator with release name spark-operator-2
helm install spark-operator-2 spark-operator/spark-operator \
    --namespace spark-operator \
    --create-namespace \
    --set 'spark.jobNamespaces={spark-2}'

反馈

本页面是否有帮助？


最后修改日期 2024年9月28日: 更新用户指南以运行多个 Spark operator 实例 (#3884) (ed65cba)