定制 Spark Operator

定制 Spark Operator

要定制 Operator,请按照以下步骤操作:

  1. 根据 Spark 文档编译支持 Kubernetes 的 Spark 发行版。

  2. 使用 docker-image 工具创建用于 Spark 的 Docker 镜像。

  3. 基于上述镜像创建新的 Operator 镜像。您需要在 Dockerfile 中修改 FROM 标签,使用您的 Spark 镜像。

  4. 通过运行以下命令构建多架构 Operator 镜像并推送到您自己的镜像仓库 (docker buildx 是必需的)

    make docker-build IMAGE_REGISTRY=docker.io IMAGE_REPOSITORY=kubeflow/spark-operator IMAGE_TAG=latest PLATFORMS=linux/amd64,linux/arm64
    
  5. 通过指定您自己的 Operator 镜像来部署 Spark Operator Helm chart

    helm repo add --force-update spark-operator https://kubeflow.github.io/spark-operator
    
    helm install spark-operator spark-operator/spark-operator \
        --namespace spark-operator \
        --create-namespace \
        --set image.registry=docker.io \
        --set image.repository=kubeflow/spark-operator \
        --set image.tag=latest
    

反馈

本页是否有帮助?


最后修改于 2025 年 3 月 20 日:spark-operator: customize spark operator (#4040) (11d6166)