定制 Spark Operator
定制 Spark Operator
要定制 Operator,请按照以下步骤操作:
根据 Spark 文档编译支持 Kubernetes 的 Spark 发行版。
使用 docker-image 工具创建用于 Spark 的 Docker 镜像。
基于上述镜像创建新的 Operator 镜像。您需要在 Dockerfile 中修改
FROM
标签,使用您的 Spark 镜像。通过运行以下命令构建多架构 Operator 镜像并推送到您自己的镜像仓库 (docker buildx 是必需的)
make docker-build IMAGE_REGISTRY=docker.io IMAGE_REPOSITORY=kubeflow/spark-operator IMAGE_TAG=latest PLATFORMS=linux/amd64,linux/arm64
通过指定您自己的 Operator 镜像来部署 Spark Operator Helm chart
helm repo add --force-update spark-operator https://kubeflow.github.io/spark-operator helm install spark-operator spark-operator/spark-operator \ --namespace spark-operator \ --create-namespace \ --set image.registry=docker.io \ --set image.repository=kubeflow/spark-operator \ --set image.tag=latest
最后修改于 2025 年 3 月 20 日:spark-operator: customize spark operator (#4040) (11d6166)