启用资源配额强制执行
启用资源配额强制执行
Spark Operator 使用一个验证 webhook 为资源配额强制执行提供了有限支持。它会计算非终止状态 SparkApplications 和 Pod 的资源,并根据剩余资源确定请求的 SparkApplication 是否能够容纳。不支持 ResourceQuota scope 选择器,任何不匹配整个命名空间的 ResourceQuota 对象都将被忽略。与原生的 Pod 配额强制执行一样,当前使用量是异步更新的,因此可能存在一些超额调度的情况。
如果您在受资源配额限制的命名空间中运行 Spark 应用程序,请考虑启用此功能以避免驱动程序资源不足。可以通过命令行参数 -enable-resource-quota-enforcement=true
启用配额强制执行。建议同时设置 -webhook-fail-on-error=true
。
最后修改于 2024年6月22日: Add docs for spark-operator (#3767) (b622672)