简介

什么是 KServe？

KServe 是一个开源项目，可在 Kubernetes 上实现无服务器推理。KServe 为 TensorFlow、XGBoost、scikit-learn、PyTorch 和 ONNX 等常用机器学习 (ML) 框架提供了高性能、高抽象接口，以解决生产模型服务用例。

下图展示了 KServe 的架构

KServe 提供以下功能

• 为在任意框架上提供 ML 模型服务提供 Kubernetes Custom Resource Definition。
• 封装自动扩缩容、网络、健康检查和服务器配置的复杂性，为您的 ML 部署带来 GPU 自动扩缩容、缩减到零以及金丝雀发布等尖端服务功能。
• 通过提供预测、预处理、后处理和可解释性功能，为您的生产 ML 推理服务器提供简单、可插拔和完整的功能集。

如何将 KServe 与 Kubeflow 一起使用？

Kubeflow 在每个 Kubeflow 版本中都在 kubeflow/manifests 仓库中提供了 Kustomize 安装文件。然而，这些文件可能与最新的 KServe 版本不同步。请参阅 KServe/KServe 仓库中的使用 Istio-Dex 在 Kubeflow 上安装 KServe，以获取最新的安装说明。

Kubeflow 还提供了模型 Web 应用，用于通过 Web 界面管理您部署的模型端点。