安装选项
旧版本
本页面介绍的是 Kubeflow Pipelines V1,请参阅V2 文档获取最新信息。
请注意,虽然 V2 后端能够运行由 V1 SDK 提交的流水线,但我们强烈建议迁移到 V2 SDK。作为参考,V1 SDK 的最终版本是 kfp==1.8.22
,其参考文档可在此处获取。
Kubeflow Pipelines 提供多种安装选项。本页面介绍这些选项以及每个选项的功能。
- Kubeflow Pipelines 独立安装 是只包含 Kubeflow Pipelines 的最小化可移植安装。
- 作为完整 Kubeflow 部署的一部分 的 Kubeflow Pipelines 提供所有 Kubeflow 组件并与每个平台更好地集成。
- Beta 版:Google Cloud AI Platform Pipelines 通过在Google Cloud Console上提供管理 UI,使得在 Google Cloud 上安装和使用 Kubeflow Pipelines 更加容易。
- 用于测试目的的 本地 Kubeflow Pipelines 部署。
选择安装选项
除了 Pipelines,您还想使用其他 Kubeflow 组件吗?
如果是,请选择完整 Kubeflow 部署。
您可以使用云端/本地 Kubernetes 集群吗?
如果不能,您应该尝试在本地 Kubernetes 集群上使用 Kubeflow Pipelines 进行学习和测试,请按照在本地集群上部署 Kubeflow Pipelines 中的步骤操作。
您想使用支持多用户的 Kubeflow Pipelines 吗?
如果是,请选择版本 >= v1.1 的完整 Kubeflow 部署。
您部署在 Google Cloud 上吗?
如果是,请部署Kubeflow Pipelines 独立安装。您也可以使用Google Cloud AI Platform Pipelines 通过用户界面部署 Kubeflow Pipelines,但存在自定义性和可升级性方面的限制。有关详细信息,请阅读相应章节。
您部署在其他平台上。
在做出决定之前,请将您平台特定的完整 Kubeflow 与Kubeflow Pipelines 独立安装进行比较。
警告:请谨慎选择安装选项,目前没有支持的方法在不同安装选项之间迁移数据。如果这对您很重要,请创建一个 GitHub Issue。
Kubeflow Pipelines 独立安装
使用此选项将 Kubeflow Pipelines 部署到本地、云或甚至本地 Kubernetes 集群,而无需其他 Kubeflow 组件。要部署 Kubeflow Pipelines 独立安装,您只需使用 kustomize manifests。此过程使定制部署和将 Kubeflow Pipelines 集成到现有 Kubernetes 集群变得更简单。
接口
- Kubeflow Pipelines UI
- Kubeflow Pipelines SDK
- Kubeflow Pipelines API
- Kubeflow Pipelines 端点仅为 Google Cloud 自动配置。
如果您希望在其他平台部署 Kubeflow Pipelines,可以通过 kubectl port-forward
访问,或者自行配置平台特定的、启用认证的端点。
- 发布计划
- Kubeflow Pipelines 独立安装适用于每个 Kubeflow Pipelines 发布版本。您将能使用最新功能。
- 升级支持 (Beta 版)
- 升级 Kubeflow Pipelines 独立安装 介绍了如何进行原地升级。
Google Cloud 集成
- 一个支持认证的 Kubeflow Pipelines 公共端点已为您自动配置。
- 通过 Cloud Console 的 AI Platform Pipelines 仪表板中的 Open Pipelines Dashboard 链接打开 Kubeflow Pipelines UI。
- (可选)您可以选择将数据持久化到 Google Cloud 托管存储(Cloud SQL 和 Cloud Storage)中。
- 支持所有 Google Cloud 认证选项。
关于特定功能的注意事项
- 部署后,您的 Kubernetes 集群仅包含 Kubeflow Pipelines,不包含其他 Kubeflow 组件。例如,要使用 Jupyter Notebook,您必须使用本地 Notebook 或云服务(如 AI Platform Notebooks)中托管的 Notebook。
- Kubeflow Pipelines 的多用户支持在独立安装中不可用,因为多用户支持依赖于其他 Kubeflow 组件。
完整 Kubeflow 部署
使用此选项将 Kubeflow Pipelines 作为完整 Kubeflow 安装的一部分部署到您的本地机器、本地环境或云端。
- 安装指南
- Kubeflow 安装指南
接口
- Kubeflow UI
- Kubeflow UI 内部或外部的 Kubeflow Pipelines UI
- Kubeflow Pipelines SDK
- Kubeflow Pipelines API
- 其他 Kubeflow API
- Kubeflow Pipelines 端点已为每个平台自动配置并支持认证
- 发布计划
- 完整 Kubeflow 按季度发布。接收 Kubeflow Pipelines 更新会有显著延迟。
Kubeflow 版本 | Kubeflow Pipelines 版本 |
---|---|
0.7.0 | 0.1.31 |
1.0.0 | 0.2.0 |
1.0.2 | 0.2.5 |
1.1.0 | 1.0.0 |
1.2.0 | 1.0.4 |
1.3.0 | 1.5.0 |
1.4.0 | 1.7.0 |
注意:Google Cloud、AWS 和 IBM Cloud 已支持 Kubeflow Pipelines 1.0.0 并提供多用户隔离。其他平台可能尚未更新,请参阅此 GitHub issue了解状态。
升级支持:请参考Google Cloud 上升级 Kubeflow Pipelines 的完整 Kubeflow 部分指南。
Google Cloud 集成
- 一个支持认证的 Kubeflow Pipelines 公共端点已使用Cloud Identity-Aware Proxy为您自动配置。
- 目前不支持将您的数据持久化到 Google Cloud 托管存储(Cloud SQL 和 Cloud Storage)中。请参考此 GitHub issue了解最新状态。
- 您可以使用工作负载身份 (Workload Identity) 认证到 Google Cloud。
关于特定功能的注意事项
- 部署后,您的 Kubernetes 集群包含所有Kubeflow 组件。例如,您可以使用与 Kubeflow 一起部署的 Jupyter notebook 服务在您的 Kubeflow 集群中创建一个或多个 notebook 服务器。
- Kubeflow Pipelines 多用户支持仅在完整 Kubeflow 中可用。它支持使用单个 Kubeflow Pipelines 控制平面在多个用户命名空间中协调用户的流水线运行并进行授权。
- 由于发布周期较长,最新功能和错误修复可能不会很快可用。
Google Cloud AI Platform Pipelines
Beta 版本
Google Cloud AI Platform Pipelines 目前处于 Beta 版,支持有限。Kubeflow Pipelines 团队对您的任何反馈都感兴趣,尤其是关于此功能可用性的反馈。
您可以在Kubeflow Pipelines issue 跟踪器中提出任何问题或讨论项。
使用此选项通过 Google Cloud Marketplace 将 Kubeflow Pipelines 部署到 Google Kubernetes Engine (GKE)。您可以将 Kubeflow Pipelines 部署到现有或新的 GKE 集群,并在 Google Cloud 中管理您的集群。
接口
- 用于管理 Kubeflow Pipelines 集群和其他 Google Cloud 服务的 Google Cloud Console
- 通过 Google Cloud Console 中的 Open Pipelines Dashboard 链接访问 Kubeflow Pipelines UI
- Cloud Notebooks 中的 Kubeflow Pipelines SDK
- 您的实例的 Kubeflow Pipelines 端点已为您自动配置
- 发布计划
- AI Platform Pipelines 适用于选定的稳定 Kubeflow Pipelines 发布版本。您接收更新的速度会比 Kubeflow Pipelines 独立安装稍慢。
- 升级支持 (Alpha 版)
- 不支持原地升级。
要通过重新安装(保留现有数据)升级 AI Platform Pipelines,请参阅升级 AI Platform Pipelines指南。
Google Cloud 集成
- 您可以在Cloud Console UI上部署 AI Platform Pipelines。
- 一个支持认证的 Kubeflow Pipelines 公共端点已为您自动配置。
- (可选)您可以选择将数据持久化到 Google Cloud 托管存储服务(Cloud SQL 和 Cloud Storage)中。
- 您可以使用Compute Engine 默认服务账号认证到 Google Cloud。但是,如果需要工作负载权限隔离,此方法可能不适用。
- 只要集群有足够的资源运行 AI Platform Pipelines,您就可以在公共和私有 GKE 集群上部署 AI Platform Pipelines。
关于特定功能的注意事项
- 部署后,您的 Kubernetes 集群仅包含 Kubeflow Pipelines,不包含其他 Kubeflow 组件。例如,要使用 Jupyter Notebook,您可以使用AI Platform Notebooks。
- Kubeflow Pipelines 的多用户支持在 AI Platform Pipelines 中不可用,因为多用户支持依赖于其他 Kubeflow 组件。