安装 Kubeflow Pipelines SDK
旧版本
本页是关于 Kubeflow Pipelines V1 的,请参阅 V2 文档 获取最新信息。
请注意,虽然 V2 后端能够运行由 V1 SDK 提交的流水线,但我们强烈建议迁移到 V2 SDK。作为参考,V1 SDK 的最终版本是 kfp==1.8.22
,其参考文档可在此处获取。
本指南介绍如何安装 Kubeflow Pipelines SDK,您可以使用它来构建机器学习流水线。您可以使用 SDK 执行流水线,或者选择将流水线上传到 Kubeflow Pipelines UI 中执行。
SDK 的所有类和方法都在自动生成的 SDK 参考文档 中描述。
注意:如果您运行的是 集成 Tekton 的 Kubeflow Pipelines,而不是默认的 集成 Argo 的 Kubeflow Pipelines,则应使用用于 Tekton 的 Kubeflow Pipelines SDK。
设置 Python 环境
您需要 Python 3.5 或更高版本才能使用 Kubeflow Pipelines SDK。本指南使用 Python 3.7。
如果您尚未设置 Python 3 环境,请立即设置。本指南推荐 Miniconda,但您可以使用您选择的虚拟环境管理器,例如 virtualenv
。
按照以下步骤使用 Miniconda 设置 Python 环境
根据您的环境,选择以下方法之一安装 Miniconda
Debian/Ubuntu/Cloud Shell
apt-get update; apt-get install -y wget bzip2 wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh
Windows:下载安装程序,并在安装过程中确保选中 Add Miniconda to my PATH environment variable 选项。
MacOS:下载安装程序并运行以下命令
bash Miniconda3-latest-MacOSX-x86_64.sh
检查
conda
命令是否可用which conda
如果未找到
conda
命令,请将 Miniconda 添加到您的路径中export PATH=<YOUR_MINICONDA_PATH>/bin:$PATH
创建一个您选择的名称的干净 Python 3 环境。此示例使用 Python 3.7,环境名称为
mlpipeline
。conda create --name mlpipeline python=3.7 conda activate mlpipeline
安装 Kubeflow Pipelines SDK
运行以下命令安装 Kubeflow Pipelines SDK
pip install kfp==1.8
注意:如果您在安装 Kubeflow Pipelines SDK 时没有使用虚拟环境(例如 conda
),您可能会收到以下错误
ERROR: Could not install packages due to an EnvironmentError: [Errno 13] Permission denied: '/usr/local/lib/python3.5/dist-packages/kfp-<version>.dist-info'
Consider using the `--user` option or check the permissions.
如果出现此错误,请使用 --user
选项安装 kfp
pip install kfp==1.8
此命令会将 dsl-compile
和 kfp
二进制文件安装到 ~/.local/bin
下,在某些 Linux 发行版(如 Ubuntu)中,此路径不包含在 PATH 中。您可以通过将以下内容附加到 .bashrc
文件末尾的新行中,将 ~/.local/bin
添加到您的 PATH 中
export PATH=$PATH:~/.local/bin
成功安装后,应可以使用 dsl-compile
命令。您可以使用此命令进行验证
which dsl-compile
响应应类似于此
/<PATH_TO_YOUR_USER_BIN>/miniconda3/envs/mlpipeline/bin/dsl-compile