安装 Kubeflow Pipelines SDK

设置 Kubeflow Pipelines 开发环境

本指南介绍如何安装 Kubeflow Pipelines SDK,您可以使用它来构建机器学习流水线。您可以使用 SDK 执行流水线,或者选择将流水线上传到 Kubeflow Pipelines UI 中执行。

SDK 的所有类和方法都在自动生成的 SDK 参考文档 中描述。

注意:如果您运行的是 集成 Tekton 的 Kubeflow Pipelines,而不是默认的 集成 Argo 的 Kubeflow Pipelines,则应使用用于 Tekton 的 Kubeflow Pipelines SDK

设置 Python 环境

您需要 Python 3.5 或更高版本才能使用 Kubeflow Pipelines SDK。本指南使用 Python 3.7。

如果您尚未设置 Python 3 环境,请立即设置。本指南推荐 Miniconda,但您可以使用您选择的虚拟环境管理器,例如 virtualenv

按照以下步骤使用 Miniconda 设置 Python 环境

  1. 根据您的环境,选择以下方法之一安装 Miniconda

    • Debian/Ubuntu/Cloud Shell

      apt-get update; apt-get install -y wget bzip2
      wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
      bash Miniconda3-latest-Linux-x86_64.sh
      
    • Windows:下载安装程序,并在安装过程中确保选中 Add Miniconda to my PATH environment variable 选项。

    • MacOS:下载安装程序并运行以下命令

      bash Miniconda3-latest-MacOSX-x86_64.sh
      
  2. 检查 conda 命令是否可用

    which conda
    

    如果未找到 conda 命令,请将 Miniconda 添加到您的路径中

    export PATH=<YOUR_MINICONDA_PATH>/bin:$PATH
    
  3. 创建一个您选择的名称的干净 Python 3 环境。此示例使用 Python 3.7,环境名称为 mlpipeline

    conda create --name mlpipeline python=3.7
    conda activate mlpipeline
    

安装 Kubeflow Pipelines SDK

运行以下命令安装 Kubeflow Pipelines SDK

pip install kfp==1.8

注意:如果您在安装 Kubeflow Pipelines SDK 时没有使用虚拟环境(例如 conda),您可能会收到以下错误

ERROR: Could not install packages due to an EnvironmentError: [Errno 13] Permission denied: '/usr/local/lib/python3.5/dist-packages/kfp-<version>.dist-info'
Consider using the `--user` option or check the permissions.

如果出现此错误,请使用 --user 选项安装 kfp

pip install kfp==1.8

此命令会将 dsl-compilekfp 二进制文件安装到 ~/.local/bin 下,在某些 Linux 发行版(如 Ubuntu)中,此路径不包含在 PATH 中。您可以通过将以下内容附加到 .bashrc 文件末尾的新行中,将 ~/.local/bin 添加到您的 PATH 中

export PATH=$PATH:~/.local/bin

成功安装后,应可以使用 dsl-compile 命令。您可以使用此命令进行验证

which dsl-compile

响应应类似于此

/<PATH_TO_YOUR_USER_BIN>/miniconda3/envs/mlpipeline/bin/dsl-compile

下一步

反馈

此页有帮助吗?