流水线根目录

从 Kubeflow 流水线 SDK v2 和 Kubeflow 流水线 v2 开始，Kubeflow 流水线支持一项新的中间 Artifact 仓库功能：流水线根目录，支持独立部署和 AI Platform Pipelines 两种模式。

开始之前

本指南介绍 Kubeflow 流水线根目录的基本概念以及如何使用它。本指南假设您已安装 Kubeflow 流水线，或者希望在 Kubeflow 流水线部署指南中使用独立部署或 AI Platform Pipelines 选项来部署 Kubeflow 流水线。

什么是流水线根目录？

流水线根目录表示对象存储桶中的一个路径，Kubeflow 流水线将流水线的 Artifacts 存储在该路径下。此功能原生支持使用 Go CDK 的 MinIO、S3、GCS。

将 Kubeflow 流水线与其他系统集成时，S3 和 GCS 中的 Artifacts 更易于访问。

如何配置流水线根目录认证

MinIO

您无需传递 MinIO 的认证信息。Kubeflow 流水线已配置与其自身一起部署的 MinIO 实例的认证信息。

GCS

如果您想将 pipeline root 指定为 GCS

查看 authentication-pipelines

S3

如果您想将 pipeline root 指定为 S3，请选择以下选项之一

• 通过 AWS IRSA

• 通过 kfp sdk: dsl.get_pipeline_conf().add_op_transformer(aws.use_aws_secret('xxx', ‘xxx’, ‘xxx’))

参考:

• add-op-transformer
• use-aws-secret

如何配置流水线根目录

通过 ConfigMaps

Kubeflow 流水线部署级别的默认流水线根目录可以通过配置 KFP Launcher configmap 来更改。

说明可在此处找到。

通过构建流水线

在构建流水线时，您可以通过 kfp.dsl.pipeline 注解配置流水线根目录

通过 SDK 提交流水线

使用以下方法之一提交流水线时，可以通过 pipeline_root 参数配置流水线根目录

• create_run_from_pipeline_func
• create_run_from_pipeline_package
• run_pipeline.

通过 UI 提交流水线运行

在 UI 中提交流水线运行时，您可以通过 pipeline_root 运行参数配置流水线根目录