MLflow 教程文档翻译

未分类

2. Concepts 基本概念

• MLflow 主要解决：

  • 实验难以跟踪
  • 复现难：别人复现，或自己在不同的平台上复现
  • 没有标准方式打包或部署模型：因为不同的研究组使用不同的机器学习库，模型和代码以及参数间的联系经常丢失
  • 没有控制中心进行代码的版本控制，管理模型。MLflow可以实现训练，模型复现，部署模型，模型封装功能。

• MLflow 组成
  MLflow有四个组件用来管理机器学习工作流：

  • MLflow Tracking：用来记录模型训练过程中的参数、代码版本、评价指标、和其他输出文件（Artifacts）的接口（API）和可视化界面（UI）。你可以使用MLlfow在任何环境中（单独的脚本或notebook），可以在本地或者服务器上记录结果，比较不同运行结果。团队也可以用来比较不同使用者的运行结果。
  • MLflow Projects:用来打包数据科学代码的标准格式。就是用来打包代码的。一个project就是一个仅包含代码的文件夹或者git repo，额外用一个文件来记录环境依赖和如何运行代码。MLflow可以从自动记录代码版本，所以可以从已有的git repo中运行。
  • MLflow Model：用来打包模型的工具，可以将模型封装成不同格式，比如Python 函数，TensorFlow DAG。
  • MLflow Registry: 提供了一个集中的模型存储，一组API和UI，用于协同管理MLflow模型的整个生命周期。它提供了模型版本控制、阶段转换（从开发阶段到产品或归档）以及注释。

• Referecing Artifacts

  • 引用Artifact的不同组件的不同方法。
• Scalability and Big Data 可扩展性和大数据
  由于机器学习经常需要大数据和大的模型，Mlflow应运而生，并提供了四个维度的扩展：
  
  • 单个MLflow run， 可以本地运行，远程服务器跟踪；
  • 支持不同参数并行启动多个run，例如超参数调参
  • 分布式输入和输出，例如用100TB的数据集进行训练
  • 提供了一个中心，可以管理团队中不同成员的成百上千个模型。支持多个团队，多个成员，多个模型。

3. MLflow Tracking 跟踪模块详解

• 概念
  MLflow Tracking是围绕 runs 进行组织的，runs 相当于一个运行单元，里面记录了一些信息：
  
  • 代码版本：git hash值，仅支持MLflow Project。
  • 起止时间：run 的起止时间
  • 源：登录一个run的文件名，假如是从MLflow Project开始运行一个run的话，记录对应项目名称和进入点。
  • 参数：超参数值，键和值都是string格式。
  • 评价指标Metrics：数字形式，要求随训练会自动更新，如损失函数收敛，MLflow会记录这个变化过程。
  • 输出文件Artifacts: 训练过程输出的记录图片、模型、数据文件等。

你可以通过MLflow Python,R,Java,REST APIs等记录runs。可以从单独的项目，远程云，或一个交互notebook记录runs.
你可以选择性的组合runs到实验中，一旦开始记录，就可以通过Tracking UI或者MLflow API进行查看。

• Runs 在哪记录？
  可以记录到本地文件、SQLAIchemy编译数据库或远程服务器。默认是记录到项目的mlruns本地文件夹中，可以通过运行mlflow UI查看。
  有四种不同的远程跟踪URIs(详见教程).

• Runs和Artifacts如何记录？
  MLflow有两个组件用来保存Runs和Artifacts：Backend Store 和 Artifacts Store. Backend Store 保存runs\parameters\metrics\tags\notes\metadata等，artifacts Store保存files\models\images\in-memory objects\model summary.
  MLflow客户端可以与四种Backend、Artifacts Store交互，如下是四种常见设置：

  • 场景一：本地运行runs, 存储Entities和Artifacts在本地文件夹./mlruns/下。
  • 场景二：本地运行runs，Artifacts存储在本地文件夹./mlruns下，但是用SQlite存储Entities。
  • 场景三：在远程服务器上运行runs，但Entities和Artifacts存储在本地（MLflow on localhost with Tracking Server
    ）
  • 场景四：在远程服务器上运行runs，Entities和Artifacts也存储在远程端。

• 记录数据到runs
  这部分是Python API

• Logging Functions

  • 设置跟踪URI: mlflow.set_tracking_uri()
  • 获取正在跟踪的URI：mlflow.tracking.get_tracking_uri()
  • 创建实验，并返回其ID：mlflow.create_experiment()
  • 激活实验：mlflow.set_experiment()
  • 开启run: mlflow.start_run()
  • 终止run：mlflow.end_run()
  • 获取mlflow.entities.run: mlflow.active_run()
  • 记录一个单独的关键值参数：mlflow.log_param()，记录多个参数用mlflow.log_params()
  • 记录单独的metric：mlflow.log_metric()，同理，多个用mlflow.log_metrics()
  • 设置tag: mlflow.set_tag() ，多个mlflow.set_tags()
  • 记录一个Artifact: mlflow.log_artifact()
  • 记录所有的Artifact: mlflow.log_artifacts()
  • 获取Artifact URI：mlflow.get_artifact_uri()

• Launching Multiple Runs in One Program
  在一个项目里运行多个runs。例如：正在本地调超参数，就可以同时跑多个runs。

• Performance Tracking With Metrics
  在Tracking API中跟踪Metrics，支持两个x轴刻度：时间和训练进程step（Training iterations,epochs）。对x轴的值有一些约束，详见文档。

• Visualizing Metrics

• 自动记录 Automatic Logging
  不用设置，直接记录metrics, parameters, and models。
  俩方式：

  • 直接用 mlflow.autolog() 自动选择环境中已有的工具进行记录。
  • 指定记录工具进行记录。
  • 工具支持：
    
    • Scikit-learn
    • TensorFlow and Keras
    • Gluon
    • XGBoost
    • LightGBM
    • Statsmodels
    • Spark
    • Fastai
    • Pytorch

• Organizing Runs in Experiments

  • MLflow 支持在实验中运行一组runs，这样可以通过比较不同的runs来解决一些难题。

• Managing Experiments and Runs with the Tracking Services API 用Tracking Services API管理实验和Runs

  • MLflow提供了一个更详细的Tracking Service API 用于管理直接管理实验和runs，通过mlflow.trackingd的SDK客户端实现。功能支持：查询之前的runs的数据，j记录关于这些数据的额外信息，创建实验，给一个run添加tag。

• 给runs添加tags

• 跟踪UI
  
  • Tracking UI 可以可视化、搜索和比较runs，并且下载artifacts或者用其他工具来分析的元数据。假如是本地运行，直接在本地文件夹运行MLflow UI,假如是远程用MLflow tracking server，详见文档。
  • UI包括以下特点：
    
    • 以实验为单位的run列表和比较
    • 通过参数和metric值搜索runs
    • 查看runs的metrics
    • 下载runs的结果。

• Querying Runs Programmatically

  • 可以通过功能函数访问Tracking UI。这样可以让以下任务变得更简单。
  • 使用外部工具来查询和比较runs,比如pandas
  • 确定artifacts的URI，可以将这些Artifacts输入到工作流的下一个组件中。
  • 从之前的runs中加载artifacts作为MLflow Model。比如训练、导出、加载一个模型或者是用模型进行推理。
  • 运行自动参数搜索算法，当从不同的runs中查询metrics用来提交新的runs时。例如：超参数调优。详见文档示例。

• MLflow Tracking Servers MLflow跟踪服务器

  • 可以通过mlflow server在服务器上用MLflow进行跟踪
  • 存储
    
    • 一个MLflow有两个组件可以用来存储：一个backend Store和Artifacts Store
    • Backend Stores
      
      • 存储实验或runs的参数、metrics、tags，支持两种格式：文件和数据库（file store or database-backed store）
    • Artifacts Stores
      
      • 除了本地存储，MLflow同样支持以下文件系统： Amazon S3, Azure Blob Storage, Google Cloud Storage, SFTP server, and NFS.
    • File store performance
      
      • 性能受限时重装LibYAML
    • Deletion Behavior
      
      • 卸载MLflow后，Backend和Artifacts文件不会自动删除，需要用mlflow gc手动删除
    • SQLAlchemy Options
  • Networking
    
    • host操作会暴露所有的接口服务，所以在产品上运行server的话，不建议广泛暴露内置服务器（不保密且未经鉴定），建议适应VPN链接。
    • backend的位置也建议是长期存在的稳定的硬盘位置。
  • Logging to a Tracking Server
• System Tags
  
  • MLflow在适当时机会自动设置一些标签，可供读取。你可以随意定义一个标签，但是以mlflow.开头的标签是共内部使用的。