ML 实验跟踪工具全面比较

引言

机器学习中的实验跟踪是一个重要的步骤，因为今天，我们正目睹机器学习 (ML) 领域的飞速发展，方法越来越复杂，数据集的规模和多样性也在不断扩大。随着组织寻求在零工经济中脱颖而出，构建、评估和部署模型的过程变得越来越复杂。正是出于这个原因，对一个好的实验跟踪系统的需求日益增长。

实验跟踪意味着机器学习过程的所有方面，包括数据、代码、模型、参数、指标以及关于数据预处理、模型选择、超参数调整以及最终评估的任何相关细节，都得到系统的记录。它不仅仅是文档管理；它是采用恰当的科学方法来支撑机器学习努力的关键原则之一。当实验跟踪没有得到妥善结构化时，团队将难以复现结果，跨团队合作，或扩展 ML 项目，这反过来会导致该项目的平庸。

为什么实验跟踪至关重要

1. 可复现性
   机器学习模型是在多个训练会话的实验中创建的，这些会话用于优化精度。每一次实验都可以设想为数据预处理方法中的微小变化、为分析选择的一组特征、特定架构的使用或不同的超参数。如果监测不善，即使是同一团队，也很难再次重复一个实验，从而造成宝贵工作和发现的损失。同样，在科学中，这是必须遵循的基本规则，在 ML 中，它保证了工作可以被其他参与者检查客观结果并复现。
2. 协作
   在大多数 ML 项目中，不同的用户参与模型开发过程的不同阶段。实验跟踪工具允许使用一个共享位置，让所有参与者都能查看实验的细节和结果，并发布结论。信息共享环境带来了创造力的提高，因为某个任务的成员不必从零开始，也不必浪费时间去弄清楚另一个成员在处理相关任务时到底做了什么。
3. 可扩展性
   随着特定 ML 项目规模的增加，实验管理变得越来越复杂。一个好的跟踪系统（我喜欢这样解释）通过提供一种有组织的策略来应对大量实验，从而支持众多团队之间的这种复杂性。这不仅包括实验跟踪，还包括与版本控制系统、数据集管理和模型部署到生产环境的集成。当从仅构建少量模型转变为大规模 ML Ops 时，实验跟踪应该是一个重要的考虑因素。
   决策
   你会发现，实验跟踪工具包含允许详细比较结果的功能。本文将解释数据建模中使用的不同工具如何帮助数据科学家做出关于要追求的模型，特别是通过使用模型的视觉性能和配置来做出决策。这有助于尽可能消除猜测，并仅提供根据上述指标最适合部署的模型。
4. 可审计性和合规性
   许多组织都受到行业监管，尤其是金融和医疗保健行业。ML 实验必须附带审计跟踪。实验跟踪系统确保模型开发的所有阶段都被记录下来，以促进审计和其他监管活动。随着 ML 模型被用于对重要事项做出高风险决策，这一点变得至关重要。
5. 持续改进
   需要牢记的一个重要事实是，机器学习是一个漫长、迭代的过程，而改进是游戏的名称。实验跟踪允许人们回顾过去的实验，找出哪些是成功的，哪些是不成功的，并在未来利用这些信息。机器学习所标志的迭代、反复试验和改进的过程可以在下图看到——这是 ML 项目的轮子和轴。

没有妥善实验跟踪的常见挑战

令人惊讶的是，在许多组织中，实验跟踪仍然被大大低估。挑战是多方面的

• 数据碎片化：例如，当实验结果没有在中心位置进行跟踪时，它们可能会以笔记本、电子表格和存储库的形式分散在不同的位置，导致难以清晰地了解项目。
• 见解丢失：记录实验期间获取的信息以避免丢失有价值的信息非常重要。这不仅需要一些时间，而且还会阻碍在个人项目中建立在 past works 上的过程。
• 扩展困难：没有妥善的跟踪系统，进行的实验越多，它们就越复杂。这可能会导致错误、机会损失和效率低下。
• 协作效率低下：如果没有共同的工作基础，团队成员就很难协同工作。导致进展缓慢的一些挑战包括误解和工作重复。
• 不合规风险：对于在监管不严行业的组织来说，缺乏妥善的实验跟踪通常会使组织面临不遵守既定标准和法律的风险，这可能导致法律和财务上的后果。

考虑到这些困难，现在很明显，拥有一个妥善的实验跟踪系统不仅是良好的实践，而且对于任何想要开发严肃机器学习的组织来说都是必不可少的。

文章概述

在本文中，我将为读者比较和审查所有可用的现代 ML 实验跟踪工具。然后，我们将讨论每个工具的四个方面，即技术的几个特性、关于使用技术的简单问卷、它们如何集成以及所讨论的技术是可扩展的事实。阅读完本次比较后，您应该能够确定哪个工具更适合您——无论您是需要它用于私人项目还是大型企业 ML 管道。

ML 实验跟踪工具的类别

然而，为了避免混淆并提供对 ML 实验跟踪工具的更好理解，可以根据其功能、部署和目标受众对其进行分类。总的来说，这些工具属于以下类别

1. 开源工具
   开源工具允许用户修改它。这些工具在大学、研究社区和小型初创企业中被广泛使用，因为它们成本效益高且提供灵活性，因为没有许可费。
2. 云平台
   这些工具可以从云提供商那里租用，并且通常作为全面设计的云 ML 工具包的一部分提供。这对于需要应用程序扩展到最大并链接到其他云资产的团队来说很方便。
3. 企业解决方案
   这些是商业工具，面向可能有特殊安全、法规和可扩展性需求的大型组织。它们还可以附带针对大型企业专门设计的大量支持和高级附加组件。
4. 混合解决方案
   其中一些工具是开源的，并且具有云实现，而另一些则仅基于云
   
   • 如今，ML 中普遍使用相当多的跟踪实验工具。
   • 有几种不同类型的流行 ML 实验跟踪工具，其中一些可以在下面进行更详细的分析。我们将讨论它们最显著的特性，以及它们的优缺点。

流行的 ML 实验跟踪工具

在 ML 领域，一些最常用的跟踪和实验工具是

现在是时候更详细地检查一些最常用的跟踪工具，并根据关键功能、优点和缺点比较它们的差异。

1. MLflow

概述

ML flow 是一个开源平台，用于跟踪智能机器学习周期。它由 Data Bricks 创建，包含实验跟踪和管理以及模型部署所需的所有工具。

主要特点

• 实验跟踪： MLflow 易于用于记录参数、指标和其他与实验相关的信息，以及记录实验期间生成的文件，例如模型。大量 ML 库得到原生支持，可以无缝嵌入现有管道。
• 模型注册表： MLflow 包含一个模型注册表，允许团队控制模型版本和阶段，例如从暂存环境迁移到生产环境以及模型 lineage。
• 部署：上述选项表明 MLflow 灵活且可以本地、云端或边缘设备上部署。因此，它适用于多种方法。
• 灵活性：如前所述，MLflow 是一个开源平台，可以根据需求进行修改和扩展以包含新功能。它兼容多种存储连接器，并且可以轻松地与 Apache Spark、TensorFlow 和 PyTorch 等其他工具结合使用。

优点

• 广泛采用：与其他形式的 ML 工作流相比，MLflow 拥有庞大的用户群、良好的文档以及与其他平台的兼容性。
• 可扩展性：它可以用于小型实现，例如家庭和办公室，也可以用于更大规模的实现，例如企业应用程序。
• 可定制性：客户还可以根据自己的需求自由定制和构建框架。

缺点

• 复杂性：尽管 MLflow 是一个非常强大的工具，但它并不容易设置，并且可能需要对模型注册表和部署等各种功能进行许多配置。
• 有限的用户界面：它的功能非常强大，没有像某些商业程序那样华丽的装饰——它是一个界面。

2. Weights & Biases (W&B)

概述

Weights & Biases (W&B) 是一个非常流行的现代云平台，用于跟踪和管理机器学习实验，并共享笔记和数据以有效工作。它是一个流行的工具，因为它简单直观的界面以及生成各种可视化图的能力。

主要特点

• 实验跟踪： W&B 还可以轻松记录超参数、指标和工件。它提供非凡的绘图功能，包括交互式绘图和自定义仪表板。
• 协作： W&B 的设计初衷是供团队使用——它允许多个用户以分布式方式共享和比较实验。它还连接到广泛使用的通信平台，包括 Slack 和电子邮件警报。
• 集成： W&B 与所有现代 ML 框架、机器学习 TFs、PyTorch/Keras 等以及云解决方案协同工作，使其适用于几乎任何团队。
• 报告：用户可以创建一个包含叙述、源代码或编写的代码以及任何图形或视觉演示的报告，这些演示更容易向其他更相关的方解释。

优点

• 用户友好：首先，我想说明的是，使用 W&B 进行实验跟踪并不困难：它的界面是我最近见过的最简单的之一。
• 可视化：该环境包含恰当且有解释性的方法来显示发现/总计以及一些潜在的模型。
• 协作功能：此功能非常适合多个员工共享项目，然后将结果分发给其他员工的组织。

缺点

• 成本：虽然 W&B 提供免费版本，但其他功能，尤其是用于存储大量数据的那些，相当昂贵，特别是对于小型团队或个人研究人员。
• 依赖云：由于其云起源，W&B 可能不适合具有巨大隐私需求或使用本地工具的组织。

3. TensorBoard

概述

TensorBoard 是一个用于可视化 TensorFlow 的工具，TensorFlow 是 Google 开发的一个开源机器学习库。如前所述，它与 TensorFlow 集成良好，也可以与其他 ML 系统一起使用。

主要特点

• 标量和指标跟踪： TensorBoard 非常易于使用，可以跟踪简单的标量值，因此几乎在每个训练过程中都会使用它。
• 可视化：该工具已用于相当好的显示功能，如直方图、图像和嵌入。这些图形有助于确定模型的问题及其未来的功能。
• 兼容性：它可以与几乎所有现有的机器学习框架集成，但与 TensorFlow 集成无缝。
• 超参数调优： Tensorboard 可以与其他工具（如 Keras Tuner——TensorFlow 的超参数调优 API）链接，以监控和操纵超参数的优化。

优点

• 易用性： TensorBoard 易于使用，特别是如果您正在使用 TensorFlow。
• 与 TensorFlow 集成：因为它基于 TensorFlow，ML TFACTV 非常适合已经使用该框架的团队。
• 强大的可视化：此工具拥有一套最佳的可视化工具，有助于理解模型训练的训练和效率。

缺点

• 有限的跟踪功能：正如在复杂的 TensorFlow 系统之上进行构建时自然会出现的那样，TensorBoard 缺乏我们上面比较的一些工具更奇异的监控和管理功能。
• 以 TensorFlow 为中心：虽然它与其他框架兼容，但它的某些功能可能针对 TensorFlow 进行了优化，使其对于不依赖 TensorFlow 的团队来说不太有用。

4. Neptune. ai

概述

Neptune. ai 是单一数据科学家或大型团队的最佳实验跟踪工具。它被设计成非常灵活，并面向云端和本地使用。

主要特点

• 实验跟踪和版本控制： Neptune 通过支持数据集、模型和代码的版本控制，提供了一种跟踪和比较实验的好方法。
• 可定制仪表板：可以定义自定义仪表板来跟踪不同的图表，这允许一个人跟踪示例的结果以及重要的 KPI。
• 协作： Neptune 提供诸如按项目授予访问权限、共享项目仪表板和评论等功能。
• 可扩展性：它也是高度模块化的，因此提供从单个项目解决方案到在企业级别使用云或公司托管实现的大规模解决方案。

优点

• 灵活性： Neptune 的云端和本地可访问性使其适合初创公司、成长型公司、中型公司甚至财富 500 强公司使用。
• 高级功能：提供更多资源，例如模型版本控制、超参数调优甚至自定义小部件。
• 强大的协作工具： Neptune 拥有高度发达的协作能力，即使在更大的项目和团队协作场景中也是如此。

缺点

• 学习曲线： Neptune 的另一个缺点是它有一个相当复杂的界面，并且配备了许多额外的选项和设置，这可能会让用户感到困惑，特别是如果他们人数不多并且需要花费大量时间进行调整。更大的团队不会遇到这些问题，因为他们雇佣了设计师和开发人员，他们可以花费数小时进行配置和定制。
• 成本：值得注意的是，Neptune 虽然有很多免费功能，但根据团队或组织的大小，价格可能会因企业功能而异。

5. Comet. ml

概述

Comet. Ml 是一款基于云的实验跟踪工具，设计简洁，集成度高。它的目标是让机器学习的团队或个人更容易地跟踪、比较和共享实验。

主要特点

• 实时实验跟踪： ml 还允许用户实时监控实验，其功能提供了记录超参数和模型结果的空间。
• 可视化和分析：用户可以使用数据可视化工具和分析仪表板来专注于实验数据。
• 模型注册表和监控： ml 还提供用于在注册表中创建和组织模型以及监控已部署到生产环境中的模型的功能，因此它是一个覆盖整个机器学习生命周期的工具。
• 集成： ml 还与 TensorFlow、PyTorch、sklearn 等大多数可用的 ML 库和框架兼容。

优点

• 易用性： ml 的布局非常简单，创建应用程序也非常容易。
• 全面功能：它拥有实验跟踪和模型评估的所有功能，从而为机器学习过程提供端到端解决方案。
• 团队协作：这些功能不仅使团队易于协同工作，还提供了共享文件夹和项目管理。

缺点

• 定价：基本版本相当受限，所有附加功能仅在专业版本中可用，根据团队中的用户数量，价格可能相当昂贵。
• 仅限云端：因此，作为一款基于云的解决方案，Comet。因此，ML 可能不适合那些因数据保护或保密性而受到限制的组织。

6. DVC (Data Version Control)

概述

DVC 是一个用于机器学习项目中使用的模型和数据的版本控制的开源系统。虽然有许多跟踪实验的工具，但 DVC 以其对数据集、模型和管道的关注而脱颖而出。因此，它在整个 ML 过程中都很有用。

主要特点

• 数据和模型版本控制： DVC 允许用户访问数据集和模型的控制，以便每个实验都有记录。
• 管道管理： DVC 可以连接到 CI/CD 系统，作为管道和可复现工作流。
• Git 集成： DVC 构建为与 Git 配合使用，可以轻松地集成到项目的开发过程中。
• 可扩展性： DVC 也完全可扩展，并且可以处理大型数据集和复杂的处理流程，使其非常适合大型项目和小型项目。

优点

• 开源： DVC 可根据 Apache License 2. 0 使用，并且高度适应性和可扩展。
• 全面的版本控制： DVC 旨在跟踪数据集和模型的版本，使其成为遵循可复现性原则的团队的理想选择。
• 兼容 Git：它与 Git 集成良好，最适合使用版本控制的开发团队。

缺点

• 学习曲线： DVC 相对易于使用，但将其集成到管道中可能会很困难，尤其是在设置时！DVC 相当复杂，需要对版本控制等概念有深入的理解。
• 有限的用户界面：尽管如此，仍然需要注意的是，DVC 是一个命令行工具，对于普通用户来说可能不太方便。

用例和建议

因此，没有通用的实验跟踪工具选择建议，因为它完全取决于您项目的特点、制作产品的团队规模和经验以及产品将要使用的技术环境。以下是基于各种用例的一些量身定制的建议

1. 单个数据科学家或小型数据科学家团队

对于简单的、非大规模的团队或处理大数据的个人专家来说，考虑软件的易用性和成本非常重要。在这种情况下，Weights & Biases (W&B) 和 Comet. ml 等工具脱颖而出

• Weights & Biases (W&B)： W&B 适合那些重视界面可用性和强大的可视化作为关键组成部分的组织。它也适合需要简单安装和与各种主流 ML 工具兼容的独立从业者或小型团队。基本级别对于相对较小的项目来说已经足够了；与同学或主管分享结果也相对方便。
• Comet. ml： Comet. 对于小型团队来说，ml 也是一个不错的工具。它提供了实时跟踪流程的机会，并使用了不需要用户进行特殊设置的创新可视化工具。尽管基于云，但免费版本提供了必要的特性，可以不花一分钱地进行独立工作或与几位队友的项目。
• TensorBoard：如果您主要在 TensorFlow 中进行 AI 项目，TensorBoard 将满足您的需求。它能够轻松集成到现有系统中，并提供分析模型所需的所有核心跟踪和可视化工具。但如果您需要更动态的跟踪，那么仅 TensorBoard 可能不够，您将需要其他工具。

2. 学术和研究环境

学术和研究机构更喜欢可复现的解决方案，这些解决方案可以灵活调整，并且是使用开源平台开发的。MLflow 和 DVC 特别适合这种情况

• MLflow： MLflow 是一个功能广泛的开源平台，在许多研究环境中都有使用。它最适合监控大量实验、模型和各种指标。在不同环境（本地、云端、边缘）中运行模型的能力有助于整体灵活性，当研究能够并且将会变成生产工具时，这一点非常有用。
• DVC： DVC 的另一个优势是它强调数据和模型的版本控制，这是确保学术界正在开发的模型在实际应用中的关键问题之一。它主动放大了这一概念，特别是在处理大数据和复杂转换流时。主要优势之一是与 Git 的集成，以便研究人员能够与代码存储库一起管理他们的 ML 项目。
• TensorBoard：对于主要在 TensorFlow 中工作的研究人员来说，TensorBoard 仍然是管理实验和可视化结果的最简单方法之一。在简洁性很重要的情况下，它非常有用，尤其是在教育领域。

3. 企业和大型项目

在大型结构中，可扩展性、协作、合规性和服务需求通常很重要。Neptune.ai 和 MLflow（尤其是在企业环境中）是强有力的竞争者

• Neptune. ai： Neptune. 协作、可扩展性和定制性使 AI 成为企业的最佳选择，表明它已为企业环境做好了充分准备。对于具有特殊安全或合规需求的组织来说，能够在云端和本地选项之间进行选择至关重要。Neptune. ai 拥有许多比许多其他平台更高级的功能；自定义仪表板和丰富的集成能力使其特别适合可能由多个团队划分的大规模 ML 项目。
• MLflow (企业)： MLflow 可以进一步适应企业环境，特别是与其他 Databricks 企业产品一起使用时。它支持复杂的流程，可扩展，并且可以轻松地与其他企业工具连接。一个特别的功能，模型注册表，对于维护不同环境中多个模型版本的组织可能很有帮助。
• Weights & Biases (W&B)：实际上，对于重视协作和数据可视化的组织来说，有一个付费版本——W&B 的企业计划。该计划提供了额外的增强协作工具、个人集成机会以及更高级别的服务。它适合必须在执行多项并发 ML 任务时保持灵活性的组织。

4. 混合和多云环境

如今，对于在混合环境或使用多个云的组织中，管理部署细节和与各种云服务集成至关重要。MLflow 和 Neptune. ai 在这些环境中特别有效：ai 在这些环境中特别有效

• MLflow：由于其分布式和轻量级架构，MLflow 易于在混合环境中实现。根据组织的需要，它可以在本地、公共云、私有云或多云环境中运行。它也是开源的，这使得可以根据需求扩展和调整解决方案。
• Neptune. ai： Neptune 的多云和本地支持使组织能够更好地处理跨这些环境的 ML 项目。这对于必须使用不同云服务、并结合对基础设施部分进行严格控制的团队特别有帮助。

5. 关注可复现性和合规性的团队结构

对于在金融、医疗保健等行业工作的团队，以及任何不可能或极不建议将流程隔离的领域，DVC 和 Neptune. Ai 等可复现性和可审计性工具提供了确保合规性和可复现性的功能

• DVC：由于 DVC 的应用与版本控制密切相关，因此它适合需要确保 ML 管道所有步骤的可复现性和可跟踪性的团队。它与 Git 集成，这意味着可以轻松跟踪更改，并为合规性提供问责。
• Neptune. ai： Neptune 的功能，包括跟踪和版本控制以及与大型团队集成的可能性，使其成为处理大量与文档和合规性相关的文书工作的组织的宝贵选择。它支持本地部署，还可以确保公司数据保留在其 premises 内。

结论

这意味着不乏用于跟踪 ML 实验的工具，并且既有针对小型项目的数据科学家，也有针对大型企业的解决方案。要选择跟踪工具，牢记四个 P——性能、可用性、灵活性和价格——至关重要。

对于顶尖的从业者或小型工作组，例如 Weights & Biases 和 Comet. Ml，它们在考虑成本因素的情况下，完美地平衡了简洁性、可视化和协作功能。

在学术和研究环境中，通常更倾向于其他开源的灵活工具，MLflow 和 DVC 由于其更广泛的功能集和地位，是两个最合适的候选者。