成功数据科学项目的 7 个步骤

引言

商业智能和分析在当今的商业管理环境中非常流行，而数据科学正处于这一浪潮的前沿。然而，数据科学家能够承担大型且多方面项目的这一事实也可能带来挑战。由于该领域充斥着各种活动需要执行，因此必须采取这种方法来规划所有任务。本文将解释将数据科学项目视为成功的七个主要阶段，以及部署和监控项目的后续步骤。

步骤 1：定义问题

在此步骤中，我们识别需要解决的问题，以实现既定的变革或改进。

人们已经认识到，问题陈述，也称为用例，构成了任何有效数据科学参与的基础。首先，需要了解项目将要实施的业务环境，定义需要项目解决方案的问题领域，并定义项目的目的和目标。

1.1 培养商业意识

解释业务背景很重要，因为数据科学的努力将与组织的宗旨和需求保持一致。这包括

• 利益相关者会议： 让利益相关者参与进来，以便了解他们的需求和期望，并确定他们面临的挑战。
• 领域知识： 获取有关整个行业以及具体的实际和提议的商业活动的信息。

1.2 确定问题

解决问题过程的第一步是定义问题，以便了解分析的方向。这包括

• 问题陈述： 以一种能够吸引目标受众读者的注意力，并且易于记忆和记住的方式来陈述问题。
• 成功指标： 确定衡量目标实现程度的方法。

1.3 制定与此框架一致的目标和目的。

具体目标为项目实施提供指导。这些应为

• 具体的： 清晰明了，没有歧义的可能性。
• 可衡量的： 具有清晰的参数可供衡量，以便评估目标的达成程度。
• 可实现的： 切实可行，考虑到当前和近期可用的资源。
• 相关的： 与组织的战略目标和计划一致。
• 有时限的： 确定项目可能完成的时间和方式。

步骤 2：数据收集

数据收集是大多数数据科学项目的基础和最重要的方面之一。在此步骤中，从不同来源收集正确、最新且全面的信息。

2.1 确定数据源

必须确定数据的来源；它必须是选择性的。这些可能包括

• 内部数据： 组织持有或从其他组织获取的信息，例如销售记录、客户数据和财务记录。
• 外部数据： 来自外部来源的数据，例如社交网络上的航班和车辆数据，以及来自公开可用来源的数据。

2.2 数据采集

一旦确定了来源，下一步就是数据采集，这可能涉及

• API： 通过使用 API 从不同的在线平台获取数据。
• 网络爬虫： 从网站收集数据。
• 手动收集： 通过调查和问卷调查用户和社区成员来收集数据。

2.3 确保数据质量

收集到的数据质量起着核心作用，因为它会影响分析结果。这包括

• 验证： 数据准确性和一致性；
• 清洗： 减去或修改空格、复制项和缺失项，并插入、修改和删除不必要、不相关的数据。

步骤 3：数据探索和分析

探索性分析和数据清洗意味着检查数据的特征。此步骤对于检测问题和预处理数据以进行分析至关重要。

3.1 探索性数据分析 (EDA)

EDA 是通过应用统计和可视化工具来分析数据的过程。关键活动包括

• 描述性统计： 因此，可以得出结论，呈现的数据集包含主要特征，应总结如下。
• 可视化： 图表技术，结合图表和图形，旨在发现趋势、模式和异常值。
• 相关性分析： 确定变量之间的差异或相似性，或确定它们之间的相关性。

3.2 数据转换

数据转换包括在实际转换之前将数据转换为最适合分析的格式的过程。这可以包括

• 标准化： 将数据标准化到标准刻度。
• 编码： 将分类自变量转换为其数值等效项。
• 聚合： 使用各种形式的聚合来描述数据。

3.3 处理缺失数据

如果所需数据缺失，则会产生严重问题，因此应妥善处理。常见技术包括

• 插补： 插补是用原始的均值、中位数或众数替换缺失值。
• 删除： 设置不使用包含一个或多个空字段的记录的数据集。预测：这两个目标是应用算法来估计缺失值。

步骤 4：模型选择和训练

此处，将提供有关要使用的模型类型的信息，并解释训练过程。

在此步骤中，选择要使用的模型，然后在之前准备好的数据上进行训练。必须理解不同的算法及其在所讨论问题上的适用性。

4.1 模型选择

因此，不能过分强调选择正确模型的方法。这可能包括

• 算法选择： 从算法列表中选择，例如线性回归、决策树、神经网络等。
• 模型复杂度： 决定何时使模型更复杂以及如何避免过度复杂化。

4.2 模型训练

模型训练涉及使用数据来教授模型，并在此过程中调整模型的参数。关键考虑因素包括

• 训练集： 将数据划分为训练数据和测试数据。
• 交叉验证： k 折交叉验证等步骤可以帮助近似模型在现场的表现。
• 超参数调优： 进行基本和高级的特征选择、调优等，以微调模型参数。

4.3 评估模型性能

因此，在使用模型时，确定其有效性和广泛使用的适当性至关重要。常见指标包括

• 准确率： 预测正确的次数与预测次数的比例。
• 精确率和召回率： 模型中正类和负类的性能指标。
• F1 分数： 精确率和召回率的调和平均数是两者的平均值，倾向于较低的值，因为它是通过取调和平均数而获得的。
• ROC-AUC： 模型的性能指标基于测试数据集的接收者操作特征曲线下的面积与训练数据集的面积之比。

步骤 5：验证

最后一步是模型验证和测试，如下所述；模型验证和测试可确保模型不会过度拟合数据，并在应用于未知数据时表现良好。

5.1 留出验证

另一方面，留出验证要求将数据集划分为两个或多个分区，其中一个用于训练模型，另一个用于测试模型。这有助于确定模型在未用于构建它的数据上的有效性。

5.2 交叉验证

交叉验证是更成功的测试方法。在这种情况下，数据被划分为 k 组，可以训练和测试 k 次。这种形式的验证提供了关于模型性能的更好结果。

5.3 性能指标

多个性能指标支持关于模型性能的声明。这些可以包括

• 混淆矩阵： 一个 2x2 矩阵，包含正确阳性、错误阳性、正确阴性和错误阴性。
• 精确率-召回率曲线： 一张折线图，两个轴是精确率和召回率，一条线说明了两者之间的关系。
• 提升度和增益图： 帮助确定模型预测阳性结果能力的指标。

5.4 模型比较

选择已开发模型中的最佳模型意味着根据各种统计数据确定其性能，并选择一个在提供良好准确性的同时，也能实现良好泛化能力的模型。

步骤 6：部署

应用模型是将模型整合到生产系统中并使其可用于实际预测的过程。

6.1 模型集成

模型的最后一步是将建议的模型集成到现有系统中。这可能包括

• API： 构建 API 集，使模型能够与其他系统互换。
• 批量处理： 应用于在复合时期处理大量信息。
• 实时处理： 确保在需要时，所提供的模型可以提供对时间敏感的结果。

6.2 监控和维护

模型部署后，必须持续检查以确保其有效运行。这包括

• 性能监控： 监控模型的准确率和其他性能指标。
• 错误跟踪： 纠正在过程中可能发生的错误。
• 模型再训练： 降低模型的准确率，并使用新数据重新训练模型，以提高其准确率并更新为当前可用数据。

6.3 可扩展性

确保所描述的模型能够轻松适应不断增长的数据集和不断增长的请求数量。这包括提高模型和其他结构在处理更高工作负载时的有效性和容量。

最后一步是沟通和报告；告知相关利益相关者项目的结果和发现至关重要。

必须将发现传达和报告给利益相关者，以突出项目对客户和利益相关者的价值，并确保获得的见解能够带来改变。

步骤 7：沟通和报告

沟通和报告 ARG 模型中的第七步是沟通和获取报告。因此，充分的沟通和报告对于说服利益相关者项目的实用性并使信息有用至关重要。

7.1 可视化

包括可视化，这有助于以易于观众理解的方式呈现结果。这可以包括

• 仪表板： 上面突出显示的原始数据用于运营管理和决策，并使用交互式仪表板来显示关键绩效指标和趋势。
• 图表和图形： 可视化数据和模型发现，包括；

7.2 报告

准备捕获结果和相应建议的报告。这可能包括

• 执行摘要： 他们可能需要为高层管理人员提供高级摘要，或者更喜欢仅 200 到 500 字的摘要。
• 详细报告： 当您寻求专家帮助时获得的报告。

7.3 讲故事

应用技术来讲述数据故事并有效地传达见解。这包括

• 叙述： 创造性地处理数据所传达的事实和信息。
• 背景： 此步骤的主要目的是让受众熟悉阅读理解到的发现，并使他们的结果更有意义。

7.4 利益相关者参与

请与利益相关者沟通，以便他们能够理解所做的结论并能够实施建议。这可能包括

• 演示文稿： 报告会议和研讨会的结果。
• 反馈： 再次，获得更多反馈对于巩固和完善见解和建议是必要的。

反馈是批评过程中的一个重要要素，作者从审稿人那里收到关于他们工作的建议（Hartley & Seal，2013）。

结论

该领域数据科学项目需要遵循的阶段包括概念定义、数据收集和处理、模型构建和部署以及结果共享。如这七个步骤所述，组织需要确保他们执行的数据科学项目具有业务相关性，生成有用的信息，并为创造积极的业务价值做出贡献。从数据到洞察并非易事，但有了经过深思熟虑的计划，加上高质量的数据，就能实现高质量的洞察。

该领域数据科学项目需要遵循的阶段包括概念定义、数据收集和处理、模型构建和部署以及结果共享。如这七个步骤所述，组织需要确保他们执行的数据科学项目具有业务相关性，生成有用的信息，并为创造积极的业务价值做出贡献。从数据到洞察并非易事，但有了经过深思熟虑的计划，加上高质量的数据，就能实现高质量的洞察。