在 Databricks 上运行 SQL

本文旨在为您提供 Databricks SQL 的基础知识参考和指南，这对于有效利用 SQL 至关重要。

Interface

Databricks 提供两种主要的 SQL 资产访问接口

UI 和 API。

UI (用户界面)： 视觉界面的便利性使用户能够访问工作区浏览器、仪表板、查询、SQL 仓库、查询历史记录和警报组件。它提供了一个引人入胜且高效的界面，用于浏览和连接 Databricks SQL 资产。

REST API： REST API 意味着您可以轻松地自动化 Databricks SQL 对象的管理。它允许对程序化 SQL 资产进行受控访问，从而有助于跟踪主要任务，如流程自动化、集成和定制。

注意：用户还可以将笔记本添加到 SQL 仓库的代码库中，从而为所有笔记本和 SQL 工作负载提供顺畅的操作。集成设置可以在笔记本和 SQL 仓库的相应部分找到。

数据管理

Databricks SQL 提供数据可视化功能并设置内置仪表板。它还可以发送警报并通知您。

1. 可视化： 输入查询的结果以图表形式显示，数据被可视化。它帮助用户检索数据，然后分析结果，以便一目了然地了解重要的趋势和模式。
2. 仪表板： 提供仪表板可以帮助用户可视化带有注释的查询。仪表板将所有数据结构化在一个平台下，有助于轻松快速地将观察结果传达给利益相关者。
3. 警报： Databricks SQL 允许您根据警报设置查询输出。这些评估会在用户达到预定级别时通知客户；通过此产品或服务，客户可以采取主动行动。

计算管理

SQL 命令执行中的计算管理包括提高查询效率、分配处理资源以及收集性能数据。因此，它以公平分配资源的方式包含了并发和负载均衡。适当的系统管理还包括在发生中断时实施故障容差机制，并确保公司的系统一致性和可靠性。通过持续的性能调优和可伸缩性方法，计算管理将能够为数据分析作业处理提供高吞吐量、高效且无错误的分布式服务。首先，高效计算是为高性能处理系统提供最佳体验的关键。

1. 查询执行： Databricks 中的 SQL 仓库在 SQL 仓库上执行，SQL 仓库是为处理 SQL 工作负载而优化的计算资源。这种数据仓库足够灵活，可以轻松满足任何工作负载，从而提供顺畅而快速的过程。
2. 性能优化： Databricks SQL 默认提供查询优化功能、缓存和并行执行。这创建了一个框架，在该框架中，即使数据量很大，查询也能以高效的时间运行。反过来，该框架可以快速交付结果。
3. 与 Apache Spark 集成： 虽然 SQL 是 Databricks 的接口，但它运行在 Apache Spark 引擎的体系结构上，用于以分布式计算方式处理大规模数据集。这种组合使用户不仅可以执行 SQL 语句，还可以平滑地在 SQL 和其他语言（如 Python、Scala 和 R）之间切换，这些语言用于处理大量分析数据和数据处理任务。
4. 高级分析： 除了标准的 SQL 查询外，Databricks 还允许使用中等到复杂的分析函数和扩展，从而为用户提供了一个快速便捷地执行复杂分析任务的空间。它涵盖了这些功能，例如机器学习算法、时间序列分析、图分析以及更多选项。
5. 数据可视化： Databricks SQL 原生支持数据可视化概念，因此用户可以直接根据查询结果生成仪表板视图以及数据可视化。这使得用户能够浏览数据、发现趋势、生成带有注释和有意义点的图表和交互式可视化。
6. 实时处理： 通过 Databricks SQL，可以在 SQL 查询的帮助下实时处理流式数据。因此，企业将能够从流经他们的数据中获得洞察，而流分析的使用将有助于他们根据生成的洞察采取即时行动。
7. 与数据湖和数据仓库集成： Databricks 允许数据湖和数据仓库无缝集成，除了查询过程本身外，还使用户能够从多种格式和位置提取数据。不仅如此，我们还将把解决方案与 Delta Lake 等传统数据仓库以及流行的数据湖存储解决方案集成起来。
8. 安全与治理： Databricks 数据分发器包含复杂的安全机制，可保护数据隐私并遵守规则和法规。这两者以及单一因素都得到提供，例如基于角色的访问控制、数据加密、审计和监控功能，这些功能适用于需要处理敏感数据资产的组织。

在掌握和应用这些概念时，用户可以因此谨慎行事，并利用 Databricks SQL 的分析功能，以便在组织内部做出明智的结论和决策。

数据探索和准备

1. 数据剖析： 数据剖析揭示了数据集中数据的维度和质量，是数据分析中的一个重要阶段。Databricks SQL 提供剖析工具用于全面的剖析报告，包括统计摘要和准确性评估。此在线数据分析工具的一个突出特点是能够生成描述性统计数据，如均值、中位数、标准差和百分位数。用户可以轻松地深入了解数据的分布和变异性。更重要的是，Databricks SQL 能够发现并突出显示不完整值、非典型数据异常值以及数据格式不一致的情况，从而使用户能够找到并确定可能需要进一步检查和清理的数据。

2. 数据清洗： 数据清洗旨在发现和纠正数据集中错误、不正确或不准确之处，并使其适合进一步的数据处理。Databricks SQL 能够从各种来源清洗数据，并对其进行验证、标准化和丰富。用户能够创建自己的清洗程序，并结合更改规则和转换操作，例如删除重复项、纠正拼写错误以及填写空白值。Databricks SQL 还内置了与外部数据质量工具包集成的支持，让最终用户有机会正确使用数据清洗方法和算法，以获得更好的数据质量。

3. 数据转换： 数据转换包括重新组织、合并和聚合数据集，以用于探索新见解或为分析等现象准备数据集。Databricks SQL 支持强大的数据转换，如 SQL 函数、表达式和运算符，以轻松地操作和转换数据。因此，它适用于 SQL 数据准备。该平台允许进行各种转换，例如分组、排序、过滤、联接和透视，从而使用户能够根据其分析需求塑造和设计数据集。此外，Databricks SQL 还允许用户编写自己的 UDF 和专用转换，以便用户可以在 SQL 查询中直接实现每个业务和处理规则的独特要求。

4. 数据可视化： Databricks SQL 与数据可视化工具和库的互操作性是其灵活性的体现。可以在 SQL 工作流中直接可视化数据集和分析结果。用户可以使用这些工具创建交互式图表、图形和仪表板，这有助于有效地探索和传达见解，从而实现数据驱动的决策制定并促进工具的有效协作。Databricks SQL 在可视化格式和自定义选项方面为用户提供了广泛的选择，从而使他们能够创建适合其特定需求和视角的引人入胜的可视化。

协作与共享

(i) 共享工作区： SQL Databricks 提供具有公共区域的工作区，供团队处理 SQL 查询、笔记本和其他分析工件。这些空间托管所有分析工作流，作为存储和排序它们的集中式存储库，并使所有团队成员能够轻松地在共享项目上进行协作。用户可以在这些共享环境中开发、完善和运行 SQL、笔记本以及查询，从而简化分布式团队和部门之间的沟通。

(ii) 版本控制： 鉴于改进和稳步增长的机会，版本控制是检查分析工作流中更改的必备工具。源控制是 Databricks SQL 集成之一：Git，它允许用户跟踪其 SQL 代码和笔记本的最新更改。这使用户能够查看以前的更改记录，在出现问题时回滚到旧版本，并与其他团队成员共享分析过程。

版本控制系统还通过提供一个有序的环境来跟踪和快速管理与其他同事相关的更改，从而鼓励协作。

(iv) 实时协作： Databricks SQL 提供了一个平台，用于实时协作，并同时支持大量用户同时处理相同的查询、代码片段和笔记本。项目协作在一个实时的协作环境中进行，可以通过集成的聊天或评论进行实时通信，并围绕分析过程同步工作流。实时在线协作提高了工作效率和团队合作，因为任何地点的员工都可以同时工作，跨越不同的时区，无论他们身在何处。

(v) 共享见解和发现： Databricks SQL 是一个方便的工具，通过提供易于访问的方式，帮助人们将发现传播给同事或利益相关者。用户能够以 PDF、Excel 和 HTML 等格式导出分析结果，以便通过电子邮件、消息平台和促进协作的应用程序进行共享。此外，Databricks SQL 也是数据可视化工具和方法库的好帮手。它们可用于创建图表、图形和仪表板以及解释数据。结果，消费者能够以有趣的方式展示他们的数据分析。通过他们的贡献，用户可以通过结果驱动和数据驱动的决策制定来支持管理者和在不同群体或组织中工作的其他人，从而促进知识共享。

(vi) 迭代分析： Databricks 通过用户可以在协作框架中与其他用户一起迭代 SQL 查询和笔记本，来支持迭代分析工作流。团队可以组成小组来改进和推进分析工作流程，通过假设案例或场景测试不同的路径，并相应地迭代分析。Databricks SQL 提供了收集数据更改、记录假设和捕获反馈的功能，这有助于团队协作，并且分析师可以一直改进他们的分析，直到达到有意义或有见地的结果。

通过利用 Databricks-SQL 的团队合作和知识共享功能，用户可以提高团队合作能力，做出更明智的决策，并在组织内共享知识。合作和相互分享想法的现象有助于团队汇集其成员的智力和智慧。这会导致更深入的数据分析和更好的成果。

可扩展性和性能

1. 弹性可伸缩性： Databricks SQL 提供弹性可伸缩性，这项功能允许用户根据需求动态地扩展或缩减计算资源。利用时空历史数据通过维度分析和可视化技术是交通规划和管理向前迈出的重要一步，因为它为交通网络提供了准确而全面的见解。用户可以按需创建计算资源集群，或自动增长资源以满足数据量、查询复杂性和用户并发性的不断变化的需求。这种引擎的灵活性适合避免在高峰工作负载期间过度配置资源，并且在节约成本和资源利用方面非常实用。

2. 优化查询执行： Databricks SQL 在计划阶段优化查询并运行，以最大限度地提高执行速度和效率。它利用实际的查询优化机制，包括查询计划、优化和执行过程，以帮助最大限度地减少响应时间延迟并最大限度地提高所请求数据的检索量。Databricks SQL 管理查询执行计划，并将数据访问方法与最佳路径进行匹配，此外，它还将查询执行并行化到笔记本计算集群的多个节点上，以实现复杂数据分析的最佳性能。

3. 资源管理： Databricks SQL 负责资源管理，让您可以最大限度地利用这些资源，同时最大限度地减少使用量，从而能够将任务成比例地分配给所有并发查询和用户。这是可选的。它提供了诸如作业隔离、查询优先级和资源分配等功能，可以在此处最优地分配资源，并且不存在资源争用。通过这样做，系统将能够首先处理最关键的请求，从而为它们分配额外的资源。最终这将带来完整的系统吞吐量和出色的性能。

4. 与云服务集成： Databricks 的 SQL 语言实现与 Amazon S3、Azure Data Lake Storage 和 Google Cloud Storage 等云数据存储服务和处理系统紧密耦合。这种集成使用户能够将他们的任务适应可扩展、经济高效的云基础设施，该基础设施可用于存储和处理大规模数据集。Databricks SQL 可以轻松连接到任何 IT 公司的云存储，从而使其能够利用云计算的强大可伸缩性和顶级性能特性。

5. 内存处理： Databricks 使用集成了内存处理的查询引擎来提高查询性能并减少数据延迟。内存中缓存了中间查询结果和已从磁盘检索到用于查询 Databricks SQL 的数据，从而加快了查询处理速度并减少了响应时间。凭借其内存处理架构，Databricks SQL 能够提供快速而交互式的查询响应时间，适用于延迟敏感型应用和项目。

6. 分布式计算架构： Databricks SQL 利用 Apache Spark 聚合框架的能力来尽可能有效地处理大数据集和大型计算任务。Apache Spark 能够跨集群节点运行数据和计算过程。结果，它加快了处理速度和内存计算。这种基础设施模型使 Databricks SQL 能够水平扩展，因为它可以通过向集群添加更多计算节点来实现，从而处理能力和容量将得到提高，以有效应对不断增长的数据量和工作负载。

通过利用上述诸如可伸缩性和性能等功能，用户可以轻松访问机器学习应用程序，构建分析应用程序，并利用 Databricks SQL 的强大功能交付高性能分析应用程序。通过分布式计算，Databricks SQL 的数据库具有弹性可伸缩性、优化的查询执行和内存处理功能。这使得组织能够解决大规模分析的速度、可靠性和成本问题。

结论

确实，Databricks SQL 代表了最强大和多功能的数据分析工具之一，配备了满足我们世界上各种公司需求的众多功能。从数据准备和探索到团队合作和共享，Databricks SQL 的数据湖仓计算能够使任何人从他们的数据中发现重要的见解并建立高效的决策制定过程。

通过 Databricks SQL 的内置用户界面 (UI) 和 REST API，用户可以轻松访问 SQL 项目，并以最顺畅高效的方式使用数据和分析工作流。这些数据可视化功能和设计的仪表板有助于信息用户轻松地从调查转向决策。这些数据展示工具还可以实时警示相关方注意关键问题。

Databricks SQL 中的计算管理是通过利用计算性能和可伸缩性来实现的，从而可以从分布式计算架构和复杂的查询优化方法中受益。用户可以在应用程序中通过复杂的分析查询轻松实现这一目标，其中 Apache Spark 集成处理分布式数据处理，并原生支持 Python、Scala 和 R 等多种编程语言。