Snowflake 数据联邦

什么是联合环境？

在联合系统中，一个或多个独立验证用户凭据的外部实体用于将用户身份验证与其用户访问分开。之后，一个或多个服务接收身份验证，允许用户通过 SSO 访问这些服务。联合环境由以下元素组成：

负责向 SP 提供以下服务的外部独立组织

• 建立和维护用户凭据及其他配置文件数据。
• 为 SP 的 SSO 访问验证用户身份。
• 作为 IdP，Snowflake 支持大多数符合 SAML 2.0 的供应商；但是，某些供应商对 Snowflake 具有本地支持（更多信息如下）。

支持的身份提供商

以下制造商对 SSO 和联合身份验证提供本地 Snowflake 支持：

托管服务 Okta

安装在 Windows Server 上的本地程序 Microsoft AD FS（Active Directory Federation Services）。如果您想使用 Okta 或 AD FS 以外的 IdP，则必须在 IdP 中声明一个自定义的 Snowflake 应用程序。

使用多个身份提供商

Snowflake 可以配置为允许用户使用多个身份源进行身份验证。

在设置了每个身份提供商之后，请按照“使用多个身份提供商进行联合身份验证”中的说明进行操作。目前，只有一小部分 Snowflake 驱动程序支持多个身份提供商。

由联合身份验证启用的 SSO 工作流包括：

• 由于不活动，系统已超时。
• 是操作是在 IdP 中启动还是在 Snowflake 中启动，决定了每个过程的行为。

登录工作流

用户是使用 Snowflake 还是 IdP 登录，决定了他们登录时的系统行为。

• 用户访问 Snowflake Web 界面。
• 用户选择使用为其帐户配置的 IdP（Okta、AD FS 或自定义 IdP）。
• 用户使用其 IdP 凭据（例如，密码和电子邮件地址）向 IdP 进行身份验证。
• IdP 在成功身份验证后，通过向 Snowflake 发送 SAML 响应来显示 Snowflake Web 界面并启动会话。

注意：对于 Snowflake 发起的登录，Snowflake 登录页面提供两种身份验证选项（Snowflake 或 IdP）。用户必须选择 IdP 选项，然后在出现提示时输入其凭据才能使用联合身份验证。通过选择 Snowflake 选项，用户将使用 Snowflake 的本地身份验证而不是联合身份验证进行登录。

IdP 发起的登录

通过 IdP 访问您的帐户

• 用户访问 IdP 应用程序或网站，并使用其 IdP 凭据（例如，密码和电子邮件地址）进行身份验证。
• 如果使用 Okta 或 AD FS，用户将在 IdP 中单击 Snowflake 应用程序；如果使用其他 IdP，则单击 IdP 中定义的自定义应用程序。
• IdP 发送 SAML 响应到 Snowflake 以启动会话。之后，将显示 Snowflake Web 界面。

注销工作流

IdP 是否允许全局注销或仅允许普通注销，决定了注销时可用的选项。

• 为了完全断开连接，Standard 要求用户主动注销 Snowflake 和 IdP。所有 IdP 都支持标准注销。
• Snowflake 发起的注销：无论 IdP 是否支持，Snowflake 都不支持全局注销。
• 当用户注销时，只注销该 Snowflake 会话。其 IdP 会话以及所有其他正在进行的 Snowflake 会话都将保持打开状态。
• 因此，他们可以启动新会话或继续处理现有会话，而无需通过 IdP 重新进行身份验证。

用户必须手动注销 IdP 和 Snowflake 才能完全断开连接。

IdP 发起的注销： 用户通过 IdP 注销的方式取决于 IdP 是否启用了全局注销以及普通注销。

AD FS 支持普通注销和全局注销。如果启用了全局注销，AD FS IdP 登录屏幕将提供注销用户访问的所有网站的选项。通过选择此选项并单击“注销”，用户将注销所有 Snowflake 会话和 AD FS。他们必须再次通过 AD FS 进行身份验证才能再次访问 Snowflake。

Okta 只支持普通注销。用户在注销 Okta 后可以继续工作，因为他们不会立即从任何打开的 Snowflake 会话中注销。但是，客户必须再次通过 Okta 进行身份验证才能启动任何新的 Snowflake 会话。虽然对全局注销的支持因提供商而异，但所有自定义提供商都支持普通注销。

基于 Web 的 IdP（如 Okta）的 IdP 会话在浏览器标签页或窗口关闭时并不总是会终止。如果其 IdP 会话仍在进行中，用户可以继续使用 Snowflake，直到其 IdP 会话过期。

工作流超时

用户会话结束后发生的情况取决于它是 IdP 还是 Snowflake 会话。

Snowflake 超时： 如果用户使用 SSO 登录且其会话结束，则 Snowflake Web 界面将关闭，并出现 IdP 身份验证提示。用户需要再次通过 IdP 进行身份验证才能继续使用已过期的 Snowflake 会话。

通过选择“取消”按钮，用户可以结束会话。虽然这会启动一个新的 Snowflake 会话，但用户也可以直接转到 IdP 网站或应用程序并重新启动 Snowflake。

IdP 超时： 用户在 IdP 中的会话会在预定的时间（由 IdP 指定）后自动结束，但其 Snowflake 会话不受影响。当前打开的任何 Snowflake 会话都不需要重新进行身份验证。但是，用户需要再次登录 IdP 才能启动任何新的 Snowflake 会话。

私有连接与 SSO

SSO 目前每个 Snowflake 账户一次只使用一个账户 URL。

您可以在 SAML2 安全集成中使用相关的 URL，Snowflake 支持与组织进行 SSO。有关更多信息，请参阅“配置 Snowflake 使用联合身份验证”。

在设置 SSO 之前，请设置私有连接以将 SSO 与 Snowflake 结合使用

如果您的 Snowflake 帐户位于 GCP 上，您必须联系 Snowflake 支持并提供您的 Snowflake 帐户的 URL，以便将其与 Google Cloud Private Service Connect 和 Snowflake 结合使用。

本教程解释了如何设置 Lakehouse Federation，以便对非 Databricks 管理的 Snowflake 数据执行联合查询。有关更多信息，请参阅“什么是 Lakehouse Federation？”。

要使用 Lakehouse Federation 连接到您的 Snowflake 数据库，您需要在 Databricks Unity Catalog 元存储中设置以下内容：

您的 Snowflake 数据库连接。

一个外部目录，它将您的 Snowflake 数据库复制到 Unity Catalogue 中，使您能够使用 Unity Catalogue 的查询语法和数据治理功能来控制 Databricks 用户对数据库的访问。

• 开始之前，工作区必须已启用目录。
• 已启用 Unity Catalogue 工作区。
• 计算所需金额。

所需权限

您需要是元存储管理员，或者拥有连接到工作区的 Unity Catalogue 元存储上的 CREATE CONNECTION 权限的用户。您需要是连接的所有者或拥有连接上的 build FOREIGN CATALOGUE 权限才能构建外部目录。您还需要在元存储上拥有 CREATE CATALOGUE 权限。

下面的每个基于任务的部分都指定了其他权限需求。如果您打算使用 OAuth 进行身份验证，请在 Snowflake 控制台中创建一个安全集成。如果您打算使用 OAuth 访问令牌进行身份验证，您还必须请求访问令牌。

注意：唯一支持的 OAuth 集成是 Snowflake 的内置集成。不支持 Microsoft Entra ID 或 Okta 等外部 OAuth 连接器。

在 Snowflake 控制台中运行 CREATE SECURITY INTEGRATION。更改以下值：

建立连接

• 连接用于指定外部数据库系统的路由和登录信息。
• 可以使用 Catalogue Explorer、Databricks SQL 查询编辑器或 Databricks notebook 中的 CREATE CONNECTION SQL 命令来建立连接。
• 数据联合是一种技术，通过使用将单个查询转换为发送到源数据存储的子查询的联合查询引擎，从而实现驻留在多个数据存储中的数据的集成、统一和治理。

作为联合服务引擎的补充，分析引擎通常包含数据联合功能。一般而言，联合数据服务引擎更适合处理规模和提高性能，这隐式地有利于那些分析引擎。

功能架构

此架构的数据湖屋可以使用任何类型的数据进行存储和处理。运行在 Oracle Autonomous Data Warehouse 上的数据仓库是此设计中的核心组件。

此外，该设计使用单个查询引擎将数据湖屋中的数据与来自特定源的精选数据进行联合。根据数据存储的不同，可以通过数据库链接、外部表和数据共享等技术检索联合数据。

通过在联合架构中结合数据湖数据和现有的数据存储，您可以

• 无论数据存储在哪里，都可以连接所有数据。
• 支持结合本地和其他 云存储数据的混合云和多云数据平台。
• 方便消费者访问和查询来自多个引擎的数据。

使用数据物化和自治数据库缓存来提高性能。使用数据共享、分析仪表板、SQL 界面和 API 端点，向不同的客户呈现统一和精选的数据。使用多模型数据库作为联合查询引擎。

应该注意的是，该设计展示了一个主要使用批处理的联合数据平台，但它可以通过数据湖屋的实时流数据处理能力得到增强。上下文数据经常需要由其数据管道中的流数据处理进行消耗。提供所有上下文数据给数据管道的数据联合引擎可以简化那些流程，即使上下文数据可能存储在多个数据源上。

架构关注以下逻辑划分：

消耗、构建

• 吸收并准备数据供架构中各种数据层使用。
• 数据库、数据共享和云存储是联合数据的按需源。由于数据已在源数据存储库上进行验证，因此在此层上不进行修改。
• 继续、策展和生产
• 方便导航和获取数据以显示当前的业务视图。

用于关系型技术的数据可以理论上或物理上组织成 OLAP、纵向、维度或简单关系形式。此层中包含一个或多个数据池，这些数据池可以是分析过程的输出，也可以是为特定分析目的量身定制的数据，用于非关系型数据。

联合服务引擎位于此层，它统一并服务来自数据湖、联合数据源和数据仓库的数据。它提供了物化联合数据以提高查询性能的功能，以及按需查询联合数据的能力。

由于数据消费者连接到单个服务引擎而不是多个数据存储，因此联合引擎通过提供通过 SQL、REST API 或数据共享提供数据的选项来促进连接并提高互操作性。

分析、学习、预测

为客户抽象数据的逻辑业务视角。这种抽象简化了来自多个联合源的敏捷开发方法。此层使用服务引擎获取联合数据，然后可以使用数据科学或可视化服务提供的数据连接进行增强。

由于数据被联合一次并由多个数据使用者使用，因此通过使用联合查询引擎将数据使用者访问与底层数据存储库抽象开，可以提高效率。此外，这提高了系统的互操作性，因为任何能够与 SQL、REST API 或数据共享进行通信的用户都可以使用和加入 Lakehouse。

以下功能元素构成了该架构：

批量摄取

无法实时摄取或实时摄取成本过高的数据可以受益于批量摄取。它对于将数据转换为准确可靠的信息也很重要，这些信息可以被保留和策展以供频繁使用。

• 批量摄取是数据联合引擎的一个有用补充，因为它可以摄取联合引擎无法原生访问的数据，或者在某些特定用例中，数据必须被修改以适应 Lakehouse 数据模型。
• 为了能够将来自各种源的数据与仓库数据相结合并使用，ADW 还可以将存储在对象存储中的数据虚拟化为外部表和混合分区表。
• 此外，在将数据从仓库移动到对象存储后，可以轻松地消耗历史数据。

基于云的存储

数据可以安全地存储或从云平台或互联网检索。您可以轻松地从小规模开始并进行扩展，而不会出现性能或服务可靠性下降，这得益于多种管理界面。

Snowflake 数据联合

Snowflake 数据联合使用户无需数据迁移或复制即可查询和分析来自各种外部源的数据。这使得企业能够轻松地整合和检查存储在多个位置的数据。

Snowflake 数据联合的重要特性

访问外部数据源

• 为此使用外部表和外部阶段。
• 混合云和跨云连接。

通过安全数据共享和外部访问，Snowflake 支持对存储在外部数据库或云对象存储中的数据进行实时查询。

• 无需 ETL（数据虚拟化）。
• 由于用户无需传输或修改即可访问和检查外部数据，因此对传统的 ETL（提取、转换、加载）过程的需求减少了。
• 性能增强。为了提高查询联合数据源时的性能，Snowflake 使用智能缓存和查询优化。

这种方法是寻找可扩展、经济高效且安全的数据访问的企业 Thus the best choice，因为它减少了 ETL 的开销，最小化了存储成本，并支持多云和混合架构。为了最大化查询性能，应充分控制网络延迟、API 响应时间以及缓存技术等性能因素。

结论

总之，我们可以得出结论，通过 Snowflake 的数据联合功能，组织可以轻松地查询和分析外部数据源，而无需进行数据移动或复制。通过利用外部表、外部函数、安全数据共享和 Snowflake Marketplace，企业可以实时访问来自关系型数据库、云存储和第三方数据集的数据。