Talend 数据集成组件和连接器

在本节中，我们将学习在创建作业时使用的数据集成组件和连接器。

连接器和组件在 Talend 中执行所有操作，它提供了 800 多个连接器和组件来执行多种操作。

组件位于调色板面板中，共有 21 个主要类别，属于这些组件。

通过在设计器面板中拖放，我们可以选择连接器，它会自动创建 java 代码。

之后，保存 Talend 代码并执行。

我们在下图显示了调色板面板中可用的组件列表，

上述列表被广泛用作 Talend 数据集成的连接器和组件。

让我们看一些 Talend Studio 中数据集成常用的组件，

连接器

• 行
• 迭代
• 触发器
• 链接

行

行连接器用于维护实际数据流，以下是一些行连接器：

• 主函数
• 查找
• Filter
• Rejects
• ErrorRejects
• 输出
• Unique/duplicates
• Multiple input/output

主函数

最常用的行连接是 Main，因为它有助于将数据流从一个组件传递到另一个组件，并根据组件属性设置对每一行进行迭代或读取输入数据。

注意
我们不能通过 Main 行连接来连接两个输入组件。
每个组件最多允许一个传入的行连接，因为我们无法使用 Main 行连接两次链接相同的目标组件。

第二个行连接称为Lookup。

要使用 Main 行连接来连接两个组件，

右键单击输入组件，然后在连接列表中选择Row → Main，如下图所示，

或者，

我们可以单击组件以突出显示它，然后右键单击它或单击它旁边可见的 O 图标，然后将光标拖向目标组件，这会自动创建一个Row → Main类型的连接。

查找

当我们想连接多个输入流时，使用 Lookup 行连接。

它是主流程组件的一个子流程组件，这意味着它允许接收多个传入流。

要连接查找行连接，请右键单击需要更改的行，然后会弹出一个菜单，然后单击Set this connection as Main 将查找行转换为主行，如下图所示，

Filter

filter 行连接专门用于将 tFilterRow 组件连接到输出组件。它用于收集符合过滤条件的数据。

Rejects

Rejects 行连接用于将处理组件连接到输出组件。

它用于收集不符合过滤器或不符合预期输出的数据。

它还允许我们跟踪由于数据类型错误、未定义空值等原因无法处理的数据。

当 Die on error 选项被禁用时，reject 连接将被启用。

ErrorRejects

ErrorRejects 连接用于将 tMap 组件连接到输出组件。

当我们在 tMap 编辑器中清除 Die on Error 复选框时，它将被启用，并且它会收集某些组件上无法处理的数据。

输出

output 行连接用于将 tMap 组件连接到一个或多个输出组件。

Unique/Duplicate

unique/duplicate 行连接用于将 tUniqRow 连接到输出组件。

Unique 行连接用于收集在传入流中首先找到的行，并且此唯一数据流被定向到相关的输出组件，否则定向到另一个处理子作业。

Duplicate 行连接用于收集第一个相关行的可能的重复项。

Multiple input/output

这种行连接用于通过各种输入和输出来处理数据。

合并

combine 行连接用于将一个 CombinedSQL 组件连接到另一个。

迭代

要对目录中包含的文件、文件中的行或数据库条目执行循环，可以使用 iterate 连接器。

它主要用于连接子作业的流程星形组件。

触发器

触发器连接器用于在作业和子作业之间创建依赖关系，这些作业或子作业根据触发器的性质按顺序触发。

Talend 中有两种触发器可用

• Subjob triggers
• Component triggers

链接

link 连接器仅与 ETL 组件一起使用。此类型的连接不处理实际数据，只处理与操作表相关的元数据。