DataStage 面试问题

下面列出了最常问的 DataStage 面试问题和答案。

1) 什么是 IBM DataStage？

DataStage 是最强大的 ETL 工具之一。它具有用于数据集成的图形可视化功能。它从源提取、转换并加载数据到目标。

DataStage 是一套用于设计、开发、运行、编译和管理应用程序的集成工具。它可以从一个或多个数据源提取数据，实现数据的多部分转换，并将结果数据加载到一个或多个目标文件或数据库中。

2) 描述 DataStage 的架构？

DataStage 遵循客户端-服务器模型。针对不同版本的 DataStage，它有不同类型的客户端-服务器架构。

DataStage 架构包含以下组件。

• 项目
• 作业 (Jobs)
• 阶段
• 服务器
• 客户端组件

3) 解释 DataStage 并行扩展器 (PX) 或企业版 (EE)？

DataStage PX 是 IBM 的数据集成工具。它是数据仓库行业中使用最广泛的提取、转换和加载 (ETL) 工具之一。此工具从各种来源收集信息，根据业务需求执行转换，并将数据加载到相应的数据仓库中。

DataStage PX 也称为 DataStage 企业版。

4) 描述 DataStage 的主要功能？

DataStage 的主要功能如下。

• DataStage 提供了分区和并行处理技术，这使得 DataStage 作业能够更快地处理大量数据。
• 它具有企业级网络功能。
• 它是 IBM InfoSphere 信息服务器的数据集成组件。
• 它是一个基于 GUI 的工具。
• 在 DataStage 中，我们需要拖放 DataStage 对象，我们也可以将其转换为 DataStage 代码。
• DataStage 用于执行各种 ETL 操作（提取、转换、加载）
• 它同时提供与不同来源和多个目标的连接

5) DataStage 有哪些先决条件？

对于 DataStage，需要进行以下设置。

• InfoSphere
• DataStage 服务器 9.1.2 或更高版本
• Microsoft Visual Studio .NET 2010 Express Edition C++
• 如果连接到 Oracle 数据库，需要 Oracle 客户端（完整客户端，而非即时客户端）
• 如果连接到 DB2 数据库，需要 DB2 客户端

6) 如果文件元数据相同，如何使用单个 DataStage 作业读取多个文件？

• 搜索文件元数据是否不同或相同，然后在顺序阶段指定文件名。
• 在其属性中将元数据附加到顺序阶段。
• 选择读取方法为“特定文件”，然后通过从“可添加属性”中选择“文件”属性来添加所有文件。

它看起来像

7) 解释 IBM InfoSphere 信息服务器并突出其主要功能？

IBM InfoSphere Information Server 是一个领先的数据集成平台，包含一组产品，使您能够 理解、过滤、监控、转换和交付 数据。可扩展的解决方案具有大规模并行处理能力，可帮助您管理少量和大量数据。它帮助您将可靠信息转发到您的关键业务目标，例如 大数据和分析、数据仓库现代化和主数据管理。

IBM InfoSphere 信息服务器的特点

• IBM InfoSphere 可以连接多个源系统，也可以写入各种目标系统。它充当数据集成的单一平台。
• 它基于集中式层。所有模块都可以共享套件的基线架构。
• 它具有用于统一存储库、集成元数据服务和共享并行引擎的一些附加层。
• 它具有用于分析、监控、清理、转换和交付数据的工具。
• 它具有极高的并行处理能力，可提供高速处理。

8) 什么是 IBM DataStage Flow Designer？

IBM DataStage Flow Designer 允许您在 DataStage 中创建、编辑、加载和运行作业。DFD 是 DataStage 的瘦客户端、基于 Web 的版本。它是 DataStage 的基于 Web 的 UI，而不是基于 Windows 的厚客户端 DataStage Designer。

9) 如何从命令行运行 DataStage 作业？

要运行 DataStage 作业，请使用以下“dsjob”命令。

10) 与“dsjob”相关的其他命令有哪些？

许多可选命令可以与 dsjob 命令一起使用来执行任何特定任务。这些命令以以下格式使用。

下面列出了 dsjob 命令的常用可选命令。

Stop: 用于停止正在运行的作业

Lprojects: 用于列出项目

ljobs: 用于列出项目中的作业

lparams: 用于列出作业中的参数

paraminfo: 返回参数信息

Linkinfo: 返回链接信息

Logdetail: 用于显示事件 ID、时间、消息等详细信息

Lognewest: 用于显示最新的日志 ID。

log: 用于向日志添加文本消息。

Logsum: 用于显示日志。

lstages: 用于列出作业中存在的阶段。

Llinks: 用于列出链接。

Projectinfo: 返回项目信息（主机名和项目名称）

Jobinfo: 返回作业信息（作业状态、作业运行时间、结束时间等）

Stageinfo: 返回阶段名称、阶段类型、输入行等）

Report: 用于显示包含生成时间、开始时间、经过时间、状态等的报告。

Jobid: 用于提供作业 ID 信息。

11) DataStage 工具中的 Quality Stage 是什么？

Quality Stage 有助于集成来自多个来源的不同类型的数据。

它也称为 完整性阶段 (Integrity Stage)。

12) DataStage 中终止作业的流程是什么？

要终止作业，您必须销毁特定的处理 ID。

13) 什么是 DS Designer？

DataStage Designer 用于设计作业。它还开发工作区并向其添加各种链接。

14) DataStage 中的阶段 (Stages) 是什么？

阶段是 InfoSphere DataStage 中的基本结构块。它提供了一组丰富而独特的功能，可以执行高级或简单的数据集成任务。阶段包含并表示将对数据执行的处理步骤。

15) DataStage 中的操作符 (Operators) 是什么？

并行作业阶段是基于操作符构建的。单个阶段可能属于单个操作符或多个操作符。操作符的数量取决于您设置的属性。在编译期间，InfoSphere DataStage 会评估您的作业设计，有时会优化操作符。

16) 解释 DataStage 与 DataSources 之间的连接？

IBM InfoSphere Information Server 支持连接器，并使作业能够在 InfoSphere Information Server 和数据源之间进行数据传输。

IBM InfoSphere DataStage 和 QualityStage 作业可以从企业应用程序和数据源（例如：）访问数据

• 关系数据库
• 大型机数据库
• 企业资源规划 (ERP) 或客户关系管理 (CRM) 数据库
• 在线分析处理 (OLAP) 或绩效管理数据库
• 业务和分析应用程序

17) 描述流连接器 (Stream connector)？

流连接器允许 Streams 和 DataStage 之间进行集成。InfoSphere Stream 连接器用于将数据从 DataStage 作业发送到 Stream 作业，反之亦然。

InfoSphere Streams 可以近乎 实时地进行分析处理，同时并行将数据加载到数据仓库中。或者，InfoSphere Streams 作业执行 RTAP 处理。RTAP 处理后，它将数据转发给 InfoSphere DataStage 进行转换、丰富和存储详细信息以进行存档。

18) DataStage Transformer 阶段中 HoursFromTime() 函数的用途是什么？

HoursFromTime 函数用于返回 时间 的小时部分。其输入是时间，输出是 小时 (int8)。

示例： 如果 myexample1.time 包含时间 22:30:00，则以下两个函数是等效的，并返回整数值 22。

19) Informatica 和 DataStage 之间有什么区别？

DataStage 和 Informatica 都是强大的 ETL 工具。两种工具都以几乎相同的方式做着几乎相同的工作。在两种工具中，性能、可维护性和学习曲线都相似且具有可比性。以下是两种工具之间的一些区别。

20) 如何将服务器作业转换为并行作业？

我们可以通过使用 Link Collector 和 IPC Collector 将服务器作业转换为并行作业。

21) 信息服务器架构中有哪些不同的层？

信息服务器架构的不同层如下。

• 统一用户界面
• 通用服务
• 统一并行处理
• 统一元数据
• 通用连接

22) 如果要在不同的作业中使用相同的代码片段，您将如何实现？

DataStage 提供了一个名为 共享容器 的功能，它允许为不同的作业共享相同的代码片段。容器被共享以实现重用性。共享容器由阶段和链接的可重用作业元素组成。我们可以在不同的 DataStage 作业中调用共享容器。

23) DataStage 中有多少种排序方法？

DataStage 中有两种并行作业排序方法。

• 链接排序
• 独立排序阶段

24) 描述链接排序 (Link Sort)？

链接排序支持的选项比其他排序少。在 DataStage 作业中维护起来很容易，因为 DataStage 作业画布中只有几个阶段。

除非需要特定选项而不是排序阶段，否则使用链接排序。通常，排序阶段用于指定部分排序的排序键模式。

链接排序选项在输入/分区阶段选项中可用。如果我们使用自动分区方法，我们无法指定键分区。

25) 哪些命令用于导入和导出 DataStage 作业？

我们使用以下命令执行给定操作。

对于 导入：我们使用 dsimport.exe 命令

对于 导出，我们使用 dsexport.exe 命令

26) 描述 DataStage 中的例程 (routines)？列举各种类型的例程。

例程是由 DS 管理器定义的一组任务。它通过转换器阶段运行。

例程有三种

• 并行例程
• 大型机例程
• 服务器例程

27) DataStage 中有哪些不同类型的作业？

DataStage 中有两种类型的作业

• 服务器作业： 这些作业按顺序运行
• 并行作业： 这些作业以并行方式执行

28) 说明操作型 DataStage 和数据仓库之间的区别？

操作型 DataStage 可以被视为用于用户处理和实时分析的展示区域。因此，操作型 DataStage 是一个临时存储库。而数据仓库用于持久数据存储需求，并包含整个业务的完整数据。

29) DataStage 中异常活动的重要性是什么？

异常活动的重要性在于，在作业执行期间，异常活动处理所有不熟悉的错误活动。

30) 什么是“致命错误/RDBMS 代码 3996”错误？

此错误发生在 DataStage 8.5 在 Teradata 13 升级到 14 期间测试作业时。

这是因为用户试图将较长的字符串分配给较短的字符串目标，有时如果 RANGE_N 函数中一个或多个范围边界的长度是字符串文字，其长度高于测试值的长度。