Kafka 实时示例

2025年3月17日 | 阅读 3 分钟

到目前为止,我们学习了如何读取和写入数据到/从 Apache Kafka。在本节中,我们将学习如何将真实数据源放入 Kafka。

在这里,我们将讨论一个实时应用程序,即 Twitter。 用户将了解如何创建 twitter 生产者以及如何生成推文。

Twitter 是一种社交网络服务,允许用户交互和发布消息。这些消息被称为 Tweets。 Twitter 用户通过发布和评论不同的帖子进行互动。

为了处理 Twitter,我们需要获取 Twitter 应用程序的凭据。这可以通过创建一个 Twitter 开发者帐户来完成。要做到这一点,请遵循以下步骤

步骤 1:创建一个 Twitter 帐户,如果它不存在。

步骤 2:在 Web 浏览器上打开“developer.twitter.com”,如下所示

Kafka Real Time Example

点击“应用”选项。

步骤 3:将打开一个新页面。点击“申请开发者帐户”

Kafka Real Time Example

步骤 4:将打开一个新页面,询问预期用途,例如“您将如何使用 Twitter 数据?”等等。快照如下所示

Kafka Real Time Example

给出适当的答案后,点击“下一步”。

步骤 5:下一部分是“审查”部分。在这里,用户的解释将被 Twitter 审查,如下所示

Kafka Real Time Example

如果 twitter 认为答案合适,“看起来不错”选项将被启用。然后,转到下一部分。

步骤 6:最后,将要求用户审查并接受开发者协议。通过点击复选框接受协议。点击“提交申请”提交申请。

Kafka Real Time Example

步骤 7:成功完成后,将打开一个电子邮件确认页面。使用提供的电子邮件 ID 确认并继续下一步。

步骤 8:确认后,将打开一个新网页。点击“创建应用程序”,如下所示

Kafka Real Time Example

步骤 9:提供应用程序详细信息,如下面的快照所示

Kafka Real Time Example

步骤 10:在提供应用程序详细信息后,点击“创建”选项。将打开一个对话框“审查我们的开发者条款”。点击“创建”选项。快照如下所示

Kafka Real Time Example

最后,应用程序将以以下方式创建

Kafka Real Time Example

注意:当应用程序被创建时。它将生成密钥和令牌。不要泄露它们,因为这些是秘密或敏感信息。如果这样做,用户可以为了安全目的重新生成它们。

步骤 11:在创建应用程序后,我们需要在“pom.xml”文件中添加 twitter 依赖项。为此,请在 Web 浏览器上打开“github twitter java”。快照如下所示

Kafka Real Time Example

打开突出显示的链接或访问:'https://github.com/twitter/hbc' 直接打开。

步骤 12:在那里,用户将找到 twitter 依赖项代码。复制代码并将其粘贴到 Maven 依赖项代码下面的“pom.xml”文件中。

Kafka Real Time Example

术语“hbc”用于依赖项代码中。它代表“Hosebird Client”,这是一个 Java HTTP 客户端。它用于消费 Twitter 的标准流式 API。 Hosebird Client 分为两个模块

  1. hbc-core:它使用一个消息队列。该消息队列进一步被消费者用于轮询原始字符串消息。
  2. hbc-twitter4j:这与 hbc-core 不同,因为它使用 twitter4j 监听器。 Twitter4j 是一个非官方的 Java 库,通过它可以轻松地将我们的 Java 构建应用程序与各种 Twitter 服务集成。

在 twitter 依赖项代码中,使用了 hbc-core。用户也可以改用 twitter4j。

因此,通过这种方式,实时示例的第一阶段完成了。