Kibana Elk Stack

在本节中，我们将学习 Elk 堆栈。它是什么？如何将 Logstash 与 Kibana 结合使用，在 Kibana 中加载数据，如何使用 .csv 文件格式在 Kibana 中加载数据。

Kibana 是一款开源可视化应用程序，主要用于分析大量日志，如折线图、条形图、饼图、热力图等。Kibana 与 Elasticsearch 和 Logstash 同步工作，它们共同组成了所谓的 ELK 堆栈。

ELK 代表 Elasticsearch、Kibana 和 Logstash。 ELK 是世界上用于日志分析的流行日志管理平台之一。

ELK 堆栈 -

• Logstash 从各种输入源提取数据，用于日志记录或其他事件。并且在 Elasticsearch 中处理数据时，首先处理事件，然后在以后的过程中存储它们。
• Kibana 是一个可视化应用程序，它访问 Elasticsearch 日志并向用户显示折线图、条形图、饼图等。

在本教程中，我们将与 Kibana 应用程序和 Elasticsearch 密切合作，以便我们可以借助不同的可视化方式以各种方式表示我们的数据。

让我们了解一下我们如何一起使用 ELK 堆栈。此外，我们将学习如何将 CSV 数据从 Logstash 加载到 Elasticsearch。

将 CSV 数据从 Logstash 加载到 Elasticsearch

在 Kibana 中，我们将使用 .CSV 数据的格式通过 Logstash 将其上传到 Elasticsearch。为了获取数据，我们使用了流行的数据收集网站 Kaggle，以便我们可以分析虚拟数据。

从指定的网站，我们通过链接 https://www.kaggle.com/fernandol/countries-of-the-world. 选择了国家数据。它下载了 countrydata.csv 文件。现在，我们可以使用 CSV 文件进行分析。

CSV 文件包含以下信息

文件名 ? countriesdata.csv

列 ? "Country","Region","Population","Area"

我们也可以构建并使用一个虚拟 CSV 脚本。我们可以使用 logstash 将此数据转储到 elasticsearch，来自 countrydata.csv。

让我们启动带有 Elasticsearch 和 Kibana 的终端，并保持它运行。我们需要使用 CSV 文件列的详细信息和其他信息来构建 Logstash 配置文件，如下面的 logstash-config 文件所示。

我们在配置文件中创建了 2 个组件

输入

我们需要指定输入文件路径，在本例中为 CSV 文件。我们使用路径来提供我们存储 CSV 文件的 Kibana 中的路径字段选项。

输出

我们需要指定要放置数据的位置以进行输出。在这里，我们使用 Elasticsearch。在这种情况下。下一个字段是索引，我们将其命名为 current nation。将数据更新到 Elasticsearch 后，我们必须在 Kibana 中使用相同的索引。

现在我们需要将上述文件保存在 Kibana 中作为配置文件，其名称将为 Logstash countries.config。请注意，在下一步中，我们必须将此配置路径发送到 Logstash 订单。

现在为了我们插入 Kibana 的数据能够正常工作，我们需要重新启动我们的 Elasticsearch 服务器，以便它可以将数据从 CSV 文件加载到我们的服务器。

现在运行 http:/localhost:9200 以确认 elasticsearch 是否在浏览器中成功运行。

我们运行 Elasticsearch。现在继续前进，我们必须转到我们安装 logstash 的路径，然后我们必须在 CMD 中执行以下给定命令，以便它可以将以下数据上传到 Elasticsearch。

-----logstash -f logstash_countries.conf

在上图中，我们可以看到数据正在从 CSV 文件加载到 Elasticsearch 中。要知道我们是否有 Elasticsearch 索引，我们可以用同样的方式检查它。

如上所示，我们可以看到已建立 countrydata-28.12.2018 索引。

现在，索引信息 ? Lnder-28.12.2018 如下

请记住，当数据从 logstash 上传到 elasticsearch 时，映射详细信息会与属性一起生成。

在 Kibana 中使用来自 Elasticsearch 的数据

Kibana 当前在端口 5601 上的 localhost 上运行（对于不同的用户，此端口可能不同）？http:/localhost:5601。

可以在下面的图像中看到 Kibana 的用户界面。

在我们进一步执行步骤之前，需要注意的一点是，我们已经在我们的应用程序中安装并配置了 Kibana。它与 Elasticsearch 链接，在 Kibana 中，我们应该能够 看到索引：countries-28.12.2018。

单击 Kibana UI 左侧的“管理菜单”选项

现在，单击索引管理

在索引管理中，显示 Elasticsearch 中存在的索引。

在下一节中，我们将了解如何使用 Kibana 的索引在我们的数据集上可视化数据，或者将数据转换为饼图、条形图、折线图等，以从数据中获得更好的输出。