Hive 中的 Bucketing

Hive中的bucketing是一种数据组织技术。它类似于Hive中的分区，并具有额外的功能，可以将大型数据集划分为更易于管理的部分，称为桶。因此，当分区实现变得困难时，我们可以使用Hive中的bucketing。但是，我们也可以将分区进一步划分为桶。

Hive中Bucketing的工作原理

• bucketing的概念基于哈希技术。
• 这里，计算当前列值和所需桶的数量的模数 (例如，F(x) % 3)。
• 现在，根据结果值，数据存储在相应的桶中。

Hive中Bucketing的示例

• 首先，选择我们要创建表的数据库。

• 创建一个虚拟表来存储数据。

• 现在，将数据加载到表中。

• 使用以下命令启用bucketing：-

• 使用以下命令创建bucketing表：-

• 现在，将虚拟表的数据插入到bucketing表中。

• 在这里，我们可以看到数据被分成三个桶。

• 让我们检索桶0的数据。

根据哈希函数
6%3=0
3%3=0
因此，这些列存储在桶0中。

• 让我们检索桶1的数据。

根据哈希函数
7%3=1
4%3=1
1%3=1
因此，这些列存储在桶1中。

• 让我们检索桶2的数据。

根据哈希函数
8%3=2
5%3=2
2%3=2
因此，这些列存储在桶2中。