Sqoop 是一个命令行工具,具有以下结构
示例
键入 "sqoop help" 以获取所有可用的工具
当您决定将数据从 RDBMS 移动到 HDFS 时,首先要使用的产品是 Apache Sqoop。 当您请求将数据导入 HDFS 时,会发生以下情况。
Sqoop 安装的先决条件是 Java 和 Hadoop。 这两个必须预先安装在系统中。 从互联网上下载最新版本的 Sqoop。 以下命令用于提取 Sqoop tar 包并将其移动到“/usr/lib/sqoop”目录。 $tar -xvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz $ su password: # mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha...
阅读1分钟
Sqoop 教程提供了 Sqoop 的基本和高级概念。 我们的 Sqoop 教程专为初学者和专业人士设计。 Sqoop 是 Apache 提供的开源框架。 它是一个命令行界面应用程序,用于在关系数据库和 Hadoop 之间传输数据。 我们的 Sqoop 教程包括所有主题...
在某些情况下,数据的流动是从 RDBMs 到 HDFS。 使用“export”工具,我们可以将数据从 HDFS 导入到 RDBMs。 在执行导出之前,Sqoop 从 MySQL 数据库中获取表元数据。 因此,我们首先需要创建一个包含所需元数据的表。 在 MySQL 中创建表 mysql>Create...
到目前为止,数据已在 RDBMS 和 HDFS 之间移动。 导入的此数据可能需要使用 hive 或 hbase 进行进一步的代码分析。 Sqoop 提供了将数据直接导入 Hive / Hbase 的属性。 只需在命令末尾添加“--import-hive”。 例如:sqoop import \ --connect "jdbc:mysql:///training" \ --username...
我们有 mySql 数据库中的表,并且我们必须使用 Sqoop 将其导入到 HDFS。 要查看表中的内容,请在 mySql 提示符中键入以下命令。 mysql> select * from table_name limit 10 将“countries”表导入到我们的 HDFS 环境中:$ sqoop import --connect "jdbc:mysql:///training" --username...
Sqoop 是一个命令行界面应用程序,用于在关系数据库和 Hadoop 之间传输数据。 它支持单个表或自由形式 SQL 查询的增量加载,以及可以多次运行以导入自...以来对数据库所做的更新的已保存作业
您可以使用“where”子句对导入的数据进行限制。 让我们导入 cityByCountry 表,其中 state(第 6 列)仅限于“阿拉斯加”。 下面写了 Sqoop 语句:sqoop import \ --connect "jdbc:mysql:///training" \ --username training -P \ --table cityByCountry \ --target-dir /user/where_clause \ --where "state...
我们请求您订阅我们的新闻通讯以获取最新更新。