Sqoop 教程2024年8月28日 | 1分钟阅读 Sqoop 教程提供了 Sqoop 的基础和高级概念。 我们的 Sqoop 教程专为初学者和专业人士设计。 Sqoop 是 Apache 提供的开源框架。 它是一个命令行界面应用程序,用于在关系数据库和 Hadoop 之间传输数据。 我们的 Sqoop 教程包括 Apache Sqoop 的所有主题,包括 Sqoop 功能、Sqoop 安装、启动 Sqoop、Sqoop 导入、Sqoop where 子句、Sqoop 导出、Sqoop 与 Hadoop 生态系统的集成等。 前提条件在学习 Sqoop 之前,您必须具备 Hadoop 和 Java 的知识。 目标受众我们的 Sqoop 教程旨在帮助初学者和专业人士。 问题我们保证您在本 Sqoop 教程中不会发现任何问题。 但是,如果有任何错误,请在联系表格中发布问题。 下一主题什么是 Sqoop |
您可以使用“where”子句对导入的数据进行限制。 让我们导入 cityByCountry 表,其中 state(第 6 列)仅限于“阿拉斯加”。 下面写了 Sqoop 语句:sqoop import \ --connect "jdbc:mysql:///training" \ --username training -P \ --table cityByCountry \ --target-dir /user/where_clause \ --where "state...
阅读1分钟
Sqoop 是一个命令行界面应用程序,用于在关系数据库和 Hadoop 之间传输数据。 它支持单个表或自由形式 SQL 查询的增量加载,以及可以多次运行以导入自...以来对数据库所做的更新的已保存作业
阅读1分钟
Sqoop 安装的先决条件是 Java 和 Hadoop。 这两个必须预先安装在系统中。 从互联网上下载最新版本的 Sqoop。 以下命令用于提取 Sqoop tar 包并将其移动到“/usr/lib/sqoop”目录。 $tar -xvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz $ su password: # mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha...
阅读1分钟
在某些情况下,数据的流动是从 RDBMs 到 HDFS。 使用“export”工具,我们可以将数据从 HDFS 导入到 RDBMs。 在执行导出之前,Sqoop 从 MySQL 数据库中获取表元数据。 因此,我们首先需要创建一个包含所需元数据的表。 在 MySQL 中创建表 mysql>Create...
阅读1分钟
我们有 mySql 数据库中的表,并且我们必须使用 Sqoop 将其导入到 HDFS。 要查看表中的内容,请在 mySql 提示符中键入以下命令。 mysql> select * from table_name limit 10 将“countries”表导入到我们的 HDFS 环境中:$ sqoop import --connect "jdbc:mysql:///training" --username...
阅读1分钟
Sqoop 是一个命令行工具,具有以下结构:sqoop TOOL PROPERTY_ARGS SQOOP_ARGS [-- EXTRA_ARGS] TOOL 指示操作,例如:“import”、“export”。 PROPERTY_ARGS 是 Java 属性,格式为“-Dname=value” SQOOP_ARGS 提及各种 Sqoop 参数 EXTRA_ARGS 用于专门的连接器,用“--”与 SQOOP_ARGS 分隔 示例:% sqoop import --connect jdbc:mysql:///hadoopguide...
阅读1分钟
到目前为止,数据已在 RDBMS 和 HDFS 之间移动。 导入的此数据可能需要使用 hive 或 hbase 进行进一步的代码分析。 Sqoop 提供了将数据直接导入 Hive / Hbase 的属性。 只需在命令末尾添加“--import-hive”。 例如:sqoop import \ --connect "jdbc:mysql:///training" \ --username...
阅读1分钟
我们请求您订阅我们的新闻通讯以获取最新更新。
我们提供所有技术(如 Java 教程、Android、Java 框架)的教程和面试问题
G-13, 2nd Floor, Sec-3, Noida, UP, 201301, India