如何创建sqoopmysql到hive分区?

of1yzvn4  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(392)

创建sqoop mysql到配置单元分区?我的代码下面需要清楚的解释

sqoop import --connect jdbc:mysql://localhost/arun  --table account --username root --password hadoop -m 1  --hive-partition-key "name" --hive-partition-value "arun" --hive-database company  --create-hive-table  --hive-table account5  --target-dir /user/sqooptest21
ldxq2e6h

ldxq2e6h1#

根据你的命令。

sqoop import --connect jdbc:mysql://localhost/arun  --table account --username root --password hadoop -m 1  --hive-partition-key "name" --hive-partition-value "arun" --hive-database company  --create-hive-table  --hive-table account5  --target-dir /user/sqooptest21

您将把数据库表从mysql导入hdfs(迁移)。
--连接:您正在连接到sql中名为“arun”的数据库。
--table:要迁移的sqltable的名称“account”
--用户名和密码:mysql服务器的用户名和密码。
-m:用于迁移数据的Map器的数量。
--配置单元分区键:要分区的配置单元字段(在您的例子中是name字段)的名称
--配置单元分区值:字符串值(arun),用作此作业中导入配置单元的分区键
--创建配置单元表:如果已设置,则如果目标配置单元表退出,则作业将失败。默认情况下,此属性为false
--配置单元表:配置单元中要存储数据的表的名称
--target dir:hdfs中存储从sql迁移的数据的目录的名称。
希望这有帮助!:)

相关问题