如何通过sqoop从多个源导入数据

cxfofazt  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(362)

“如何通过sqoop从多个源导入数据”。
我不知道这个…请告诉我这个的机制。
谢谢

5lhxktic

5lhxktic1#

这可以通过shell脚本完成。
1) 准备一个具有dbname.tablename列表的inputfile 2)shell脚本将此文件作为输入,逐行迭代,并对每行执行sqoop语句。

while read line;
do

    DBNAME=`echo $line | cut -d'.' -f1` 
    tableName=`echo $line | cut -d'.' -f2`

    sqoop import -Dmapreduce.job.queuename=$RM_QUEUE_NAME --connect '$JDBC_URL;databaseName=$DBNAME;username=$USERNAME;password=$PASSWORD' --table $tableName  --target-dir $DATA_COLLECTOR/$tableName  --fields-terminated-by '\001'  -m 1 

done<inputFile

相关问题