“如何通过sqoop从多个源导入数据”。我不知道这个…请告诉我这个的机制。谢谢
5lhxktic1#
这可以通过shell脚本完成。1) 准备一个具有dbname.tablename列表的inputfile 2)shell脚本将此文件作为输入,逐行迭代,并对每行执行sqoop语句。
while read line; do DBNAME=`echo $line | cut -d'.' -f1` tableName=`echo $line | cut -d'.' -f2` sqoop import -Dmapreduce.job.queuename=$RM_QUEUE_NAME --connect '$JDBC_URL;databaseName=$DBNAME;username=$USERNAME;password=$PASSWORD' --table $tableName --target-dir $DATA_COLLECTOR/$tableName --fields-terminated-by '\001' -m 1 done<inputFile
1条答案
按热度按时间5lhxktic1#
这可以通过shell脚本完成。
1) 准备一个具有dbname.tablename列表的inputfile 2)shell脚本将此文件作为输入,逐行迭代,并对每行执行sqoop语句。