使用sqoop从配置单元导出到sqlsrver

uwopmtnx  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(374)

我正在尝试将数据从配置单元导出到mssql服务器,我知道sqoop和sql服务器是可以的,因为我可以导出另一个表而不会出现问题。
我得到的错误是:
14/06/19 14:48:37 info mapreduce.job:任务id:尝试\u 1403175168750 \u 0031 \u m \u000003 \u 0,状态:失败错误:java.io.ioexception:无法导出数据,请检查org.apache.sqoop.mapreduce.textexportmapper.map(textexportmapper)上失败的Map任务日志。java:112)在org.apache.sqoop.mapreduce.textexportmapper.map(textexportmapper。java:39)在org.apache.hadoop.mapreduce.mapper.run(mapper。java:145)在org.apache.sqoop.mapreduce.autoprogressmapper.run(autoprogressmapper。java:64)在org.apache.hadoop.mapred.maptask.runnewmapper(maptask。java:764)在org.apache.hadoop.mapred.maptask.run(maptask。java:340)在org.apache.hadoop.mapred.yarnchild$2.run(yarnchild。java:168)位于javax.security.auth.subject.doas(subject)的java.security.accesscontroller.doprivileged(本机方法)。java:415)在org.apache.hadoop.security.usergroupinformation.doas(用户组信息。java:1548)在org.apache.hadoop.mapred.yarnchild.main(yarnchild。java:163)原因:java.lang.runtimeexception:无法解析输入数据:'您可能对您希望如何。。。处女座的更多http://t.co/jnt91nmnt5'在stageflumetweets.\u loadfromfields(stageflumetweets。java:236)在stageflumetweets.parse(stageflumetweets。java:174)在org.apache.sqoop.mapreduce.textexportmapper.map(textexportmapper。java:83) ... 还有10个原因:java.lang.numberformatexception:for input string:“你可能怀有一种秘密的幻想,幻想你想如何。。。处女座的更多http://t.co/jnt91nmnt5“在java.lang.numberformatexception.forinputstring(numberformatexception。java:65)在java.lang.long.parselong(long。java:441)在java.lang.long.valueof(long。java:540)在stageflumetweets.\u loadfromfields(stageflumetweets。java:228) ... 12个以上
im用于导出数据的命令是:
sqoop export--verbose--connect“jdbc:sqlserver://xx;数据库=xx;用户名=xx;password=xx”--导出目录/user/hive/warehouse/xx/twitter\u bulk2/--表stageflumetweets--输入字段以','结尾
其中包含数据的文件只是一个tweetid和如下文本:
一个女人可能想要你,但她不需要你。468751929565130752,我需要借某人的红唇膏

yhived7q

yhived7q1#

你得到一个 NumberFormatException .
这可能是一个溢出问题(考虑到 tweedid ). sql server中的相应字段是否声明为 bigint ?

相关问题