使用hivecontext从配置单元外部表获取数据时发生filenotfound错误

ou6hu8tu  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(190)

我正在尝试使用hivecontext从配置单元外部表获取数据并将其存储在文本文件中。配置单元外部表的数据路径是hdfs:/data//job\u log。我的代码间歇性失败,错误如下。
警告tasksetmanager:阶段0.0中的任务1524.0丢失(tid 1524,):java.io.filenotfoundexception:文件不存在:/data//job\u log/\u job\u 20171027001515.copying at org.apache.hadoop.hdfs.server.namenode.inodefile.valueof(inodefile)。java:71)在org.apache.hadoop.hdfs.server.namenode.inodefile.valueof(inodefile。java:61)在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.getblocklocationsint(fsnamesystem)。java:1828)在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.getblocklocations(fsnamesystem。java:1799)在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.getblocklocations(fsnamesystem。java:1712)在org.apache.hadoop.hdfs.server.namenode.namenoderpcserver.getblocklocations(namenoderpcserver。java:672)在org.apache.hadoop.hdfs.protocolpb.clientnamenodeprotocolserversidetranslatorpb.getblocklocations(clientnamenodeprotocolserversidetranslatorpb。java:373)在org.apache.hadoop.hdfs.protocol.proto.clientnamenodeprotocolprotos$clientnamenodeprotocol$2.callblockingmethod(clientnamenodeprotocolprotos.java)位于org.apache.hadoop.ipc.protobufrpceengine$server$protobufrpinvoker.call(protobufrpceengine)。java:616)
我正在使用spark 1.6.1、scala 2.10.5和hdp 2.4.2群集。任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题