hadoop noclassdeffounderror尽管有distributedcache设置

fivyi3re 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(363)

我在试着摆脱一些 NoClassDefFoundError 由于某些原因 jars 在运行时找不到。所以我把我的 hdfs 系统中有一些lib，我打电话给

String lib = "/path/to/lib";
Path hdfsJar = new Path(lib);
DistributedCache.addFileToClassPath(hdfsJar, conf);

现在，我仍然得到错误。但是，如果我设置 jars 在 $HADOOP_CLASSPATH . 我做错了吗 DistributedCache 打电话？
编辑：

java.lang.RuntimeException: java.lang.NoClassDefFoundError: gov/nih/nlm/nls/metamap/MetaMapApi
    at org.apache.hadoop.mapreduce.lib.chain.Chain.joinAllThreads(Chain.java:526)
    at org.apache.hadoop.mapreduce.lib.chain.ChainMapper.run(ChainMapper.java:169)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.NoClassDefFoundError: gov/nih/nlm/nls/metamap/MetaMapApi
    at org.avrosation.metamap.ChainMetaProcess$TokenizerMapper.map(ChainMetaProcess.java:25)
    at org.avrosation.metamap.ChainMetaProcess$TokenizerMapper.map(ChainMetaProcess.java:16)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
    at org.apache.hadoop.mapreduce.lib.chain.Chain$MapRunner.run(Chain.java:321)
Caused by: java.lang.ClassNotFoundException: gov.nih.nlm.nls.metamap.MetaMapApi
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

Java hadoop mapreduce Jar

来源：https://stackoverflow.com/questions/32523293/hadoop-noclassdeffounderror-despite-distributedcache-setting

2条答案

按热度按时间

eeq64g8w1#

尝试提供完全限定的hdfs路径。请尝试以下代码：
确保将jar上传到hdfs（hdfs上的任何位置，我假设是/tmp）。

hadoop fs -copyFromLocal my.jar /tmp

然后编辑java代码，如下所示：

String lib = "hdfs://localhost:9000/tmp/my.jar";
Path hdfsJar = new Path(lib);
DistributedCache.addFileToClassPath(hdfsJar, conf);

本文档详细介绍了分布式缓存：https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/filecache/distributedcache.html

赞(0）回复(0）举报 2021-06-03

zzzyeukh2#

事实上，我从一开始就怀疑我的孩子有问题
ide IntelliJ Idea 14 因为我必须处理一个主要的代码重构，然后使代码揭示问题。首先，我试图清理建筑，但没有成功，然后我只是创建了另一个项目，复制粘贴类和库的导入，这就成功了！

赞(0）回复(0）举报 2021-06-03

我来回答

hadoop noclassdeffounderror尽管有distributedcache设置

2条答案

相关问题

热门标签

最新问答