我想做一个Map缩小的工作。我使用eclipse创建了一个可运行的jar，我的输入格式类和输出格式类与启动作业的类位于同一个包中。所有这些都包括在jar里。我将输入和输出格式类设置如下：
job.setInputFormatClass(fully_qualified_name_of_my_input_class.class);
job.setOutputFormatClass(fully_qualified_name_of_my_output_class.class);但是当我用 hadoop jar myJar.jar 对于输出格式类，我得到类未找到异常，但是对于输入格式类，我没有得到异常。怎么纠正这个？？这是stacktrace
java.lang.RuntimeException: java.lang.ClassNotFoundException: my-class-name
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867)
at org.apache.hadoop.mapreduce.JobContext.getOutputFormatClass(JobContext.java:235)
at org.apache.hadoop.mapred.Task.initialize(Task.java:513)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:353)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:416)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: my-class-name
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:266)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:820)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:865)
... 8 more
2条答案
按热度按时间6rqinv9w1#
ClassNotFoundException由于jvm找不到类而引发。这可能是由于以下原因造成的：-真的渴望类是失踪。
类存在，但由于某些错误。我找不到它。
在第一种情况下，添加类
在第二种情况下，删除bin文件夹中的所有类文件并清理项目。
现在重新运行代码。它将解决异常。
06odsfpq2#
设置作业时，请尝试添加以下内容。
有关详细信息，请参见hadoop查询job类的setjarbyclass方法。