我想使用hadoopc++管道来创建may/reduce代码。而且输入数据是二进制的，我想定制inputformat来控制getsplits逻辑。。。。。。但我不确定这是否是一个可行的解决方案。我尝试在cli中分配自定义inputformat类，但未能运行。
../bin/hadoop pipes -conf testframework.xml -input input -output output -inputformat TestInputFormat.class我得到以下错误：
Exception in thread "main" java.lang.ClassNotFoundException: TestInputFormat.class
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:812)
at org.apache.hadoop.mapred.pipes.Submitter.getClass(Submitter.java:372)
at org.apache.hadoop.mapred.pipes.Submitter.run(Submitter.java:421)
at org.apache.hadoop.mapred.pipes.Submitter.main(Submitter.java:494)这有道理吗？
1条答案
按热度按时间5ssjco0h1#
我认为你的问题只是最后一节课。但如果你已经试过移除它。你可以试试我怎么解决这个问题。我装进一个jar里(
jar cf libJar.jar packageName). 我用-libjars来引用它-inputformat packageName.TestInputFormat. 我希望这有帮助。编辑1
另一种方法是使用
-D mapred.input.format.class=packageName.TestInputFormat