添加hapi第三方库(jars)来Mapreduce

dwthyt8l  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(364)

我正在尝试将hapi jar添加到map reduce任务中。我在/home/training/lib下有所有必需的jar
我做了一个胖jar,里面装着我需要的所有哈皮jar hadoop jar mp.jar stubs.MsgParser infile outfile -libjars /home/training/lib 我知道了 Usage: MsgParser [generic options] <input dir> <output dir> 在我的驱动程序中,我实现了toolrunner
更多信息:
我正在运行cloudera发行版。
我只需要Map上的jar
mp.jar是从eclipse导出的jar
我的hadoopjar命令是否需要修改,或者是否有其他解决方案添加这些jar,我无法将jar复制到/usr/lib/hadoop/client-0.20,因为我不是所有者
提前谢谢!

2w3kk1z5

2w3kk1z51#

解决方案:将jar上传到hdfs,只需添加

DistributedCache.addFileToClassPath(new Path(HDFSPATH), conf);

在司机的主要方法

相关问题