使用amazon弹性mapreduce服务时如何在hadoop中包含第三方库

4szc88ey  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(237)

我必须使用称为weka的第三方库来执行一些数据挖掘任务。但是我不知道如何在amazonelasticmapreduce服务中包含所需的jar文件。
有人有处理这个案子的经验吗?

zbsbpyhn

zbsbpyhn1#

一个简单的解决方案是使用Map器和归约器将依赖项放在jar文件中。
如果您使用maven构建,我建议您使用maven程序集插件来打包一个包含所有依赖项的jar。

相关问题