java—为每个mapper hadoop在内存中加载相同的文件

bgibtngc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(288)

我遇到了一个算法,在这个算法中,相同的文件被加载到每个Map器的主内存中。
我假设,对于每个Map器,我们必须使用分布式缓存来获取文件,读取文件并将其加载到内存中。当我实现这一点时,我发现Map需要很长时间才能完成。我假设,这是因为,每次从本地磁盘读取每个Map器值的文件。
我执行的对吗?
还有其他建议吗?
请帮忙!提前谢谢!

n9vozmp4

n9vozmp41#

您想在mapper setup()方法中从本地磁盘读取数据。使用示例变量保留引用。

相关问题