我遇到了一个算法,在这个算法中,相同的文件被加载到每个Map器的主内存中。我假设,对于每个Map器,我们必须使用分布式缓存来获取文件,读取文件并将其加载到内存中。当我实现这一点时,我发现Map需要很长时间才能完成。我假设,这是因为,每次从本地磁盘读取每个Map器值的文件。我执行的对吗?还有其他建议吗?请帮忙!提前谢谢!
n9vozmp41#
您想在mapper setup()方法中从本地磁盘读取数据。使用示例变量保留引用。
1条答案
按热度按时间n9vozmp41#
您想在mapper setup()方法中从本地磁盘读取数据。使用示例变量保留引用。