在map reduce任务之间共享全局数组

nx7onnlm  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(338)

我需要在所有map和reduce任务中保留一个全局字符串数组,每个任务都可以在运行时更新。
在hadoop1.2.1中有可能做到这一点吗?
据我所知,计数器只能使用long类型,分布式缓存文件是只读的。
如果有人能给这个问题指点,那就太好了。
谢谢!

ehxuflar

ehxuflar1#

在map-reduce程序中确实不应该有共享变量。
但是如果您真的需要它,请查看zookeeper,它是一个分布式协调服务,是hadoop生态系统的核心部分。您可以使用它来存储任何类型的共享数据,包括字符串数组。

相关问题