我需要在所有map和reduce任务中保留一个全局字符串数组,每个任务都可以在运行时更新。在hadoop1.2.1中有可能做到这一点吗?据我所知,计数器只能使用long类型,分布式缓存文件是只读的。如果有人能给这个问题指点,那就太好了。谢谢!
ehxuflar1#
在map-reduce程序中确实不应该有共享变量。但是如果您真的需要它,请查看zookeeper,它是一个分布式协调服务,是hadoop生态系统的核心部分。您可以使用它来存储任何类型的共享数据,包括字符串数组。
1条答案
按热度按时间ehxuflar1#
在map-reduce程序中确实不应该有共享变量。
但是如果您真的需要它,请查看zookeeper,它是一个分布式协调服务,是hadoop生态系统的核心部分。您可以使用它来存储任何类型的共享数据,包括字符串数组。