我在考虑使用hadoop编写一个简单的基于代理的框架。这是一个我已经玩弄了很长一段时间的想法（但没有深入思考）。我想使用它的目标应用程序是遗传编程。我的想法是，我会培育出许多代理，让他们执行一项任务，评估他们的基因适合度，然后培育他们，然后重复整个训练。我想知道人们是否对使用hadoop做这件事有任何直接的想法/批评。提前谢谢。
ffdz8vbo1#
这取决于代理如何真正适应map/reduce方法。如果代理生成的结果将在reduce阶段被消耗，并且新的作业将被启动，那么使用hadoop就可以了。如果你的代理依赖于对方的结果-你可能想尝试一下类似storm（https://github.com/nathanmarz/storm/wiki )
lyr7nygr2#
我认为你应该看看Hadoop2.0的故事。它可以让你运行任意的逻辑，而不局限于mr范式
2条答案
按热度按时间ffdz8vbo1#
这取决于代理如何真正适应map/reduce方法。如果代理生成的结果将在reduce阶段被消耗，并且新的作业将被启动，那么使用hadoop就可以了。如果你的代理依赖于对方的结果-你可能想尝试一下类似storm（https://github.com/nathanmarz/storm/wiki )
lyr7nygr2#
我认为你应该看看Hadoop2.0的故事。它可以让你运行任意的逻辑，而不局限于mr范式