我开始在一个系统上工作，该系统将需要发现集群中的节点并发送这些节点作业。我知道有无数的系统可以解决这个问题，但我不清楚每一个系统的复杂性，以及哪一个最适合我的具体需求。
我们的要求是一个应用程序应该能够发出工作要求。每个请求将指定要处理的多个数据段。集群中的节点应该获得这些作业请求，并判断所请求的数据段是否“方便”。应用程序将需要跟踪某个节点正在处理哪些数据段，如果有需要强制某些节点处理的数据段（所有节点都可以访问所有数据，但它们应该更愿意处理它们已经缓存的数据段），则可能会发送进一步的请求。
这是一个非常典型的map/reduce问题，但是我们不想使用标准的hadoop解决方案，因为我们试图避免将初步结果写入文件的开销。这更像是一个流问题，我们希望节点对它们读取的数据执行过滤，然后通过网络套接字将其发送到将合并所有节点的结果的应用程序。
我快速浏览了akka、apachespark（流媒体）、storm和简单的upnp，我不确定哪一个最适合我的需要。有一件事至少对spark不利，那就是它似乎需要在网络上设置zookeeper，这是一个我们希望能够避免的复杂问题。
有没有一个简单的库可以执行类似于“通过网络多播自动发现节点”的操作，然后允许您简单地来回发送消息来协商哪个节点将处理哪个数据段？阿克卡能帮我吗？如何在集群中添加/发现节点？同样，我们希望将配置开销保持在最低限度，这就是upnp/ssdp看起来不错的原因。
对于如何使用上述解决方案或其他库或解决方案的任何建议，我们将不胜感激。