我对群集计算非常陌生，想了解更多有关群集计算所用的各种软件，以及哪些软件最适合于特定任务。特别是，我试图解决的问题涉及到一个经理/工人类型的场景，其中一个经理负责创造100到1000个工作岗位。每个作业虽然相对较大，但必须在一个小的帧一个帧的基础上执行。i、 经理会告诉每一项工作，“提前一个框架，并向我汇报”。单个帧的执行将非常小，因此管理器和工作机之间的延迟必须非常小，大约为微秒。
谢谢您！任何信息都将不胜感激，即使是不完全符合我描述的场景的东西，只是给我一个起点。到目前为止，我已经研究了hadoop、htcondor和akka。
1条答案
按热度按时间6tqwzwtp1#
由于通信延迟对您很重要，您可能应该考虑使用mpi。使用mpi编写简单的主/辅程序并不太困难，而且它可能会为您提供最佳的性能，特别是当您的集群具有高性能网络（如infiniband）时。
如果您使用的是java，那么您需要做一些研究来确定一个好的java/mpi包。您可以在这里找到一些建议：javaopenmpi。