我对分布式图像处理感兴趣。我有一个由32个节点组成的hadoop集群,我想在节点上分发图像,处理它们,然后收集每个节点的结果(更像map reduce)。请解释所有可能的分布式图像处理方法(如使用matlab分布式服务器、使用hadoop集群等)。
m4pnthwp1#
matlab有一个 mapreduce 可以与hadoop集群一起使用的函数。这在并行计算工具箱文档中进行了描述-该页向您展示了如何运行的完整示例 mapreduce 在hadoop集群上。您的桌面客户端需要一个并行计算工具箱许可证,hadoop集群需要matlab分布式计算服务器许可证。
mapreduce
nvbavucw2#
我不确定matlab以及它如何从中导出数据,但是对于hadoop方面,我建议您使用hadoopstorm服务。您可以在kafka messagebroker中为您的图像组织一个网关。在那里你可以推你的图像。在storm中,您可以为图像创建自定义工作流。例如,您可以对它们执行一些计算机视觉算法,或者只将它们保存到hdfs或hbase或任何其他相关存储中。如果您能够将数据从mathlab导出到kafka,也许可以通过一些独立的服务,那么storm绝对是您的选择。
2条答案
按热度按时间m4pnthwp1#
matlab有一个
mapreduce
可以与hadoop集群一起使用的函数。这在并行计算工具箱文档中进行了描述-该页向您展示了如何运行的完整示例mapreduce
在hadoop集群上。您的桌面客户端需要一个并行计算工具箱许可证,hadoop集群需要matlab分布式计算服务器许可证。nvbavucw2#
我不确定matlab以及它如何从中导出数据,但是对于hadoop方面,我建议您使用hadoopstorm服务。您可以在kafka messagebroker中为您的图像组织一个网关。在那里你可以推你的图像。在storm中,您可以为图像创建自定义工作流。例如,您可以对它们执行一些计算机视觉算法,或者只将它们保存到hdfs或hbase或任何其他相关存储中。如果您能够将数据从mathlab导出到kafka,也许可以通过一些独立的服务,那么storm绝对是您的选择。