我有一个fanmod算法，我应该实现大数据。我想知道使用hadoop/mapreduce是否有效。如果没有，那么你能给我一些有效解决这个问题的建议吗？
huwehgph1#
您可能已经熟悉了使用hadoop的大规模网络中的sahad子图分析，其中他们使用hadoop成功地执行了网络motif分析。说hadoop不能执行迭代处理是不太准确的。。。只是hadoop更难。我建议阅读以下链接：hadoop中的迭代算法以获取更多信息，但简而言之，hadoop中的迭代处理需要将作业背靠背地链接在一起。根据您的需求（子图搜索），这似乎是使用hadoop和mr框架的合理用例。或者，如果您需要不断的迭代处理，而mr没有削减它，您可以在hadoop hdfs上使用storm。
1条答案
按热度按时间huwehgph1#
您可能已经熟悉了使用hadoop的大规模网络中的sahad子图分析，其中他们使用hadoop成功地执行了网络motif分析。
说hadoop不能执行迭代处理是不太准确的。。。只是hadoop更难。我建议阅读以下链接：hadoop中的迭代算法以获取更多信息，但简而言之，hadoop中的迭代处理需要将作业背靠背地链接在一起。
根据您的需求（子图搜索），这似乎是使用hadoop和mr框架的合理用例。
或者，如果您需要不断的迭代处理，而mr没有削减它，您可以在hadoop hdfs上使用storm。