我在玩hdinsight，但我不明白的是，尽管微软声称所有的数据节点都运行在centos和java上，但你仍然能够用.net代码编写mapper/reducer，这是因为hadoop的热卖。但在这些文章中，还不清楚.net代码如何在linux上运行（我认为这里不涉及mono）。有人能解释一下.net代码最终是如何在每个数据节点上运行的吗？
qvk1mo1f1#
数据节点实际上没有运行centos。hdinsight中的所有节点都基于hortonworks windows数据平台（hdp）。这意味着，当您使用hdinsight时，任何流媒体程序实际上都在windows上运行。你提到的那篇文章正在谈论（相当令人困惑！）关于在一系列azurevm上设置自己的hadoop作为iaas的另一种模式。hdinsight消除了对管理开销的需求（这是您为vm付费的部分），并提供了paas。当然，没有什么可以阻止您在基于linux的hadoop上运行mono中的流mapreduce和c#，但是您的里程可能会有所不同。
1条答案
按热度按时间qvk1mo1f1#
数据节点实际上没有运行centos。hdinsight中的所有节点都基于hortonworks windows数据平台（hdp）。这意味着，当您使用hdinsight时，任何流媒体程序实际上都在windows上运行。
你提到的那篇文章正在谈论（相当令人困惑！）关于在一系列azurevm上设置自己的hadoop作为iaas的另一种模式。hdinsight消除了对管理开销的需求（这是您为vm付费的部分），并提供了paas。
当然，没有什么可以阻止您在基于linux的hadoop上运行mono中的流mapreduce和c#，但是您的里程可能会有所不同。