我目前正在研究一种方法，使用hadoop或spark在集群上运行.netdag作业（场景模拟）。在这两种情况下，我都遇到了有关代码语言的问题。如果发现spark支持用scala、python、java和r编写的代码，但不支持.net。hadoop确实支持在.net中编写作业，但是我没有在.net上找到hadoop的dag实现。有没有一种方法可以使用.net编程语言在集群/云上实现作业的dag？
g6ll5ycj1#
2020年5月更新：现在你可能想看看Apache SARK项目的.NET基金会.NET。
yk9xbfzb2#
apachespark的c语言绑定现在可以通过sparkclr获得(https://github.com/microsoft/sparkclr). 您可以使用它在spark cluster中运行.net作业。
2条答案
按热度按时间g6ll5ycj1#
2020年5月更新：
现在你可能想看看Apache SARK项目的.NET基金会.NET。
yk9xbfzb2#
apachespark的c语言绑定现在可以通过sparkclr获得(https://github.com/microsoft/sparkclr). 您可以使用它在spark cluster中运行.net作业。