如何以编程方式将数据加载到hdfs(本地hdinsight)?

nfg76nw0  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(392)

有没有一种方法可以使用c#以编程方式将数据加载到本地hdfs集群中?
我发现了一个关于使用sdk使用c代码将数据加载到azure的教程,但它需要blob存储,并且不适用于本地集群。有解决办法吗?
我知道可以使用javascript控制台或hadoop命令行加载数据,但我特别关注通过代码实现这一点。
我浏览了一些论坛,发现现在的配置单元连接要求您拥有一个azure存储帐户,无论您是否正在使用hdinsight azure服务。将数据加载到hdfs也是这样吗?
任何提示都会有帮助。
谢谢!

m3eecexj

m3eecexj1#

是的,这是可能的。hdinsight为hdfs文件系统操作提供了一个c库。有关详细信息,请参阅此链接,有关工作示例,请参阅本文。
希望这有帮助。

相关问题