如何使用c#在azure群集上远程运行流Map缩减作业？我的Map器和还原器是用java或c编写的。.NETC#sdk的作业执行方法在输入中采用jobtype，因此我无法指定c和基于java的Map器/还原器的类型。还有一节课 StreamingProcessExecutor 这似乎适合我的情况，但不需要输入我的凭据，所以我认为它不可能用于远程执行。有人知道如何执行流Map减少作业远程和编程？
StreamingProcessExecutor
mum43rcc1#
可以使用webhcat执行此操作。文件在这里只需对以下端点进行rest调用： https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming
https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming
r7xajy2e2#
我找到一个班级 WebHCatHttpClient 可以用于此目的的.net hadoop sdk。尽管我仍然无法成功地远程运行作业。
WebHCatHttpClient
2条答案
按热度按时间mum43rcc1#
可以使用webhcat执行此操作。
文件在这里
只需对以下端点进行rest调用：
https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streamingr7xajy2e2#
我找到一个班级
WebHCatHttpClient可以用于此目的的.net hadoop sdk。尽管我仍然无法成功地远程运行作业。