我是否必须使用高数组在spark上运行我的matlab代码?

f45qwnt8  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(338)

我有一个matlab程序,需要很长时间来线性地遍历一组大数据文件。为了加快速度,我想并行运行这些文件的计算,然后合并它们。
为了做到这一点,我想让apachespark将文件Map到matlab计算,并行运行它们,最后将本地结果缩减为最终结果。
我读到,我可以通过转换我的matlab程序来使用高数组和matlabapi for spark来实现这一点。我不想对代码做如此剧烈的修改。
相反,我想到了编写一个c程序来驱动spark,并让spark节点以某种方式运行matlab代码(可能作为一个c#dll?)
这是一个好的选择吗?我怎样才能做到这一点?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题