如何使用eclipse在本地完全测试spark程序,使相同的代码可以在集群上工作而不需要任何代码更改?

oxcyiej7  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(317)

我知道可以使用eclipse在本地运行spark程序 new SparkConf().setMaster("local[*]") . 但是,在本地运行良好的程序可能需要一些小的更改才能在集群上运行。例如,在集群上运行program可能需要广播变量、累加器的代码,但是如果没有这些在local上的代码,它就可以正常工作。有没有一种方法,我们可以在local上完全测试代码,这样相同的代码就可以在集群上运行find而不做任何更改?我已经通过下面列出的链接,但我所要求的是不同的。谢谢。
就地机Spark试验
如何在spark cluster模式下运行此代码
本地模式和集群中的spark程序差异
如何在java中使用eclipse在windows上本地运行spark
我可以在eclipse中运行spark单元测试吗

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题