如果我通过sbt将spark/scala jar与所有依赖项进行组装,那么我是否可以在给定的目标环境中使用尽可能少的(运行时)库将模块部署到hadoop?给人的印象是这样的,但我觉得我在这里读得太多了。
所以,我不是在说各种hadoop模块。显然,我们需要spark提交、hdfs模块、hadoop运行rimes等。此外,一个可以与sparkshell交互运行,这并没有逃过我的眼睛。
所以,我的问题是:如果使用spark/scala程序集及其所有依赖项,理论上讲,在机器上我不需要spark/scala软件的哪些方面?
我认为spark提交模块只需要java运行时。
我不是javaMaven,因此我对这个非编程问题进行了反复检查。
暂无答案!
目前还没有任何答案,快来回答吧!