我已经读过spark提供的有用的开发工具。但它没有提到如何开发一些在本地模式下做不到的东西。例如，我正在努力发展 ExecutorAllocationManager.scala ，此类指动态执行器分配。我现在使用的方法是在本地编译spark源代码并部署到集群（多台机器）进行测试，但这太麻烦了，严重影响了开发效率。难道没有一种方便或自动化的方法来开发这样的功能吗？
ExecutorAllocationManager.scala
xxhby3vn1#
如何持续集成添加jenkins并按要求部署。https://devops.com/using-spark-and-jenkins-to-deploy-code-into-hadoop-clusters/
1条答案
按热度按时间xxhby3vn1#
如何持续集成添加jenkins并按要求部署。
https://devops.com/using-spark-and-jenkins-to-deploy-code-into-hadoop-clusters/