我能跑了 CREATE TEMPORARY FUNCTION testFunc using jar 'myJar.jar' 通过在hivecontext中查询 spark-shell --jars myJar.jar -i some_script.scala ，但我无法通过 spark-submit --class com.my.DriverClass --jars myJar.jar target.jar .
我做错什么了吗？
我能跑了 CREATE TEMPORARY FUNCTION testFunc using jar 'myJar.jar' 通过在hivecontext中查询 spark-shell --jars myJar.jar -i some_script.scala ，但我无法通过 spark-submit --class com.my.DriverClass --jars myJar.jar target.jar .
我做错什么了吗？
1条答案
按热度按时间mspsb9vt1#
如果您使用的是本地文件系统，那么jar必须位于所有节点上的相同位置。
所以你有两个选择：
将jar放在同一目录中的所有节点上，例如在/home/spark/my.jar中，然后在--jars选项中使用此目录。
使用像hdfs这样的分布式文件系统