我用的是elasticsearchSpark罐。但由于某种原因，当我启动sparkcontext时，它也会从/usr/lib/hive/lib/elasticsearch-hadoop-hive-2.1.0.jar这导致了两个冲突的elasticrdd问题。有人知道jar是如何进入spark的吗？在我开始上下文之前，我如何将它从spark类路径中删除？谢谢您。
gt0wga4j1#
原来这是conf/spark-env.sh中加载该目录的默认配置。这是很容易解决的加载一个不同的文件夹与罐你想要的，而不是那些你不想要的。所以不是这样：spark\u dist\u classpath=“$spark\u dist\u classpath:/usr/lib/hive/lib/”这将起作用：spark\u dist\u classpath=“$spark\u dist\u classpath:/usr/lib/hive/lib/spark/”假设您将相关jar复制到该文件夹中
1条答案
按热度按时间gt0wga4j1#
原来这是conf/spark-env.sh中加载该目录的默认配置。这是很容易解决的加载一个不同的文件夹与罐你想要的，而不是那些你不想要的。所以不是这样：
spark\u dist\u classpath=“$spark\u dist\u classpath:/usr/lib/hive/lib/”
这将起作用：
spark\u dist\u classpath=“$spark\u dist\u classpath:/usr/lib/hive/lib/spark/”
假设您将相关jar复制到该文件夹中