如何使用当前（配置单元2.1）绑定而不是1.2构建spark？http://spark.apache.org/docs/latest/building-spark.html#building-对hive和jdbc的支持并没有提到它是如何工作的。spark与Hive2.x配合得好吗？
ioekq8ef1#
我也有同样的问题，这就是我目前所发现的。您可以尝试使用更新版本的hive构建spark：
mvn -Dhive.group=org.apache.hive -Dhive.version=2.1.0 clean package
这会运行很长时间，并且在单元测试中失败。如果您跳过测试，您会走得更远一些，但随后会遇到编译错误。总而言之，spark在hive2.x上运行不太好！我还通过asf jira搜索了spark和hive，没有发现任何关于升级的内容。这是我能找到的最近的票：https://issues.apache.org/jira/browse/spark-15691
1条答案
按热度按时间ioekq8ef1#
我也有同样的问题，这就是我目前所发现的。您可以尝试使用更新版本的hive构建spark：
这会运行很长时间，并且在单元测试中失败。如果您跳过测试，您会走得更远一些，但随后会遇到编译错误。总而言之，spark在hive2.x上运行不太好！
我还通过asf jira搜索了spark和hive，没有发现任何关于升级的内容。这是我能找到的最近的票：https://issues.apache.org/jira/browse/spark-15691