我正在尝试使用spark将数据写入配置单元事务表。下面是我用来插入数据的示例代码
dataSet.write().format("orc")
.partitionBy("column1")
.bucketBy(2,"column2")
.insertInto("table");但不幸的是，在运行应用程序时出现以下错误。
org.apache.spark.sql.analysisexception:'insertinto'现在不支持bucketby；
我使用的spark和hive版本是2.4和3.1。谷歌搜索了很多，但没有找到任何解决方案。我是一个新来的Hive任何帮助将不胜感激。
1条答案
按热度按时间uelo1irk1#
https://issues.apache.org/jira/browse/spark-15348 明确指出，Spark不允许Hive或酸处理，目前。很遗憾，但不可能。
您需要使用tez或mr作为配置单元的底层引擎来编写配置单元脚本。