spark与hive集成

xt0899hw  于 2021-06-25  发布在  Hive
关注(0)|答案(1)|浏览(442)

目前在我们的项目中,我们正在使用hdinsights 3.6,其中默认启用了spark和hive集成,因为两者共享相同的目录。现在我们要迁移hdinsights4.0,其中spark和hive将有不同的目录。我浏览了一下微软的文档(https://docs.microsoft.com/en-us/azure/hdinsight/interactive-query/apache-hive-warehouse-connector)在这里,我们需要额外的集群需要与Hive仓库连接器的帮助下进行集成。现在我想知道是否有其他的方法来代替使用额外的集群。任何建议都是非常值得赞赏的。谢谢

cuxqih21

cuxqih211#

如果您使用的是外部表,它们可以将spark和hive指向使用相同的元存储。这只适用于外部表。

相关问题