目前在我们的项目中,我们正在使用hdinsights 3.6,其中默认启用了spark和hive集成,因为两者共享相同的目录。现在我们要迁移hdinsights4.0,其中spark和hive将有不同的目录。我浏览了一下微软的文档(https://docs.microsoft.com/en-us/azure/hdinsight/interactive-query/apache-hive-warehouse-connector)在这里,我们需要额外的集群需要与Hive仓库连接器的帮助下进行集成。现在我想知道是否有其他的方法来代替使用额外的集群。任何建议都是非常值得赞赏的。谢谢
1条答案
按热度按时间cuxqih211#
如果您使用的是外部表,它们可以将spark和hive指向使用相同的元存储。这只适用于外部表。