如何从apachespark访问配置单元表?

kxe2p93d  于 2021-06-24  发布在  Hive
关注(0)|答案(2)|浏览(257)

我已经设置了一个hive数据集市,并使用spark框架来查询表和执行etl活动,现在我希望用户通过从本地机器连接来访问hive表,并且查询应该使用spark框架。

hvvq6cgz

hvvq6cgz1#

您可以使用多种方法连接到配置单元元存储或从apachespark处理框架访问配置单元表。
下面是从apache spark访问配置单元表的一些常用方法:
使用apachespark beeline访问配置单元表
使用apachesparkjdbc驱动程序访问配置单元表
从python和示例执行pyspark脚本
请按此链接了解detail:httphttp://dwgeek.com/methods-to-access-hive-tables-from-apache-spark.html/

ckx4rj1h

ckx4rj1h2#

我想你应该看看Spark上的Hive。
当您将有该服务的配置时(在链接的网站上解释),用户将能够在hive编辑器(例如hue)上编写查询,但spark将在下面提供结果。用户可以这样改变他们的查询引擎

set hive.execution.engine=spark;
set hive.execution.engine=mr;

相关问题