我已经设置了一个hive数据集市,并使用spark框架来查询表和执行etl活动,现在我希望用户通过从本地机器连接来访问hive表,并且查询应该使用spark框架。
hvvq6cgz1#
您可以使用多种方法连接到配置单元元存储或从apachespark处理框架访问配置单元表。下面是从apache spark访问配置单元表的一些常用方法:使用apachespark beeline访问配置单元表使用apachesparkjdbc驱动程序访问配置单元表从python和示例执行pyspark脚本请按此链接了解detail:httphttp://dwgeek.com/methods-to-access-hive-tables-from-apache-spark.html/
ckx4rj1h2#
我想你应该看看Spark上的Hive。当您将有该服务的配置时(在链接的网站上解释),用户将能够在hive编辑器(例如hue)上编写查询,但spark将在下面提供结果。用户可以这样改变他们的查询引擎
set hive.execution.engine=spark; set hive.execution.engine=mr;
2条答案
按热度按时间hvvq6cgz1#
您可以使用多种方法连接到配置单元元存储或从apachespark处理框架访问配置单元表。
下面是从apache spark访问配置单元表的一些常用方法:
使用apachespark beeline访问配置单元表
使用apachesparkjdbc驱动程序访问配置单元表
从python和示例执行pyspark脚本
请按此链接了解detail:httphttp://dwgeek.com/methods-to-access-hive-tables-from-apache-spark.html/
ckx4rj1h2#
我想你应该看看Spark上的Hive。
当您将有该服务的配置时(在链接的网站上解释),用户将能够在hive编辑器(例如hue)上编写查询,但spark将在下面提供结果。用户可以这样改变他们的查询引擎