Hive直线查询到spark thrift服务器,在spark历史用户界面中没有显示任何内容

sf6xfgos  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(465)

我刚刚在端口10016(默认)上用hive和spark-thrift服务器构建了一个hortonworks集群,并通过beeline到sts测试了select语句
https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#running-thrift jdbcodbc服务器

beeline> !connect jdbc:hive2://localhost:10016/default
select * from table1;

我可以得到结果,一切都很好。但我的问题是,为什么这些查询根本没有出现在spark history server ui中?我如何知道它是否真的是spark在做计算工作,而不是通过hiveserver2?
更新1
这是我所拥有的,默认情况下已启用日志:

dnph8jn4

dnph8jn41#

如果您使用的是与端口10016的连接-它的Spark。请检查spark.eventlog.enabled属性是否设置为true(必须在$spark\u home/conf/spark defaults.conf中)。

相关问题