我刚刚在端口10016(默认)上用hive和spark-thrift服务器构建了一个hortonworks集群,并通过beeline到sts测试了select语句
https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#running-thrift jdbcodbc服务器
beeline> !connect jdbc:hive2://localhost:10016/default
select * from table1;
我可以得到结果,一切都很好。但我的问题是,为什么这些查询根本没有出现在spark history server ui中?我如何知道它是否真的是spark在做计算工作,而不是通过hiveserver2?
更新1
这是我所拥有的,默认情况下已启用日志:
1条答案
按热度按时间dnph8jn41#
如果您使用的是与端口10016的连接-它的Spark。请检查spark.eventlog.enabled属性是否设置为true(必须在$spark\u home/conf/spark defaults.conf中)。