java—hive thrift服务器与hive和spark发行版的区别

ni65a41a  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(471)

使用以下两个命令之一运行配置单元服务器有什么区别:- hive --service hiveserver2 从运行配置单元节约服务器 spark/sbin$ ./start-thriftserver.sh 他们在不同的端口监听吗?
在我的java类中,我应该使用哪一个来使用apachehivejdbc驱动程序建立jdbc连接?

9wbgstp7

9wbgstp71#

hiveserver2是hivesql引擎,它可以使用map reduce、spark或tez作为执行引擎。配置单元创建执行计划,然后调用执行引擎来运行查询。优化由hive完成。
我是一个很重的spark用户,但希望hive可以通过hue运行临时查询。经过一些研究,我可以看到Hive1.2.1支持Spark1.4.1作为执行引擎。Hive2依赖于Spark1.5,但我没有尝试用1.5或1.6运行它。
spark thrift server可以取代hive server 2,并使用spark实际运行查询并执行自己的执行计划(这可能比hive更好,也可能不比hive更好),但可以访问其他spark源,如RDD、文本文件等。当然,您可以使用最新版本的spark运行thrift server。

ewm0tg9j

ewm0tg9j2#

我想两者都是这样做的,除了从spark启动hive-thrift-server时,它会向thrift-server添加一个cli服务,该服务应该会向thrift-api添加spark-sql上下文。

相关问题