我正在使用hiveserver2进行开发,并调查其环境。
据说hiveserver2占用大量内存。例如,cloudera说我们需要几GB来运行hiveserver2服务器和metastore服务器:https://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_hiveserver2_configure.html
然而,当我执行查询以查看服务器的cpu和内存使用情况时,它们似乎没有消耗这么多内存。有人知道运行hiveserver2是否真的需要很多内存吗?任何建议和经验将不胜感激。
我的环境:
具有本地元存储模式的hiveserver2(版本是cdh4.7,我认为它的hive版本相当于0.10和补丁0.11)。它的堆大小是384mb。
java应用程序作为hiveserver2客户端(提交查询):
同时执行20个查询。查询只是为了扫描,但是要生成几十兆字节,比如 SELECT * FROM table LIMIT 100000
同时执行20个查询。查询要计数: SELECT COUNT(*) FROM table
[编辑]
我听过几个人说分区的数量可能会影响。我试试看结果。
暂无答案!
目前还没有任何答案,快来回答吧!