**摘要:**对于如此多的管控功能,管控起来实际的效果到底如何,本篇文章就基于当前最新版本,进行效果实测,并进行一定的分析说明。
本文分享自华为云社区《GaussDB(DWS) 资源负载管理:并发管控以及CPU管控效果实测以及分析说明【这次高斯不是数学家】》,作者: Malick 。
GaussDB(DWS)提供了复杂多样的资源负载管理手段:既可以从单个cn的总并发数限制作业的数量(max_active_statements),也可以创建资源池,对于指定资源池的用户进行并发限制。在资源池上,即可以进行内存、CPU的限制,也可以不进行资源限制。对于CPU资源的管控,即可以使用指定具体核数的硬限制,也可以使用空闲时按需分配,cpu跑满时按照配比分配资源的软限制。
正因为有这么多的功能配置,才可以让DWS在不同的业务场景中,采取不同的配置方案,维持业务稳定性,保证重要业务的资源使用。
对于如此多的管控功能,管控起来实际的效果到底如何,本篇文章就基于当前最新版本,进行效果实测,并进行一定的分析说明。主要分为以下几个部分:
所谓资源瓶颈,即CPU、内存、IO、网络其中的一项或者多项达到瓶颈,出现作业之前争抢资源,造成性能大幅下降。对于此类场景,我们日常解决问题时,通常想到的几个办法:
1.降低业务的并发量; 2.抓出消耗资源高的sql语句,令其优化;3.对于耗费cpu高的作业进行资源限制,保障其他作业有足够的资源可以使用。
理论上每个方法都有效果,但是效果如何,并不能简单得说清楚,需要数据来进行一些印证。
1.配置:3台物理机,规格:
2.GaussDB(DWS)集群规格:
PS:集群的版本对测试结果基本没有影响,各个版本功能规格基本没有变化。
测试CPU资源管控对于灵活短查询以及复杂查询的影响,复杂查询采取TPCDS数据和灵活查询采取TPCC数据。此处构造1500x的TPCDS/100xTPCC。
数据来源:
说明:tpcds-Q9,在本测试环境1500x数据下,单并发可使物理机cpu达到30%-50%,单并发运行时间在100s左右。;本测试采取Q9*30作为一批作业。控制不同并发数,记录每批的运行情况;4并发时cpu基本已经达到瓶颈,因此本轮测试从4并发开始。
测试结果如下:
图表如下:
2.图表分析,由上折线图可以看出:
根据测试结论分析,在CPU瓶颈的情况下,限制并发数,实际并不能提升整体运行的性能;但是在不同场景下,可以选择不同的配置策略。
例如:需要有作业及时响应的,可以将并发数限制少一些,这样能保证总有作业能以较快的速度完成;需要整体作业运行性能较快的,根据测试数据,可以将并发数设大,这样整体运行的时间最短。
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://huaweicloud.blog.csdn.net/article/details/125526538
内容来源于网络,如有侵权,请联系作者删除!