业务并发度不够，数仓的CN可以来帮忙
本文分享自华为云社区《CN与业务并发度的关系-业务并发度不够？CN来帮忙》，作者：闻鲜生 。
一、CN的作用是什么？
CN全称协调节点（Coordinator Node）。是和用户关系最密切也是DWS内部非常重要的一个组件，它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划，以及汇总、处理执行结果。
集群中，CN有多个并且CN的角色是对等的（执行DML语句时连接到任何一个CN都可以得到一致的结果）。只需要在CN和应用程序之间增加一个负载均衡器，使得CN对应用是透明的。DWS通过CCN（Control Coordinator Node）负责集群内的资源全局负载控制，以实现自适应的动态负载管理。CM在第一次集群启动时，通过集群部署形式，选择编号最小的CN作为CCN。若CCN故障之后，由CM选择新的CCN进行替换。
一次简单的查询流程如下所示：
1. 用户通过应用程序发出查询本地数据的SQL请求到Coordinator。
2. Coordinator接收用户的SQL请求，分配服务进程，向GTM请求分配全局事务信息。
3. GTM接收到Coordinator的请求，返回全局事务信息给Coordinator。
4. Coordinator根据数据分布信息以及系统元信息，解析SQL为查询计划树，从查询计划树中提取可以发送到Datanode的执行步骤，封装成SQL语句或者子执行计划树，发送到Datanode执行。
5. Datanode接收到读取任务后，查询具体Storage上的本地数据块。
6. Datanode任务执行后，将执行结果返回给Coordinator。
7. Coordinator将查询结果通过应用程序返回给用户。
二、CN与业务并发度的关系
CN是外部应用的接口，CN的并发能力直接决定了业务的并发度。单CN的并发能力受如下几个参数控制：
max_connections： 允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。CN节点默认值为800，DN节点默认值为5000。
max_active_statements：设置全局的最大并发数量。此参数只应用到CN，且针对一个CN上的执行作业。默认值60。
CN的max_connections和max_active_statements参数支持用户根据业务并发度诉求修改，详细操作流程如下图：
点击集群详情的“参数修改”页面，搜索需要修改的参数，会显示对应参数和当前值，参数值框里面输入修改值，点击“保存”按钮保存配置。“是否重启集群”栏显示“是”的参数说明需要重启集群生效，请寻找业务空闲期修改。
三、CN不够怎么办？
单CN的并发能力会受到硬件资源和拓扑结构的限制，不能无限制调大。DWS是分布式架构集群，此时就要考虑横向扩展，增加更多的CN来提升业务并发度，充分利用分布式架构的优势。
o 下发集群时配置更多的CN
CN数量在下发DWS集群时可以配置。默认值3个，最少2个，最多不超过“节点数量”，如果节点数量大于20，则CN数量最多可配置20个。如下图所示，在“创建数据仓库集群”的购买页面的“高级配置”选择“自定义”，“CN部署量”即为CN的初始部署数量。
o 下发集群后在线添加CN
集群下发后，如果由于业务并发度高导致CN不够用，可以在线添加CN，具体操作如下图所示。增加CN耗时与用户表数量有关，大概10分钟左右，增加CN过程中间有一段时间会锁集群，阻塞DDL语句执行。
四、如何做到多个CN负载均衡？
如果集群部署了多个CN，但是怎么做到CN的负载均衡，保证业务并发度和性能最大化呢？DWS提供了弹性负载均衡（Elastic Load Balance，简称ELB）服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，同时通过消除单点故障提升应用系统的可用性。
ELB的配置原理介绍
ELB的绑定方法
五、CN故障了怎么办？
由于DWS的CN角色是对等的，同时对外提供服务，因此必须保证其元数据的强一致性，因此外部应用连接任一个CN执行涉及元数据变更的操作（如DDL，DCL）必须分发到所有的CN同时完成。 如果单个CN故障，会影响所有CN的DDL和DCL操作。目前DWS提供了两个解决方案：
自动剔除CN
如果集群绑定了弹性负载均衡（ELB），则会自动打开自动剔除CN功能，DWS CM周期性检测CN的状态，如果发现CN连续故障600s，则会立即从整个集群剔除该故障CN，保证其余CN的业务不受到影响。再配合弹性负载均衡服务，会自动把发送到故障CN的作业转发到其他正常CN。
删除cn介绍
如果发现集群部分CN故障，或存在亚健康状态，可以选择手动删除故障CN，具体操作流程如下。手动删除CN耗时固定，1分钟左右。
总结：希望通过此文，让你能够对CN作用，CN运维操作，业务并发度有进一步的了解！
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://huaweicloud.blog.csdn.net/article/details/123864743
内容来源于网络，如有侵权，请联系作者删除！