token平衡

2skhul33  于 2021-06-10  发布在  Cassandra
关注(0)|答案(2)|浏览(541)

我的设置由3个cassandra节点组成。每个节点都作为docker容器的一部分运行。
一个种子节点和两个普通节点。
我用cassandra:latest which 此时的平均值为3.11.4版。
所有节点都在一个集群中运行。
所有节点都在一个数据中心中运行。
我在docker-compose.yml中使用以下设置

- "CASSANDRA_ENDPOINT_SNITCH=GossipingPropertyFileSnitch"
- "CASSANDRA_NUM_TOKENS=8"
- "MAX_HEAP_SIZE=512M"
- "HEAP_NEWSIZE=128M"

堆的大小很小,因为它只测试集群的开始,而我的笔记本没有足够的ram。分区器是默认值 Murmur3Partitioner Cassandra的。
我只启动集群,没有创建键空间或其他事情。
在我发现的每一个文档中都有关于平衡令牌范围和不平衡令牌分布不好等的陈述。
但什么是均衡的代币范围呢?
当我启动集群时,首先是seedcontainer,间隔1分钟,每个节点都会出现并准备就绪。
群集运行正常,日志中没有错误。由于 docker-compose ps 描写:

Name                        Command               State                                Ports
----------------------------------------------------------------------------------------------------------------------------------
docker_cassandra-seed_1   docker-entrypoint.sh bash  ...   Up      7000/tcp, 7001/tcp, 7199/tcp, 0.0.0.0:23232->9042/tcp, 9160/tcp
docker_cassandra1_1       docker-entrypoint.sh bash  ...   Up      7000/tcp, 7001/tcp, 7199/tcp, 9042/tcp, 9160/tcp
docker_cassandra2_1       docker-entrypoint.sh bash  ...   Up      7000/tcp, 7001/tcp, 7199/tcp, 9042/tcp, 9160/tcp

如果集群启动,则有3个节点,每个节点上运行8个vnode。它是一个24的集群分布,总是24个令牌范围。
cassandra中的标记范围是-2^63到+2^63-1(java long)。如果我打电话给 docker exec -ti docker_cassandra-seed_1 nodetool ring 我收到以下结果。

docker exec -ti docker_cassandra-seed_1 nodetool ring

Datacenter: tc1
==========
Address     Rack        Status State   Load            Owns                Token

172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              -8870864291163548206
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              -8804151848356105327
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              -8578084366820530367
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              -7746741366682664202
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              -7013522326538302096
172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              -6994428155886831685
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              -6650863707982675450
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              -5995004048488281144
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              -5683587085031530885
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              -5274940575732780430
172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              -5184169415607375486
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              -2082614198258325552
172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              -1084866128895283137
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              2495470503021543046
172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              3043280549254813456
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              3058642754102082410
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              3117172086630093502
172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              3405798334726690865
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              3829479365384141235
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              4124513942316551627
172.27.0.2  rack1       Up     Normal  220.44 KiB      55.24%              4807293191442647176
172.27.0.4  rack1       Up     Normal  231.07 KiB      55.89%              4911525338969505185
172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              8068956543491535994
172.27.0.3  rack1       Up     Normal  254.57 KiB      88.87%              8197176123795617738

这意味着环中每个令牌范围之间的差异是完全不同的。
或者换句话说,最适合计算 ((2^63 * 2) - 1) / (3 * 8) = 768.614.336.404.564.000 理想令牌分布中每个节点的令牌数。
抱歉,我这里只有擅长快速计算的excel(大约10000):

-9.223.372.036.854.770.000  Long Min
-8.870.864.291.163.540.000  352.507.745.691.229.000
-8.804.151.848.356.100.000  66.712.442.807.440.400
-8.578.084.366.820.530.000  226.067.481.535.570.000
-7.746.741.366.682.660.000  831.343.000.137.870.000
-7.013.522.326.538.300.000  733.219.040.144.359.000
-6.994.428.155.886.830.000  19.094.170.651.470.800
-6.650.863.707.982.670.000  343.564.447.904.160.000
-5.995.004.048.488.280.000  655.859.659.494.390.000
-5.683.587.085.031.530.000  311.416.963.456.750.000
-5.274.940.575.732.780.000  408.646.509.298.750.000
-5.184.169.415.607.370.000  90.771.160.125.410.300
-2.082.614.198.258.320.000  3.101.555.217.349.050.000
-1.084.866.128.895.280.000  997.748.069.363.040.000
2.495.470.503.021.540.000   3.580.336.631.916.820.000
3.043.280.549.254.810.000   547.810.046.233.270.000
3.058.642.754.102.080.000   15.362.204.847.269.900
3.117.172.086.630.090.000   58.529.332.528.010.200
3.405.798.334.726.690.000   288.626.248.096.600.000
3.829.479.365.384.140.000   423.681.030.657.450.000
4.124.513.942.316.550.000   295.034.576.932.410.000
4.807.293.191.442.640.000   682.779.249.126.090.000
4.911.525.338.969.500.000   104.232.147.526.860.000
8.068.956.543.491.530.000   3.157.431.204.522.030.000
8.197.176.123.795.610.000   128.219.580.304.080.000
9.223.372.036.854.770.000   Long Max

右列描述每个令牌范围的分布。在最大和最小的代币范围之间有一个很大的差距。
或者一点点的合并(从结果的中间)是完全不均衡的、不平衡的或未分配的:

-5184169415607375486
-2082614198258325552
-1084866128895283137

经过一番测试,我´我设置了一个超级简单的东西。一台电脑(使用ubuntu 18.04、java 1.8.0\U 201、cassandra 3.6版)。安装,将所有参数设置为默认值,启动cassandra服务并查看令牌分发。
结果是:在一个新集群上分发令牌
所以我的问题是:在cassandra集群中,什么是均衡令牌范围?

gdrx4gfi

gdrx4gfi1#

如本链接所述https://thelastpickle.com/blog/2019/02/21/set-up-a-cluster-with-even-token-distribution.html 它似乎是解决方案,至少对于密钥空间的令牌和数据的分发来说是这样。我采取以下步骤来获得一个平衡的系统:
为seed节点设置cassandra.yaml(对于我的testcase num\u tokens=8),让其他参数作为默认值
启动seednode,等待就绪
通过cqlsh或编程解决方案连接并创建键空间(对于复制因子为1的测试用例)。
关闭种子节点
编辑seed节点的cassandra.yaml并输出注解/添加 allocate_tokens_for_keyspace: [your_keyspace_name_from_step_3] 启动种子节点并等待节点就绪
编辑集群中第二个节点的cassandra.yaml执行步骤5。在这个文件中,num\u token等于种子节点的num\u token。
运行第二个节点,等待它准备就绪
对集群中的任何其他节点执行步骤7-8。
通过这样做,例如在keyspace的testtable中添加2.000.000个datarows的testrun,我看到了以下结果:

docker exec -ti docker_cassandra-seed_1 nodetool status
Datacenter: tc1
===============
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address      Load       Tokens       Owns (effective)  Host ID                               Rack
UN  172.30.10.4  36.03 MiB  8            33.3%             1e0d781f-d71f-4704-bcd1-efb5d4caff0e  rack1
UN  172.30.10.2  36.75 MiB  8            33.3%             56287b3c-b0f1-489f-930e-c7b00df896f3  rack1
UN  172.30.10.3  36.03 MiB  8            33.3%             943acc5f-7257-414a-b36c-c06dcb53e67d  rack1

即使是代币发行者也比以前更好:

172.30.10.2                         6.148.914.691.236.510.000
172.30.10.3                         6.148.914.691.236.520.000
172.30.10.4                         5.981.980.531.853.070.000

目前,有一些关于分配不均问题的澄清,所以再次感谢chrislohfink与解决方案的联系。

sqyvllje

sqyvllje2#

我´我们将围绕上述场景进行一点测试。我的testcluster由5个节点组成(1个种子,4个普通节点)。
上述前5个步骤仍然有效:
为seed节点设置cassandra.yaml(对于我的testcase num\u tokens=8),让其他参数作为默认值
启动seednode,等待就绪
通过cqlsh或编程解决方案连接并创建键空间(对于复制因子为1的测试用例)。
关闭seed节点,编辑seed节点的cassandra.yaml并输出注解/添加参数 allocate_tokens_for_keyspace: [your_keyspace_name_from_step_3] 启动种子节点并等待节点就绪
然后,您可以同时启动所有其他节点(在我的案例4中)(或者在每个节点启动之间有1分钟的延迟),但这是自动的。重要的是,所有节点都具有 allocate_tokens_for_keyspace: [your_keyspace....] 设置。
在所有节点都已启动并填充1.000.000行之后,将出现´平均余额是20%。
如果您启动一个具有大量节点的集群,那么这种情况会使您的生活更轻松。

相关问题