全局唯一的 ID 几乎是所有系统都会遇到的刚需。这个 id 在搜索, 存储数据, 加快检索速度 等等很多方面都有着重要的意义。有多种策略来获取这个全局唯一的 id,针对常见的几种场景,我在这里进行简单的总结和对比。
所谓全局唯一的 id 其实往往对应是生成唯一记录标识的业务需求。
这个 id 常常是数据库的主键,数据库上会建立聚集索引(cluster index),即在物理存储上以这个字段排序。这个记录标识上的查询,往往又有分页或者排序的业务需求。所以往往要有一个 time 字段,并且在 time 字段上建立普通索引(non-cluster index)。
普通索引存储的是实际记录的指针,其访问效率会比聚集索引慢,如果记录标识在生成时能够基本按照时间有序,则可以省去这个 time 字段的索引查询。
这就引出了记录标识生成的两大核心需求:
优点:
缺点:
改进方案:
如上图所述,由 1 个写库变成 3 个写库,每个写库设置不同的 auto_increment 初始值,以及相同的增长步长,以保证每个数据库生成的 ID 是不同的(上图中 DB 01 生成 0,3,6,9…,DB 02 生成 1,4,7,10,DB 03 生成 2,5,8,11…)
改进后的架构保证了可用性,但缺点是
为了解决这些问题,引出了以下方法:
分布式系统之所以难,很重要的原因之一是 “没有一个全局时钟,难以保证绝对的时序”,要想保证绝对的时序,还是只能使用单点服务,用本地时钟保证 “绝对时序”。
数据库写压力大,是因为每次生成 ID 都访问了数据库,可以使用批量的方式降低数据库写压力。
如上图所述,数据库使用双 master 保证可用性,数据库中只存储当前 ID 的最大值,例如 4。
ID 生成服务假设每次批量拉取 5 个 ID,服务访问数据库,将当前 ID 的最大值修改为 4,这样应用访问 ID 生成服务索要 ID,ID 生成服务不需要每次访问数据库,就能依次派发 0,1,2,3,4 这些 ID 了。
当 ID 发完后,再将 ID 的最大值修改为 11,就能再次派发 6,7,8,9,10,11 这些 ID 了,于是数据库的压力就降低到原来的 1/6。
优点:
缺点:
改进方案
方法二改进方案的结构图
如上图,对外提供的服务是主服务,有一个影子服务时刻处于备用状态,当主服务挂了的时候影子服务顶上。这个切换的过程对调用方是透明的,可以自动完成,常用的技术是 vip+keepalived。另外,id generate service 也可以进行水平扩展,以解决上述缺点,但会引发一致性问题。
不管是通过数据库,还是通过服务来生成 ID,业务方 Application 都需要进行一次远程调用,比较耗时。uuid 是一种常见的本地生成 ID 的方法。
UUID uuid = UUID.randomUUID();
优点:
缺点:
uuid 是一个本地算法,生成性能高,但无法保证趋势递增,且作为字符串 ID 检索效率低,有没有一种能保证递增的本地算法呢?- 取当前毫秒数是一种常见方案。
优点:
缺点:
当使用数据库来生成 ID 性能不够要求的时候,我们可以尝试使用 Redis 来生成 ID。这主要依赖于 Redis 是单线程的,所以也可以用生成全局唯一的 ID。可以用 Redis 的原子操作 INCR 和 INCRBY 来实现。
优点:
缺点:
snowflake 是 twitter 开源的分布式 ID 生成算法,其核心思想为,一个 long 型的 ID:
算法单机每秒内理论上最多可以生成 1000*(2^12),也就是 400W 的 ID,完全能满足业务的需求。
该算法 java 版本的实现代码如下:
package com;
public class SnowflakeIdGenerator {
//================================================Algorithm's Parameter=============================================
// 系统开始时间截 (UTC 2017-06-28 00:00:00)
private final long startTime = 1498608000000L;
// 机器id所占的位数
private final long workerIdBits = 5L;
// 数据标识id所占的位数
private final long dataCenterIdBits = 5L;
// 支持的最大机器id(十进制),结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
// -1L 左移 5位 (worker id 所占位数) 即 5位二进制所能获得的最大十进制数 - 31
private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
// 支持的最大数据标识id - 31
private final long maxDataCenterId = -1L ^ (-1L << dataCenterIdBits);
// 序列在id中占的位数
private final long sequenceBits = 12L;
// 机器ID 左移位数 - 12 (即末 sequence 所占用的位数)
private final long workerIdMoveBits = sequenceBits;
// 数据标识id 左移位数 - 17(12+5)
private final long dataCenterIdMoveBits = sequenceBits + workerIdBits;
// 时间截向 左移位数 - 22(5+5+12)
private final long timestampMoveBits = sequenceBits + workerIdBits + dataCenterIdBits;
// 生成序列的掩码(12位所对应的最大整数值),这里为4095 (0b111111111111=0xfff=4095)
private final long sequenceMask = -1L ^ (-1L << sequenceBits);
//=================================================Works's Parameter================================================
/**
* 工作机器ID(0~31)
*/
private long workerId;
/**
* 数据中心ID(0~31)
*/
private long dataCenterId;
/**
* 毫秒内序列(0~4095)
*/
private long sequence = 0L;
/**
* 上次生成ID的时间截
*/
private long lastTimestamp = -1L;
//===============================================Constructors=======================================================
/**
* 构造函数
*
* @param workerId 工作ID (0~31)
* @param dataCenterId 数据中心ID (0~31)
*/
public SnowflakeIdGenerator(long workerId, long dataCenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("Worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (dataCenterId > maxDataCenterId || dataCenterId < 0) {
throw new IllegalArgumentException(String.format("DataCenter Id can't be greater than %d or less than 0", maxDataCenterId));
}
this.workerId = workerId;
this.dataCenterId = dataCenterId;
}
// ==================================================Methods========================================================
// 线程安全的获得下一个 ID 的方法
public synchronized long nextId() {
long timestamp = currentTime();
//如果当前时间小于上一次ID生成的时间戳: 说明系统时钟回退过 - 这个时候应当抛出异常
if (timestamp < lastTimestamp) {
throw new RuntimeException(
String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
//如果是同一时间生成的,则进行毫秒内序列
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask;
//毫秒内序列溢出 即 序列 > 4095
if (sequence == 0) {
//阻塞到下一个毫秒,获得新的时间戳
timestamp = blockTillNextMillis(lastTimestamp);
}
}
//时间戳改变,毫秒内序列重置
else {
sequence = 0L;
}
//上次生成ID的时间截
lastTimestamp = timestamp;
//移位并通过或运算拼到一起组成64位的ID
return ((timestamp - startTime) << timestampMoveBits) //
| (dataCenterId << dataCenterIdMoveBits) //
| (workerId << workerIdMoveBits) //
| sequence;
}
// 阻塞到下一个毫秒 即 直到获得新的时间戳
protected long blockTillNextMillis(long lastTimestamp) {
long timestamp = currentTime();
while (timestamp <= lastTimestamp) {
timestamp = currentTime();
}
return timestamp;
}
// 获得以毫秒为单位的当前时间
protected long currentTime() {
return System.currentTimeMillis();
}
//====================================================Test Case=====================================================
public static void main(String[] args) {
SnowflakeIdGenerator idWorker = new SnowflakeIdGenerator(0, 0);
for (int i = 0; i < 100; i++) {
long id = idWorker.nextId();
//System.out.println(Long.toBinaryString(id));
System.out.println(id);
}
}
}
作者:长河
来源:http://blog.csdn.net/u010398771/article/details/79765836
(完)
【推荐阅读】
别再用 BeanUtils 了,这款 PO VO DTO 转换神器不香么?
撸了个DDD项目,爽!
实战!基于Security+JWT的单点登陆开发及原理解析
好文章!点个在看!
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://blog.csdn.net/MarkerHub/article/details/121601162
内容来源于网络,如有侵权,请联系作者删除!