详解Redis SCAN命令实现有限保证的原理 - 主机乐

字典rehash时会使用两个哈希表，首先为ht[1]分配空间，如果是扩展操作，ht[1]的大小为第一个大于等于2倍ht[0].used的2n，如果是收缩操作，ht[1]的大小为第一个大于等于ht[0].used的2n。然后将ht[0]的所有键值对rehash到ht[1]中，最后释放ht[0]，将ht[1]设置为ht[0]，新创建一个空白哈希表当做ht[1]。rehash不是一次完成的，而是分多次、渐进式地完成。

举个例子，现在将一个size为4的哈希表ht[0](sizemask为11, index = hash & 0b11)rehash至一个size为8的哈希表ht[1](sizemask为111, index = hash & 0b111)。

ht[0]中处于bucket0位置的key的哈希值低两位为00，那么rehash至ht[1]时index取低三位可能为000(0)和100(4)。也就是ht[0]中bucket0中的元素rehash之后分散于ht[1]的bucket0与bucket4，以此类推，对应关系为：

SCAN的遍历顺序

SCAN命令的遍历顺序，可以举一个例子看一下：

SCAN源码

SCAN遍历字典的源码在dict.c/dictScan，分两种情况，字典不在进行rehash或者正在进行rehash。

不在进行rehash时，游标是这样计算的：

m0 = t0->sizemask;
// 将游标的umask位的bit都置为1
v |= ~m0;
// 反转游标
v = rev(v);
// 反转后+1，达到高位加1的效果
v++;
// 再次反转复位
v = rev(v);

当size为4时，sizemask为3(00000011)，游标计算过程：

v |= ~m0 v = rev(v) v++v = rev(v)
00000000(0) -> 11111100 -> 00111111 -> 01000000 -> 00000010(2)
00000010(2) -> 11111110 -> 01111111 -> 10000000 -> 00000001(1)
00000001(1) -> 11111101 -> 10111111 -> 11000000 -> 00000011(3)
00000011(3) -> 11111111 -> 11111111 -> 00000000 -> 00000000(0)

遍历size为4时的游标状态转移为0->2->1->3。

同理,size为8时的游标状态转移为0->4->2->6->1->5->3->7，也就是000->100->010->110->001->101->011->111。

再结合前面的rehash：

ht[0] -> ht[1]---------------- 0->0,41->1,5 2->2,6 3->3,7

可以看出，当size由小变大时，所有原来的游标都能在大的哈希表中找到相应的位置，并且顺序一致，不会重复读取并且不会遗漏。

当size由大变小的情况，假设size由8变为了4，分两种情况，一种是游标为0,2,1,3中的一种，此时继续读取，也不会遗漏和重复。

但如果游标返回的不是这四种，例如返回了7，7&11之后变为了3，所以会从size为4的哈希表的bucket3开始继续遍历，而bucket3包含了size为8的哈希表中的bucket3与bucket7，所以会造成重复读取size为8的哈希表中的bucket3的情况。

所以，redis里rehash从小到大时，SCAN命令不会重复也不会遗漏。而从大到小时，有可能会造成重复但不会遗漏。

当正在进行rehash时，游标计算过程：

/* Make sure t0 is the smaller and t1 is the bigger table */if (t0->size > t1->size) {t0 = &d->ht[1];t1 = &d->ht[0];}m0 = t0->sizemask;m1 = t1->sizemask;/* Emit entries at cursor */if (bucketfn) bucketfn(privdata, &t0->table[v & m0]);de = t0->table[v & m0];while (de) {next = de->next;fn(privdata, de);de = next;}/* Iterate over indices in larger table that are the expansion * of the index pointed to by the cursor in the smaller table */do {/* Emit entries at cursor */if (bucketfn) bucketfn(privdata, &t1->table[v & m1]);de = t1->table[v & m1];while (de) {next = de->next;fn(privdata, de);de = next;}/* Increment the reverse cursor not covered by the smaller mask.*/v |= ~m1;v = rev(v);v++;v = rev(v);/* Continue while bits covered by mask difference is non-zero */} while (v & (m0 ^ m1));

算法会保证t0是较小的哈希表，不是的话t0与t1互换，先遍历t0中游标所在的bucket，然后再遍历较大的t1。

求下一个游标的过程基本相同，只是把m0换成了rehash之后的哈希表的m1，同时还加了一个判断条件:

v & (m0 ^ m1)

size4的m0为00000011，size8的m1为00000111，m0 ^ m1取值为00000100，即取二者mask的不同位，看游标在这些标志位是否为1。

假设游标返回了2，并且正在进行rehash，此时size由4变成了8，二者mask的不同位是低第三位。

首先遍历t0中的bucket2，然后遍历t1中的bucket2，公式计算出的下一个游标为6(00000110)，低第三位为1，继续循环，遍历t1中的bucket6，然后计算游标为1，结束循环。

所以正在rehash时，是两个哈希表都遍历的，以避免遗漏的情况。