Redis实现-5种对象类型的底层实现

Redis 作为一个高性能的键值对数据库，其内部实现充满了精巧的设计。在 Redis 中，所有的键和值都被抽象为对象（Object），这一层抽象为 Redis 提供了极大的灵活性：不同类型的值可以使用不同的底层数据结构，并且可以在运行时根据使用情况动态切换编码，以达到最优的性能和内存效率。

本文将深入剖析 Redis 对象系统的实现细节，包括五种核心对象类型（字符串、列表、哈希、集合、有序集合）的底层数据结构、编码转换条件、命令的多态实现，以及内存回收、对象共享、空转时长等高级特性。

一、对象的类型与编码

Redis使用对象来表示数据库中的键和值，每次当我们在Redis中新创建一个键值对时，我们至少会创建两个对象，一个是对象用作键值对的键，另一个对象用于作为键值对的值。

比如：我们使用下面的set命令创建一个键值对时，其中键值对的键是一个包含了字符串值的msg对象，而值则是包含了字符串值hello world的对象

1 2	`redis> set msg "hello world" OK`

Redis 使用一个统一的结构 redisObject 来表示所有的键和值。这个结构定义在 redis.h 文件中，其主要字段如下：

typedef struct redisObject {
    unsigned type:4;      // 类型，如 REDIS_STRING, REDIS_LIST 等
    unsigned encoding:4;  // 编码，如 REDIS_ENCODING_INT, REDIS_ENCODING_RAW 等
    void *ptr;            // 指向底层实现数据结构的指针
    int refcount;         // 引用计数，用于内存回收
    unsigned lru:22;      // 最后一次被访问的时间，用于内存淘汰
} robj;

1.1 类型

对象的type属性记录了对象的类型，这个属性的值可以是下表列出的常量中的其中一种。

类型常量	对象的名称
REDIS_STRING	字符串对象
REDIS_LIST	列表对象
REDIS_HASH	哈希对象
REDIS_SET	集合对象
REDIS_ZSET	有序集合对象

当我们对一个数据库键执行type命令时，命令返回的结果为数据库键对应值对象的类型：

# 值为字符串对象
redis> set msg "hello world"
OK

redis> type msg
string

# 值为列表对象
redis> RPUSH numbers 1 3 5
(integer) 6

redis> type numbers
list

# 值为哈希对象
redis> hmset profile name tom age 25 career Programmer
OK

redis> type profile
hash

# 值为集合对象
redis> sadd fruits apple banana cherry
(integer) 3

redis> type fruits
set

# 值为集合对象
redis> zadd price 8.5 apple 5.0 banana 6.0 cherry
(integer) 3

redis> type price
zset

1.2 编码和底层实现

对象的ptr指针指向对象的底层实现数据结构，而这些数据结构由对象的encoding属性决定。

encoding属性记录了对象所使用的编码，也就是说这个对象使用了什么数据结构作为对象的底层实现，下面的表格记录了5种基本类型底层使用的编码。

Redis基本类型	编码	对象
REDIS_STRING	REDIS_ENCODING_INT	使用整数值实现的字符串对象
REDIS_STRING	REDIS_ENCODING_EMBSTR	embstr 编码的简单动态字符串
REDIS_STRING	REDIS_ENCODING_RAW	使用简单动态字符串 (SDS)的字符串对象
REDIS_LIST	REDIS_ENCODING_ZIPLIST	使用压缩列表实现的列表对象
REDIS_LIST	REDIS_ENCODING_LINKEDLIST	使用双端链表实现的列表对象
REDIS_HASH	REDIS_ENCODING_ZIPLIST	使用压缩链表实现的哈希对象
REDIS_HASH	REDIS_ENCODING_HT	使用字典实现的哈希对象
REDIS_SET	REDIS_ENCODING_INTSET	使用整数集合实现的集合对象
REDIS_SET	REDIS_ENCODING_HT	使用字典实现的集合对象
REDIS_ZSET	REDIS_ENCODING_ZIPLIST	使用压缩链表实现的有序集合对象
REDIS_ZSET	REDIS_ENCODING_SKIPLIST	使用跳跃表和字典实现的有序集合对象

如何知道一个数据库键的值对象的编码呢？我们可以使用object encoding命令

比如如下字符串类型的对象，可以由embstr和raw两种类型(字符串还有一种int类型的编码)

redis> set msg "hello world"
OK

redis> object encoding msg
"embstr"


redis> object strory "long long long long long long long  ago"
OK

redis> object encoding strory
"raw"

下表对应了底层数据结构，object encoding的不同输出

底层数据结构	编码常量	object encoding输出
整数	REDIS_ENCODING_INT	“int”
embstr 编码的简单动态字符串	REDIS_ENCODING_EMBSTR	“embstr”
简单动态字符串	REDIS_ENCODING_RAW	“raw”
字典	REDIS_ENCODING_HT	“hashtable”
压缩链表	REDIS_ENCODING_ZIPLIST	“linkedlist”
双端链表	REDIS_ENCODING_LINKEDLIST	“ziplist”
整数集合	REDIS_ENCODING_INTSET	“intset”
跳跃表和字典	REDIS_ENCODING_SKIPLIST	“skiplist”

通过encoding属性来设定对象所使用的编码，而不是为特定类型的对象关联一种固定的编码，极大地提升了Redis的灵活性和效率，因为Redis可以根据不同的使用场景来为一个对象设置不同的编码，从而优化对象在某一场景下的效率。

举个例子，列表对象底层数据结构可以使用压缩列表和双端链表。

这是因为：压缩列表比双端链表更节约内存，并且在元素数量较少时，在内存中以连续块方式保存的压缩列表比起双端链表可以更快被载入到缓存中；随着列表对象包含的元素越来越多，对象就会将底层实现从压缩列表转向双端链表上面。

在接下来的内容中，我们将分别介绍Redis中的五种不同类型的对象，介绍底层所使用的编码方式，列出对象从一种编码转换成另一种编码所需的条件。

二、字符串对象

字符串对象的编码可以是int、raw或者embstr。

2.1 字符串对象底层实现

字符串对象的编码可以是int、 raw或者embstr。

2.1.1 整数

如果一个字符串对象保存的是整数值，并且这个整数值可以用long类型来表示，那么字符串对象会将整数值保存在字符串对象结构的ptr属性里面（将void*转换成long），并将字符串对象的编码设置为int。

redis> SET number 10086
OK
redis> OBJECT ENCODING number
"int"

其底层存储的数据结构如下图所示：

整数底层数据结构

2.1.2 raw

如果字符串对象保存的是一个字符串值，并且这个字符串值的长度大于32字节，那么字符串对象将使用一个简单动态字符串。

redis> SET story "Long, long ago there lived a king ..."
OK
redis> STRLEN story
(integer) 37
redis> OBJECT ENCODING story
"raw

raw底层数据结构

2.1.3 embstr

如果字符串对象保存的是一个字符串值，并且这个字符串值的长度小于等于32字节，那么字符串对象将使用embstr编码的方式来保存这个字符串值。

redis> SET msg "hello"
OK
redis> OBJECT ENCODING msg
"embstr"

embstr编码是专门用于保存短字符串的一种优化编码方式，这种编码和raw编码一样，都使用redisObject结构和sdshdr结构来表示字符串对象。

区别：

raw编码会调用两次内存分配函数来分别创建redisObject结构和sdshdr结构

embstr编码则通过调用一次内存分配函数来分配一块连续的空间，空间中依次包含redisObject和sdshdr两个结构。

embstr底层数据结构

使用embstr编码的字符串对象来保存短字符串值有以下好处：

embstr编码将创建字符串对象所需的内存分配次数从raw编码的两次降低为一次

释放embstr编码的字符串对象只需要调用一次内存释放函数

embstr编码数据都保存在一块连续的内存里面，能够更好地利用缓存带来的优势

2.2 编码转换

int编码和embstr编码在条件满足的情况下，会被转换为raw编码的字符串对象。

对于int编码的字符串对象来说，如果我们向对象执行了一些命令，使得这个对象保存的不再是整数值，而是一个字符串值，那么字符串对象的编码将从int变为raw。

比如下面的示例中，我们在原来是int的对象中，通过APPEND命令追加了一个字符串，结果变成了一个raw编码的对象。

redis> SET number 10086
OK
redis> OBJECT ENCODING number
"int"
redis> APPEND number " is a good number!"
(integer) 23
redis> GET number
"10086 is a good number!"
redis> OBJECT ENCODING number
"raw"

因为Redis没有为embstr编码的字符串对象编写任何相应的修改程序（只有int编码的字符串对象和raw编码的字符串对象有这些程序），所以embstr编码的字符串对象实际上是只读的。

我们对embstr编码的字符串对象执行任何修改命令时，程序会先将对象的编码从embstr转换成raw，然后再执行修改命令。

因此：**embstr编码的字符串对象在执行修改命令之后，总会变成一个raw编码的字符串对象 **

以下代码展示了一个embstr编码的字符串对象在执行APPEND命令之后，对象的编码从embstr变为raw的例子：

redis> SET msg "hello world"
OK
redis> OBJECT ENCODING msg
"embstr"
redis> APPEND msg " again!"
(integer) 18
redis> OBJECT ENCODING msg
"raw"

2.3 字符串命令的实现

因为字符串键的值为字符串对象，所以用于字符串键的所有命令都是针对字符串对象来构建的。

以下列举了一部分的字符串命令，以及这些命令的在不同编码的实现方法。

命令	int编码实现方法	embstr编码的实现方法	raw编码的实现方法
SET	使用int编码保存值	使用embstr编码保存值	使用raw编码保存值
GET	转换成字符串值，返回这个字符串值	直接向客户端返回字符申值	直接向客户端返回字符串值
APPEND	转换成raw编码，然后按raw编码的方式执行此操作	转换成raw编码，然后按raw编码的方式执行此操作	调用sdscatlen函数，将给定字符串追加到现有字符串的末尾
INCRBYFLOAT	转换成long double类型的浮点数，对这个浮点数进行加法计算，然后将得出的浮点数结果保存起来	转换成long double类型的浮点数，对这个浮点数进行加法计算，然后将得出的浮点数结果保存起来。	转换成long double类型的浮点数，对这个浮点数进行加法计算，然后将得出的浮点数结果保存起来。
INCRBY	对整数值进行加法计算，得出的计算结果会作为整数被保存起来	embstr编码不能执行此命令，向客户端返回一个错误	raw编码不能执行此命令,向客户端返回一个错误
DECRBY	对整数值进行减法计算，得出的计算结果会作为整数被保存起来	embstr编码不能执行此命令，向客户端返回一个错误	raw编码不能执行此命令,向客户端返回一个错误
STRLEN	转换成字符串值，计算并返回这个字符串值的长度	调用sdslen函数，返回字符串的长度	调用sdslen函数，返回字符串的长度
SETRANGE	将对象转换成raw编码，然后按raw编码的方式执行此命令	将对象转换成raw编码，然后按raw编码的方式执行此命令	将字符串特定索引上的值设置为给定的字符
GETRANGE	转换成字符串值，然后取出并返回字符串指定索引上的字符	直接取出并返回字符串指定索引上的字符	直接取出并返回字符串指定索引上的字符

三、列表对象

3.1 列表对象底层实现

列表对象的编码可以是ziplist或者linkedlist。

3.1.1 压缩列表

ziplist编码的列表对象使用压缩列表作为底层实现，每个压缩列表节点（entry）保存了一个列表元素。

1 2	`redis> RPUSH numbers 1 "three" 5 (integer) 3`

压缩列表底层实现原理

3.1.2 双端链表

linkedlist编码的列表对象使用双端链表作为底层实现，每个双端链表节点（node）都保存了一个字符串对象，而每个字符串对象都保存了一个列表元素。 linkedlist编码的列表对象在底层的双端链表结构中包含了多个字符串对象。

双端链表底层实现原理

3.2 编码转换

当列表对象可以同时满足以下两个条件时，列表对象使用ziplist

编码：列表对象保存的所有字符串元素的长度都小于64

字节；列表对象保存的元素数量小于512个；

不能满足这两个条件的列表对象需要使用linkedlist编码。

注意：

以上两个条件的上限值是可以修改的，具体请看配置文件中关于list-max-ziplist-value选项和list-max-ziplist-entries选项的说明。

以下代码展示了列表对象因为保存了长度太大的元素而进行编码转换的情况：

#所有元素的长度都小于64字
redis> RPUSH blah "hello" "world" "again"
(integer)3
redis> OBJECT ENCODING blah
"ziplist"


#将一个65字节长的元素推入列表对象中
redis> RPUSH blah "wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww"
(integer) 4
#编码已改变
redis> OBJECT ENCODING blah
"linkedlist

3.3 列表命令的实现

因为列表键的值为列表对象，所以用于列表键的所有命令都是针对列表对象来构建的，下图列出了其中一部分列表键命令，以及这些命令在不同编码的列表对象下的实现方法。

命令	ziplist编码的实现方法	linkedlist 编码的实现方法
LPUSH	调用ziplistPush函数，将新元素推人到压缩列表的表头	调用listAddNodeHead函数，将新元素推人到双端链表的表头
RPUSH	调用ziplistPush函数，将新元素推人到压缩列表的表尾	调用listAddNodeTail函数，将新元素推人到双端链表的表尾
LPOP	调用ziplistIndex函数定位压缩列表的表头节点，在向用户返回节点所保存的元素之后，调用ziplistDelete 函数删除表头节点	调用listFirst函数定位双端链表的表头节点，在向用户返回节点所保存的元素之后，调用listDelNode 函数删除表头节点
RPOP	调用ziplistIndex函数定位压缩列表的表尾节点，在向用户返回节点所保存的元素之后，调用ziplistDelete函数删除表尾节点	调用1istLast函数定位双端链表的表尾节点，在向用户返回节点所保存的元素之后，调用listDelNode 函数删除表尾节点
LINDEX	调用ziplistIndex函数定位压缩列表中的指定节点，然后返回节点所保存的元素	调用listIndex函数定位双端链表中的指定节点，然后返回节点所保存的元素
LLEN	调用ziplistLen函数返回压缩列表的长度	调用listLength函数返回双端链表的长度
LINSERT	插人新节点到压缩列表的表头或者表尾时，使用ziplistPush函数;插人新节点到压缩列表的其他位置时，使用ziplistInsert函数	调用listInsertNode函数，将新节点插人到双端链表的指定位置
LREM	遍历压缩列表节点，并调用ziplistDelete函数删除包含了给定元素的节点	遍历双端链表节点，并调用listDelNode函数删除包含了给定元素的节点
LTRIM	调用ziplistDeleteRange 函数，删除压缩列表中所有不在指定索引范围内的节点	遍历双端链表节点，并调用listDelNode函数删除链表中所有不在指定索引范围内的节点
LSET	调用ziplistDelete函数，先删除压缩列表指定索引上的现有节点，然后调用ziplist-Insert函数，将一个包含给定元素的新节点插人到相同索引上面	调用listIndex函数，定位到双端链表指定索引上的节点，然后通过赋值操作更新节点的值

四、哈希对象

哈希对象的编码可以是ziplist或者hashtable。

4.1 哈希对象的底层实现

4.1.1 压缩列表

ziplist编码的哈希对象使用压缩列表作为底层实现，每当有新的键值对要加入到哈希对象时，程序会先将保存了键的压缩列表节点推入到压缩列表表尾，然后再将保存了值的压缩列表节点推入到压缩列表表尾。

因此：

1. 保存了同一键值对的两个节点总是紧挨在一起，保存键的节点在前，保存值的节点在后

2. 先添加到哈希对象中的键值对会被放在压缩列表的表头方向，而后来添加到哈希对象中的键值对会被放在压缩列表的表尾方向。

举个例子：

redis> HSET profile name "Tom"
(integer) 1
redis> HSET profile age 25
(integer) 1
redis> HSET profile career "Programmer"
(integer) 1

压缩列表实现原理

其中对象所使用的压缩列表会如下图所示：

压缩列表底层实现

4.1.2 字典

hashtable编码的哈希对象使用字典作为底层实现，哈希对象中的每个键值对都使用一个字典键值对来保存。

字典的每个键都是一个字符串对象，对象中保存了键值对的键
字典的每个值都是一个字符串对象，对象中保存了键值对的值。

字典实现原理

4.2 编码转换

当哈希对象可以同时满足以下两个条件时，哈希对象使用ziplist编码：

哈希对象保存的所有键值对的键和值的字符串长度都小于64字节
哈希对象保存的键值对数量小于512个；不能满足这两个条件的哈希对象需要使用hashtable编码

注意：

这两个条件的上限值是可以修改的，具体请看配置文件中关于hashmax-ziplist-value选项和hash-max-ziplist-entries选项的说明

以下代码展示了哈希对象因为键值对的键长度太大而引起编码转换的情况：

#哈希对象只包含一个键和值都不超过64个字节的键值对
redis> HSET book name "Mastering C++ in 21 days"
(integer) 1
redis> OBJECT ENCODING book
"ziplist"

#向哈希对象添加一个新的键值对， 键的长度为66字节
redis> HSET book long_long_long_long_long_long_long_long_long_long_long_description "content"
(integer) 1

#编码已改变
redis> OBJECT ENCODING book
"hashtable"

4.3 哈希命令的实现

哈希对象的值为哈希对象，所以用于哈希键的所有命令都是针对哈希对象来构建的，下表列出了其中一部分哈希键命令，以及这些命令在不同编码的哈希对象下的实现方法。

命令	ziplist码实现方法	hashtable编码的实现方法
HSET	调用两次ziplistPush，分别将键和值推入到压缩列表	调用dictAdd函数，将新节点添加到字典里面
HGET	首先调用ziplistFind函数，在压缩列表中查找指定键所对应的节点，然后调用ziplistNext函数，将指针移动到键节点旁边的值节点，最后返回值节点。	调用dictFind函数，在字典中查找给定键，然后调用dictGetVal函数，返回该键所对应的值
HEXISTS	调用ziplistFind函数，在压缩列表中查找指定键所对应的节点，如果找到的话说明键值对存在，没找到的话就说明键值对不存在	调用dictFind函数
HDEL	调用ziplistFind函数，在压缩列表中查找指定键所对应的节点，然后将相应的键节点、以及键节点旁边的值节点都删除掉	调用dictDelete函数，将指定键所对应的键值对从字典中删除掉
HLEN	调用ziplistLen函数，取得压缩列表包含节点的总数量，将这个数量除以2，得出的结果就是压缩列表保存的键值对的数量	调用dictSize函数，返回字典包含的键值对数量，这个数量就是哈希对象包含的键值对数量
HGETALL	遍历整个压缩列表，用ziplistGet函数返回所有键和值(都是节点)	遍历整个字典，用dictGetKey函数返回字典的键，用dictGetVal函数返回字典的值

五、集合对象

集合对象的编码可以是intset或者hashtable

5.1 集合对象的底层实现

5.1.1 intset

intset编码的集合对象使用整数集合作为底层实现，集合对象包含的所有元素都被保存在整数集合里面。

举个例子，以下代码将创建一个intset编码集合对象

1 2	`redis> SADD numbers 1 3 5 (integer) 3`

inset的底层实现

5.1.2 hashtable

hashtable编码的集合对象使用字典作为底层实现，字典的每个键都是一个字符串对象，每个字符串对象包含了一个集合元素，而字典的值则全部被设置为NULL。

举个例子，以下代码将创建一个hashtable编码集合对象：

1 2	`redis> SAD Dfruits "apple" "banana" "cherry" (integer)3`

hashtable底层实现原理

5.2 编码转换

当集合对象可以同时满足以下两个条件时，对象使用intset编码。

集合对象保存的所有元素都是整数值。
集合对象保存的元素数量不超过512个。

不能满足这两个条件的集合对象需要使用hashtable编码。

注意：

第二个条件的上限值是可以修改的，具体请看配置文件中关于setmax-intset-entries选项的说明。

举个例子，下面的代码展示了编码从intset到hashtable的转换。

# 创建了一个只包含整数元素的集合对象， 该对象的编码为intset：
redis> SADD numbers 1 3 5
(integer) 3
redis> OBJECT ENCODING numbers
"intset"

# 添加一个字符串元素，转移操作就会被执行
redis> SADD numbers "seven"
(integer) 1
redis> OBJECT ENCODING numbers
"hashtable"

5.3 集合命令的实现

因为集合键的值为集合对象，所以用于集合键的所有命令都是针对集合对象来构建的，下表列出了其中一部分集合键命令，以及这些命令在不同编码的集合对象下的实现方法。

命令	intset编码的实现方法	hashtable编码的实现方法
SADD	调用intsetAdd函数，将所有新元素添加到整数集合里面	调用dictAdd，以新元素为键，NULL为值，将键值对添加到字典里面
SCARD	调用intsetLen函数，返回整数集合所包含的元素数量	调用dictSize函数，返回字典所包含的键值对数量
SISMEMBER	调用intsetFind函数，在整数集合中查找给定的元素	调用dictFind函数，在字典的键中查找给定的元素
SMEMBERS	遍历整个整数集合，使用intsetGet函数返回集合元素	遍历整个字典，使用dictGetKey函数返回字典的键作为集合元素
SRANDMEMBER	调用intsetRandom函数，从整数集合中随机返回一个元素	调用dictGetRandomKey函数，从字典中随机返回一个字典键
SPOP	调用intsetRandom 函数，从整数集合中随机取出一个元素，然后调用intsetRemove 函数，从整数集合中删除掉	调用dictGetRandomKey 函数，从字典中随机取出一个字典键，然后调用dictDelete函数，从字典中删除对应的键值对
SREM	调用intsetRemove函数，从整数集合中删除所有给定的元素	调用dictDelete函数，从字典中删除所有键为给定元素的键值对

六、有序集合对象

有序集合的编码可以是ziplist或者skiplist。

6.1 有序集合对象的底层实现

6.1.1 ziplist

ziplist编码的压缩列表对象使用压缩列表作为底层实现，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员，而第二个元素则保存元素的分值

压缩列表内的集合元素按分值从小到大进行排序，分值较小的元素被放置在靠近表头的方向，而分值较大的元素则被放置在靠近表尾的方向。

举例，如果我们执行以下ZADD命令，那么服务器将创建一个有序集合对象作为price键的值：

1 2	`redis> ZADD price 8.5 apple 5.0 banana 6.0 cherry (integer) 3`

price键的值对象使用的是ziplist编码，那么这个值对象将会是：

ziplist底层实现

对象所使用的压缩列表会如下图实现：

压缩列表底层实现

6.1.2 skiplist

skiplist编码的有序集合对象使用zset结构作为底层实现，一个zset结构同时包含一个字典和一个跳跃表：

typedef struct zset {
	zskiplist *zsl;
	dict *dict;
} zset;

zset结构中的zsl跳跃表按分值从小到大保存了所有集合元素，每个跳跃表节点都保存了一个集合元素：跳跃表节点的object属性保存了元素的成员，而跳跃表节点的score属性则保存了元素的分值。

通过这个跳跃表，程序可以对有序集合进行范围型操作，比如ZRANK、 ZRANGE等命令就是基于跳跃表API来实现的。
zset结构中的dict字典为有序集合创建了一个从成员到分值的映射，字典中的每个键值对都保存了一个集合元素 :

字典的键保存了元素的成员，而字典的值则保存了元素的分值。通过这个字典，程序可以用O（1）复杂度查找给定成员的分值， ZSCORE命令就是根据这一特性实现的，而很多其他有序集合命令都在实现的内部用到了这一特性

注意：为什么有序集合需要同时使用跳跃表和字典来实现？

有序集合可以单独使用字典或者跳跃表的其中一种数据结构来实现，但无论单独使用字典还是跳跃表，在性能上对比起同时使用字典和跳跃表都会有所降低。

如果我们只使用跳跃表来实现有序集合，那么跳跃表执行范围型操作的所有优点都会被保留，但因为没有了字典，所以根据成员查找分值这一操作的复杂度将从O（1）上升为O（logN）。

price键的值对象使用的是skiplist编码，那么这个值对象将会是：

skiplist值对象实现原理

对象所使用的skiplist会如下图实现：

skiplist底层实现原理

6.2 编码转换

当有序集合对象可以同时满足以下两个条件时，对象使用ziplist编码：

有序集合保存的元素数量小于128个
有序集合保存的所有元素成员的长度都小于64字节

不能满足以上两个条件的有序集合对象将使用skiplist编码。

注意：

以上两个条件的上限值是可以修改的，具体请看配置文件中关于zset-max-ziplist-entries选项和zset-max-ziplist-value选项的说明

以下代码则展示了有序集合对象因为元素的成员过长而引发编码转换的情况：

#向有序集合添加一个成员只有三字节长的元素
redis> ZADD blah 1.0 www
(integer) 1
redis> OBJECT ENCODING blah
"ziplist"

#向有序集合添加一个成员为66字节长的元素
redis> ZADD blah 2.0 ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
(integer) 1

#编码已改变
redis> OBJECT ENCODING blah
"skiplist"

6.3 有序集合命令的实现

因为有序集合键的值为哈希对象，所以用于有序集合键的所有命令都是针对哈希对象来构建的，下表列出了其中一部分有序集合键命令，以及这些命令在不同编码的哈希对象下的实现方法。

命令	ziplist编码的实现方法	Zset码的实现方法
ZADD	调用ziplistInsert函数，将成员和分值作为两个节点分别插入到压缩列表	先调用zslInsert函数，将新元素添加到跳跃表，然后调用dictAdd函数，将新元素关联到字典
ZCARD	调用ziplistLen函数，获得压缩列表包含节点的数量，将这个数量除以2得出集合元素的数量	访问跳跃表数据结构的length属性，直接返回集合元素的数量
ZCOUNT	遍历压缩列表，统计分值在给定范围内的节点的数量	遍历跳跃表，统计分值在给定范围内的节点的数量
ZRANGE	从表头向表尾遍历压缩列表，返回给定索引范围内的所有元素	从表头向表尾遍历跳跃表，返回给定索引范围内的所有元素
ZREVRANGE	从表尾向表头遍历压缩列表，返回给定索引范围内的所有元素	从表尾向表头遍历跳跃表，返回给定索引范围内的所有元素
ZREM	遍历压缩列表，删除所有包含给定成员的节点，以及被删除成员节点旁边的分值节点	遍历跳跃表，删除所有包含了给定成员的跳跃表节点。并在字典中解除被删除元素的成员和分值的关联
ZSCORE	遍历压缩列表，查找包含了给定成员的节点，然后取出成员节点旁边的分值节点保存的元素分值	直接从字典中取出给定成员的分值

七、类型检查与命令多态

Redis中用于操作键的命令基本上可以分为两种类型。

其中一种命令可以对任何类型的键执行，比如说DEL命令、EXPIRE命令、 RENAME命令、 TYPE命令、 OBJECT命令等。

比如：以下代码就展示了使用DEL命令来删除三种不同类型的键

# 字符串键
redis> SET msg "hello"
OK

#列表键
redis> RPUSH numbers 1 2 3
(integer) 3

#集合键
redis> SADD fruits apple banana cherry
(integer) 3
redis> DEL msg
(integer) 1
redis> DEL numbers
(integer) 1
redis> DEL fruits
(integer) 1

而另一种命令只能对特定类型的键执行，比如说：

SET、 GET、 APPEND、 STRLEN等命令只能对字符串键执行
HDEL、 HSET、 HGET、 HLEN等命令只能对哈希键执行；
RPUSH、 LPOP、 LINSERT、 LLEN等命令只能对列表键执行；
SADD、 SPOP、 SINTER、 SCARD等命令只能对集合键执行；
ZADD、 ZCARD、 ZRANK、 ZSCORE等命令只能对有序集合键执行；

比如：SET命令创建一个字符串键，然后用GET命令和APPEND命令操作这个键。**我们试图对这个字符串键执行只有列表键才能执行的LLEN命令，那么Redis将向我们返回一个类型错误 **

redis> SET msg "hello world"
OK
redis> GET msg
"hello world"
redis> APPEND msg " again!"
(integer) 18
redis> GET msg
"hello world again!"
redis> LLEN msg
(error) WRONGTYPE Operation against a key holding the wrong kind of value

7.1 类型检查的实现

为了确保只有指定类型的键可以执行某些特定的命令，在执行一个类型特定的命令之前， Redis会先检查输入键的类型是否正确，然后再决定是否执行给定的命令。

类型特定命令所进行的类型检查是通过redisObject结构的type属性来实现的：

在执行一个类型特定命令之前，服务器会先检查输入数据库键的值对象是否为执行命令所需的类型，如果是的话，服务器就对键执行指定的命令；
否则，服务器将拒绝执行命令，并向客户端返回一个类型错误。

类型检查流程

其他类型特定命令的类型检查过程也和这里展示的LLEN命令的类型检查过程类似。

7.2 多态命令的实现

Redis除了会根据值对象的类型来判断键是否能够执行指定命令之外，还会根据值对象的编码方式，选择正确的命令实现代码来执行命令。

如果我们对一个键执行LLEN命令，那么服务器除了要确保执行命令的是列表键之外，还需要根据键的值对象所使用的编码来选择正确的LLEN命令实现：

如果列表对象的编码为ziplist，那么说明列表对象的实现为压缩列表，程序将使用ziplistLen函数来返回列表的长度；
如果列表对象的编码为linkedlist，那么说明列表对象的实现为双端链表，程序将使用listLength函数来返回双端链表的长度；

借用面向对象方面的术语来说，我们可以认为LLEN命令是多态的，只要执行LLEN命令的是列表键，那么无论值对象使用的是ziplist编码还是linkedlist编码，命令都可以正常执行。

多态命令的实现

八、内存回收

C语言并不具备自动内存回收功能，所以Redis在自己的对象系统中构建了一个引用计数技术实现的内存回收机制，通过这一机制，程序可以通过跟踪对象的引用计数信息，在适当的时候自动释放对象并进行内存回收。

每个对象的引用计数信息由redisObject结构的refcount属性记录

typedef struct redisObject {
    // ...
    //
    // 引用计数
    int refcount;
    // ...
} robj;

对象的引用计数信息会随着对象的使用状态而不断变化：

在创建一个新对象时，引用计数的值会被初始化为1
当对象被一个新程序使用时，它的引用计数值会被增一
当对象不再被一个程序使用时，它的引用计数值会被减一
当对象的引用计数值变为0时，对象所占用的内存会被释放

下表是修改对象引用计划的API

函数	作用
incrRefCount	将对象的引用计数值增一
decrRefCount	将对象的引用计数值减一，当对象的引用计数值等于0时，释放对象
resetRefCount	将对象的引用计数值设置为0，但并不释放对象，这个函数通常在需要重新设置对象的引用计数值时使用

九、对象共享

对象的引用计数属性还带有对象共享的作用。

举个例子，假设键A创建了一个包含整数值100的字符串对象作为值对象，这时键B也要创建一个同样保存了整数值100的字符串对象作为值对象。

这时，服务器有以下两种做法

为键B新创建一个包含整数值100的字符串对象
让键A和键B共享同一个字符串对象

以上两种方法很明显是第二种方法更节约内存。在Redis中，让多个键共享同一个值对象需要执行以下两个步骤：

(1) 将数据库键的值指针指向一个现有的值对象；

(2) 将被共享的值对象的引用计数增一。

下图中展示了第二种方法对象共享的示例，键A和键B进行了对象的共享。

对象共享

十、对象的空转时长

除了前面介绍过的type、 encoding、 ptr和refcount四个属性之外， redisObject结构包含的最后一个属性为lru属性，该属性记录了对象最后一次被命令程序访问的时间：

typedef struct redisObject {
	// ...
	unsigned lru:22;
	// ...
} robj;

OBJECT IDLETIME命令可以打印出给定键的空转时长，这一空转时长就是通过将当前时间减去键的值对象的lru时间计算得出的：

redis> SET msg "hello world"
OK
#等待一小段时间
redis> OBJECT IDLETIME msg
(integer) 20

#等待一阵子
redis> OBJECT IDLETIME msg
(integer) 180

#访问msg键的值
redis> GET msg
"hello world"

#键处于活跃状态， 空转时长为0
redis> OBJECT IDLETIME msg
(integer) 0

注意：

OBJECT IDLETIME命令的实现是特殊的，这个命令在访问键的值对象时，不会修改值对象的lru属性。

键的空转时长还有另外一项作用：如果服务器打开了maxmemory选项，并且服务器用于回收内存的算法为volatile-lru或者allkeys-lru，那么当服务器占用的内存数超过了maxmemory选项所设置的上限值时， 空转时长较高的那部分键会优先被服务器释放，从而回收内存。

十一、总结

Redis数据库中的每个键值对的键和值都是一个对象。Redis共有字符串、列表、哈希、集合、有序集合五种类型的对象，每种类型的对象至少都有两种或以上的编码方式，不同的编码可以在不同的使用场景上优化对象的使用效率。

服务器在执行某些命令之前，会先检查给定键的类型能否执行指定的命令，而检查一个键的类型就是检查键的值对象的类型。

Redis的对象系统带有引用计数实现的内存回收机制，当一个对象不再被使用时，该对象所占用的内存就会被自动释放。

#Redis

Redis实现-5种对象类型的底层实现

https://johnjoyjzw.github.io/2023/02/08/Redis实现-5种对象类型的底层实现/

Author

JiangZW

Posted on

February 8, 2023

Licensed under

SpringMVC全流程源码解析 Previous

SpringBoot应用启动流程解析 Next