本文分析Redis字符串的实现原理，内容摘自新书《Redis核心原理与实践》。这本书深入地分析了Redis常用特性的内部机制与实现方式，内容源自对Redis源码的分析，并从中总结出设计思路、实现原理。通过阅读本书，读者可以快速、轻松地了解Redis的内部运行机制。

Redis是一个键值对数据库（key-value DB），下面是一个简单的Redis的命令：

> SET msg "hello wolrd"

该命令将键“msg”、值“hello wolrd”这两个字符串保存到Redis数据库中。
本章分析Redis如何在内存中保存这些字符串。

redisObject

Redis中的数据对象server.h/redisObject是Redis对内部存储的数据定义的抽象类型，在深入分析Redis数据类型前，我们先了解redisObject，它的定义如下：

typedef struct redisObject {
    unsigned type:4;
    unsigned encoding:4;
    unsigned lru:LRU_BITS;
    int refcount;
    void *ptr;
} robj;

• type：数据类型。
• encoding：编码格式，即存储数据使用的数据结构。同一个类型的数据，Redis会根据数据量、占用内存等情况使用不同的编码，最大限度地节省内存。
• refcount，引用计数，为了节省内存，Redis会在多处引用同一个redisObject。
• ptr：指向实际的数据结构，如sds，真正的数据存储在该数据结构中。
• lru：24位，LRU时间戳或LFU计数。

redisObject负责装载Redis中的所有键和值。redisObject.ptr指向真正存储数据的数据结构，redisObject .refcount、redisObject.lru等属性则用于管理数据（数据共享、数据过期等）。

提示：type、encoding、lru使用了C语言中的位段定义，这3个属性使用同一个unsigned int的不同bit位。这样可以最大限度地节省内存。

Redis定义了以下数据类型和编码，如表1-1所示。

本书第1部分会对表1-1中前五种数据类型进行分析，最后两种数据类型会在第5部分进行分析。如果读者现在对表1-1中内容感到疑惑，则可以先带着疑问继续阅读本书。

sds

我们知道，C语言中将空字符结尾的字符数组作为字符串，而Redis对此做了扩展，定义了字符串类型sds（Simple Dynamic String）。
Redis键都是字符串类型，Redis中最简单的值类型也是字符串类型，
字符串类型的Redis值可用于很多场景，如缓存HTML片段、记录用户登录信息等。

定义

提示：本节代码如无特殊说明，均在sds.h/sds.c中。
对于不同长度的字符串，Redis定义了不同的sds结构体：

typedef char *sds;

struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; 
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; 
    uint8_t alloc;
    unsigned char flags;
    char buf[];
};
...

Redis还定义了sdshdr16、sdshdr32、sdshdr64结构体。为了版面整洁，这里不展示sdshdr16、sdshdr32、sdshdr64 结构体的代码，它们与sdshdr8结构体基本相同，只是len、alloc属性使用了 uint16_t、uint32、uint64_t类型。Redis定义不同sdshdr结构体是为了针对不同长度的字符串，使用合适的len、alloc属性类型，最大限度地节省内存。

• len：已使用字节长度，即字符串长度。sdshdr5可存放的字符串长度小于32（25），sdshdr8可存放的字符串长度小于256（28），以此类推。由于该属性记录了字符串长度，所以sds可以在常数时间内获取字符串长度。Redis限制了字符串的最大长度不能超过512MB。
• alloc：已申请字节长度，即sds总长度。alloc-len为sds中的可用（空闲）空间。
• flag：低3位代表sdshdr的类型，高5位只在sdshdr5中使用，表示字符串的长度，所以sdshdr5中没有len属性。另外，由于Redis对sdshdr5的定义是常量字符串，不支持扩容，所以不存在alloc属性。
• buf：字符串内容，sds遵循C语言字符串的规范，保存一个空字符作为buf的结尾，并且不计入len、alloc属性。这样可以直接使用C语言strcmp、strcpy等函数直接操作sds。

提示：sdshdr结构体中的buf数组并没有指定数组长度，它是C99规范定义的柔性数组—结构体中最后一个属性可以被定义为一个大小可变的数组（该属性前必须有其他属性）。使用sizeof函数计算包含柔性数组的结构体大小，返回结果不包括柔性数组占用的内存。
另外，attribute((packed))关键字可以取消结构体内的字节对齐以节省内存。

操作分析

接下来看一下sds构建函数：

sds sdsnewlen(const void *init, size_t initlen) {
    void *sh;
    sds s;
    // [1]
    char type = sdsReqType(initlen);
    // [2]
    if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
    // [3]
    int hdrlen = sdsHdrSize(type);
    unsigned char *fp; /* flags pointer. */

    sh = s_malloc(hdrlen+initlen+1);
    ...
    // [4]
    s = (char*)sh+hdrlen;
    fp = ((unsigned char*)s)-1;
    switch(type) {
        case SDS_TYPE_5: {
            *fp = type | (initlen << SDS_TYPE_BITS);
            break;
        }
        case SDS_TYPE_8: {
            SDS_HDR_VAR(8,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        ...
    }
    if (initlen && init)
        memcpy(s, init, initlen);
    s[initlen] = '\0';
    // [5]
    return s;
}

参数说明：

• init、initlen：字符串内容、长度。

【1】根据字符串长度，判断对应的sdshdr类型。
【2】长度为0的字符串后续通常需要扩容，不应该使用sdshdr5，所以这里转换为sdshdr8。
【3】sdsHdrSize函数负责查询sdshdr结构体的长度，s_malloc函数负责申请内存空间，申请的内存空间长度为hdrlen+initlen+1，其中hdrlen为sdshdr结构体长度（不包含buf属性），initlen为字符串内容长度，最后一个字节用于存放空字符“\0”。s_malloc与C语言的malloc函数的作用相同，负责分配指定大小的内存空间。
【4】给sdshdr属性赋值。
SDS_HDR_VAR是一个宏，负责将sh指针转化为对应的sdshdr结构体指针。
【5】注意，sds实际上就是char*的别名，这里返回的s指针指向sdshdr.buf属性，即字符串内容。Redis通过该指针可以直接读/写字符串数据。

构建一个内容为“hello wolrd”的sds，其结构如图1-1所示。

sds的扩容机制是一个很重要的功能。

sds sdsMakeRoomFor(sds s, size_t addlen) {
    void *sh, *newsh;
    // [1]
    size_t avail = sdsavail(s);
    size_t len, newlen;
    char type, oldtype = s[-1] & SDS_TYPE_MASK;
    int hdrlen;

    if (avail >= addlen) return s;
    // [2]
    len = sdslen(s);
    
    sh = (char*)s-sdsHdrSize(oldtype);
    newlen = (len+addlen);
    // [3]
    if (newlen < SDS_MAX_PREALLOC)
        newlen *= 2;
    else
        newlen += SDS_MAX_PREALLOC;

    // [4]    
    type = sdsReqType(newlen);
    if (type == SDS_TYPE_5) type = SDS_TYPE_8;
    // [5]
    hdrlen = sdsHdrSize(type);
    if (oldtype==type) {
        newsh = s_realloc(sh, hdrlen+newlen+1);
        if (newsh == NULL) return NULL;
        s = (char*)newsh+hdrlen;
    } else {
        newsh = s_malloc(hdrlen+newlen+1);
        if (newsh == NULL) return NULL;
        memcpy((char*)newsh+hdrlen, s, len+1);
        s_free(sh);
        s = (char*)newsh+hdrlen;
        s[-1] = type;
        sdssetlen(s, len);
    }
    // [6]
    sdssetalloc(s, newlen);
    return s;
}

参数说明：
addlen：要求扩容后可用长度（alloc-len）大于该参数。
【1】获取当前可用空间长度。如果当前可用空间长度满足要求，则直接返回。
【2】sdslen负责获取字符串长度，由于sds.len中记录了字符串长度，该操作复杂度为O(1)。这里len变量为原sds字符串长度，newlen变量为新sds长度。sh指向原sds的sdshdr结构体。
【3】预分配比参数要求多的内存空间，避免每次扩容都要进行内存拷贝操作。新sds长度如果小于SDS_MAX_PREALLOC（默认为1024×1024，单位为字节），则新sds长度自动扩容为2倍。否则，新sds长度自动增加SDS_MAX_PREALLOC。
【4】sdsReqType(newlen)负责计算新的sdshdr类型。注意，扩容后的类型不使用sdshdr5，该类型不支持扩容操作。
【5】如果扩容后sds还是同一类型，则使用s_realloc函数申请内存。否则，由于sds结构已经变动，必须移动整个sds，直接分配新的内存空间，并将原来的字符串内容复制到新的内存空间。s_realloc与C语言realloc函数的作用相同，负责为给定指针重新分配给定大小的内存空间。它会尝试在给定指针原地址空间上重新分配，如原地址空间无法满足要求，则分配新内存空间并复制内容。
【6】更新sdshdr.alloc属性。

对上面“hello wolrd”的sds调用sdsMakeRoomFor(sds,64)，则生成的sds如图1-2所示。

从图1-2中可以看到，使用len记录字符串长度后，字符串中可以存放空字符。Redis字符串支持二进制安全，可以将用户的输入存储为没有任何特定格式意义的原始数据流，因此Redis字符串可以存储任何数据，比如图片数据流或序列化对象。C语言字符串将空字符作为字符串结尾的特定标记字符，它不是二进制安全的。
sds常用函数如表1-2所示。