Redis是一个内存中的数据库,它保存在磁盘上。数据模型是键值,但支持多种不同类型的值:字符串、列表、集合、排序集、哈希、流、HyperLogLogs、位图。 https://redis.io
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
 
 
ZEEKLING 6d671f58e0 Merge pull request '阅读acl对应的源码' (#5) from dev into master 5 days ago
.vscode 完善vscode项目配置 1 month ago
deps 删除部分无用文件 2 months ago
src 阅读acl对应的源码 1 week ago
tests 创建redis源码学习 2 months ago
utils 创建redis源码学习 2 months ago
.gitignore 删除core文件 2 weeks ago
CONTRIBUTING 创建redis源码学习 2 months ago
Jenkinsfile jenkins 构建 1 week ago
MANIFESTO 创建redis源码学习 2 months ago
Makefile 创建redis源码学习 2 months ago
README.md 修改README.md 2 months ago
README_EN.md 翻译README.md 2 months ago
TLS.md 创建redis源码学习 2 months ago
build.sh jenkins 构建 1 week ago
redis.conf 阅读acl对应的源码 1 week ago
runtest 创建redis源码学习 2 months ago
runtest-cluster 创建redis源码学习 2 months ago
runtest-moduleapi 创建redis源码学习 2 months ago
runtest-sentinel 创建redis源码学习 2 months ago
sentinel.conf 创建redis源码学习 2 months ago

README.md

查看英文版,请查看:README_EN.md

这个README.md知识提供快速开始的文档。其他详细信息可以查看:redis.io

什么是Redis?

Redis是一个内存结构数据库。这意味着Redis通过一组命令提供对可变数据结构的访问,这些命令是使用带有TCP套接字和简单协议的 服务器-客户机模型发送的。因此不同的进程可以以共享的方式查询和修改相同的数据结构。

Redis中实现的数据结构有几个特殊属性:

  • Redis会将数据存储在磁盘上,数据总是被服务和修改到服务器内存中。这意味着Redis速度很快,但也不是易失性的。
  • 数据结构的实现强调内存效率,因此与使用高级编程语言建模的相同数据结构相比,Redis中的数据结构可能使用更少的内存。
  • Redis提供了许多在数据库中很自然的特性,比如复制、可调的持久性级别、集群、高可用性。

另一个很好的例子是将Redis看作是memcached的一个更复杂的版本,其中的操作不仅仅是set和get,而是处理复杂数据类型(如列表、 集合、有序数据结构等)的操作。

如果您想了解更多信息,可以点击下面链接:

构建Redis

Redis可以在Linux、OSX、OpenBSD、NetBSD、FreeBSD上编译和使用。我们支持big-endian和little-endian体系结构,以及32位和64位 系统。

它可以在Solaris派生的系统(例如SmartOS)上编译,但是我们对这个平台的支持是最好的,Redis不能保证在Linux、OSX和*BSD中工作 得那么好。

编译命令

make

要使用TLS支持进行构建,您需要OpenSSL开发库(例如Debian/Ubuntu上的libssl dev)并运行:

make BUILD_TLS=yes

您可以使用以下方法运行32位Redis二进制文件:

make 32bit

在构建Redis之后,最好使用以下方法进行测试:

make test

如果构建了TLS,请在启用TLS的情况下运行测试(您需要安装tcl TLS):

./utils/gen-test-certs.sh
./runtest --tls

修复依赖项或缓存生成选项的生成问题

Redis有一些包含在deps目录中的依赖项。即使依赖项源代码中的某些内容发生更改,make也不会自动重新生成依赖项。

使用git pull更新源代码或以任何其他方式修改依赖关系树中的代码时,请确保使用以下命令,以便真正清理所有内容并从头开始重建:

make distclean

这将清除:jemalloc,lua,hiredis,linenoise。 另外,如果强制某些生成选项,如32位目标、无C编译器优化(用于调试目的)和其他类似的生成时选项,则这些选项将被无限期缓存, 直到发出makedistclean命令。

修复生成32位二进制文件的问题

如果在用32位目标构建Redis之后需要用64位目标重新构建它,或者反过来,您需要在Redis发行版的根目录中执行make distclean

如果在尝试构建32位的Redis二进制文件时出现构建错误,请尝试以下步骤:

  • 安装包libc6-dev-i386(也可以尝试g++-multilib)。
  • 尝试使用以下命令行 makecflags=“-m32-march=native”LDFLAGS=“-m32” 代替 make32bit

内存分配

通过设置MALLOC环境变量,可以在构建Redis时选择非默认内存分配器。Redis在默认情况下是针对libc malloc编译和链接的,但 jemalloc是Linux系统上的默认设置。之所以选择此默认值,是因为jemalloc被证明比libc malloc具有更少的碎片问题。

强制使用libc编译,请使用:

 make MALLOC=libc

强制使用jemalloc编译,请使用:

make MALLOC=jemalloc

显示详细构建信息

默认情况下,Redis将生成用户友好的彩色输出。如果要查看更详细的输出,请使用以下命令:

make V=1

运行Redis

要使用默认配置运行Redis,执行下面命令:

cd src
./redis-server

如果你想提供redis.con,您必须使用其他参数(配置文件的路径)来运行它:

cd src
./redis-server /path/to/redis.conf

通过使用命令行直接将参数作为参数传递,可以更改Redis配置。示例:

./redis-server --port 9999 --replicaof 127.0.0.1 6379
./redis-server /etc/redis/6379.conf --loglevel debug

所有redis.conf的配置参数也支持使用命令行作为参数,使用完全相同的名称。

Redis 支持TLS

请查看TLS.md文件获取有关如何将Redis与TLS一起使用的详细信息。

使用Redis

您可以使用redis cli来连接redis。启动一个redis服务器实例,然后在另一个终端上尝试以下操作:

% cd src
% ./redis-cli
redis> ping
PONG
redis> set foo bar
OK
redis> get foo
"bar"
redis> incr mycounter
(integer) 1
redis> incr mycounter
(integer) 2
redis>

您可以在中找到所有可用命令的列表:http://redis.io/commands.

安装Redis

要将Redis二进制文件安装到/usr/local/bin中,只需使用:

make install

如果要使用其他目标,可以使用make prefix=/some/other/directory install

make install将只在系统中安装二进制文件,但不会在适当的位置配置init脚本和配置文件。如果你只想玩一点Redis,这是不需要的, 但是如果你是在一个生产系统中正确地安装它,我们有一个脚本为Ubuntu和Debian系统这样做:

cd utils
./install_server.sh

注意:install_server.sh不支持在Mac OSX上面运行,只支持Linux

该脚本将解决您一些问题,并将设置您所需的一切,以便将Redis作为后台守护程序正常运行,该后台守护程序将在系统重新启动时 重新启动。

您可以使用名为/etc/init.d/Redis_<portnumber>的脚本来停止和启动Redis,例如/etc/init.d/Redis_6379

代码贡献

注意: 通过以任何形式向Redis项目贡献代码,包括通过Github发送请求、通过私人电子邮件或公共讨论组发送代码片段或补丁, 您同意根据BSD许可条款发布代码,您可以在Redis源代码发行版中包含的COPYING中找到该许可证。

有关详细信息,请参阅此源发行版中的CONTRIBUTING

Redis 内部结构

如果您正在阅读这篇自述,那么您很可能是在Github页面前面或者您刚刚解除了Redis发行tar-ball的限制。在这两种情况下,您基本上 都离源代码只有一步之遥,所以这里我们将解释Redis源代码的布局、每个文件中的基本内容、Redis服务器内部最重要的功能和结构等 等。我们将所有的讨论保持在一个高水平上,而不是深入到细节,因为这个文档将是巨大的,否则我们的代码库将不断变化,但一个总体 的想法应该是一个很好的起点来理解更多。此外,大部分代码都有大量注释,并且易于理解。

源代码布局

Redis根目录只包含这个readme文件、调用src目录中实际Makefile的Makefile以及Redis和Sentinel的示例配置。您可以找到一些用于运行 Redis、Redis Cluster和Redis Sentinel单元测试的shell脚本,这些测试在tests目录中实现。

根目录中有以下重要目录:

  • src: 包含Redis实现,用C编写。
  • tests:包含在Tcl中实现的单元测试。
  • deps:包含Redis使用的库。编译Redis所需的一切都在这个目录中;您的系统只需要提供libc、一个与POSIX兼容的接口和一个C编 译器。值得注意的是,deps包含jemalloc的副本,这是Linux下Redis的默认分配器。请注意,在deps下,还有一些事情是从Redis项目 开始的,但是对于这些项目,主存储库不是antirez/Redis。

还有一些目录,但它们对我们的目标并不重要。我们将主要关注src,其中包含Redis实现,探索每个文件中都有什么。为了逐步揭示不同的复杂性层次,文件的公开顺序是必须遵循的逻辑顺序。

注意:最近Redis被重构了不少。函数名和文件名已更改,因此您可能会发现此文档更接近于不稳定分支的反映。例如,在Redis 3.0 中,server.c和server.h文件名为Redis.c和Redis.h,但总体结构是相同的。请记住,所有新的开发和拉取请求都应该针对不稳定的分支执行。

server.h

理解程序如何工作的最简单的方法是理解它使用的数据结构。所以我们从Redis的主头文件开始,它是server.h。

所有的服务器配置和一般的共享状态都是在一个名为server的全局结构中定义的,类型为struct rediserver。该结构中的几个重要字段是:

  • server.db:是Redis数据库的数组,其中存储数据。
  • server.commands:是命令列表。
  • server.clients:是连接到服务器的客户端的链接列表。
  • server.master:是一个特殊的客户机,如果实例是副本,则是主客户机。

还有很多其他的结构。大多数字段直接在结构定义内部进行注释。

另一个重要的Redis数据结构是定义客户机的结构。过去叫redisClient,现在只叫client。结构有很多字段,这里我们只展示主要字段:

struct client {
    int fd;
    sds querybuf;
    int argc;
    robj **argv;
    redisDb *db;
    int flags;
    list *reply;
    char buf[PROTO_REPLY_CHUNK_BYTES];
    ... many other fields ...
}

client结构定义连接的客户端:

  • fd字段是客户机套接字文件描述符。
  • argc和argv使用客户端正在执行的命令填充,以便实现给定Redis命令的函数可以读取参数。
  • querybuf对来自客户端的请求进行累加,这些请求由Redis服务器根据Redis协议进行解析,并通过调用客户端正在执行的命令的实现来执行。
  • reply和buf是动态和静态缓冲区,用于累积服务器发送给客户机的响应。一旦文件描述符可写,这些缓冲区就会以增量方式写入套接字。

正如您在上面的客户机结构中看到的,命令中的参数被描述为robj结构。下面是完整的robj结构,它定义了一个Redis对象:

typedef struct redisObject {
    unsigned type:4;
    unsigned encoding:4;
    unsigned lru:LRU_BITS; /* lru time (relative to server.lruclock) */
    int refcount;
    void *ptr;
} robj;

基本上,这个结构可以表示所有基本的Redis数据类型,如字符串、列表、集合、排序集等等。有趣的是它有一个类型字段,这样就可以 知道给定对象的类型,以及refcount,这样就可以在多个地方引用同一个对象,而无需多次分配它。最后,ptr字段指向对象的实际表示 形式,即使对于同一类型,它也可能有所不同,这取决于所使用的编码。

Redis对象在Redis内部被广泛使用,但是为了避免间接访问的开销,最近在很多地方我们只使用普通的动态字符串,而不是包装在Redis对象中。

server.c

这是Redis服务器的入口点,在这里定义main()函数。以下是启动Redis服务器的最重要步骤。

  • initServerConfig():设置服务器结构的默认值。
  • initServer():分配操作所需的数据结构,设置侦听套接字,等等。
  • aeMain():启动侦听新连接的事件循环。

事件循环定期调用两个特殊函数:

  • serverCron():定期调用(根据服务器.hz必须从时间和频率方面检查客户机。
  • beforeSleep():每次触发事件循环时都会调用,Redis为一些请求提供服务,并返回到事件循环中。

在server.c中,您可以找到处理Redis服务器其他重要事务的代码:

  • call():用于在给定客户端的上下文中调用给定命令。
  • activeExpireCycle():通过EXPIRE命令处理带有生存时间设置的密钥的设备。
  • freeMemoryIfNeeded():当应执行新的write命令,但根据maxmemory指令Redis内存不足时调用。
  • 全局变量redisCommandTable定义所有Redis命令,指定命令的名称、实现该命令的函数、所需参数的数量以及每个命令的其他属性。

networking.c

这个文件定义了客户端、主机和副本的所有I/O功能(在Redis中只是特殊的客户端):

  • createClient():分配并初始化新客户端。
  • 分配并初始化一个新的客户命令实现使用addReply*()系列函数,以便将数据附加到客户机结构中,这些数据将作为对执行的给定命令的应答传输到客户端。
  • writeToClient():将输出缓冲区中挂起的数据传输到客户端,并由可写事件处理程序sendReplyToClient()调用。
  • readQueryFromClient():是可读的事件处理程序,并将从客户端读取的数据累积到查询缓冲区。
  • processInputBuffer():是根据Redis协议解析客户端查询缓冲区的入口点。一旦命令准备好被处理,它就会调用在server.c中定义的processCommand(),以便实际执行该命令。
  • freeClient():取消分配、断开和删除客户端。

aof.c and rdb.c

从名称中可以猜到,这些文件实现了Redis的RDB和AOF持久性。基于Redis()的共享线程在同一个Redis线程上创建共享内存fork() 模型。这个辅助线程将内存的内容转储到磁盘上。rdb.c使用它在磁盘上创建快照,aof.c使用它在只追加的文件太大时执行aof重写。

在aof.c中的实现有附加的函数,以便实现一个API,该API允许命令在客户端执行命令时将新命令附加到aof文件中。

在server.c中定义的call()函数负责调用将命令写入AOF的函数。

db.c

某些Redis命令操作特定的数据类型,其他命令是通用的。通用命令的示例有DEL和EXPIRE。它们操作的是键,而不是具体的值。所有这 些通用命令都在db.c中定义

此外,db.c实现了一个API,以便在Redis数据集上执行某些操作,而不直接访问内部数据结构。

db.c中最重要的函数在许多命令实现中使用如下:

  • lookupKeyRead()和lookupKeyWrite()用于获取指向与给定键关联的值的指针,如果该键不存在,则为NULL。
  • dbAdd()和它的高级对应setKey()在Redis数据库中创建一个新的键。
  • dbDelete()删除键及其关联值。
  • emptyDb()删除整个单个数据库或定义的所有数据库。

文件的其余部分实现了向客户机公开的通用命令。

object.c

已经描述了定义Redis对象的robj结构。在object.c中有所有在基本级别操作Redis对象的函数,比如分配新对象、处理引用计数等等。 此文件中的重要功能:

  • incrRefcount()和decrefCount()用于递增或递减对象引用计数。当它降到0时,对象最终被释放。
  • createObject()分配新对象。还有一些专门的函数来分配具有特定内容的字符串对象,如createStringObjectFromLongLong()和类似函数。

此文件还实现OBJECT命令。

replication.c

这是Redis中最复杂的文件之一,建议您在对其余代码库有一点熟悉之后再使用它。在这个文件中,实现了Redis的master和replica角色。

这个文件中最重要的函数之一是replicationFeedSlaves(),它向表示连接到主服务器的副本实例的客户机写入命令,以便副本可以获 得客户端执行的写入操作:这样,它们的数据集将与主服务器中的数据集保持同步。

此文件还实现SYNC和PSYNC命令,这些命令用于在主服务器和副本之间执行第一次同步,或在断开连接后继续复制。

Other C files

  • t_hash.c、t_list.c、t_set.c、t_string.c、t_zset.c和t_stream.c包含Redis数据类型的实现。它们实现一个API来访问给定的数据 类型,而客户机命令实现这些数据类型。
  • ae.c实现了Redis事件循环,它是一个自包含的库,易于阅读和理解。
  • sds.c是Redis字符串库,详细查看https://github.com/antirez/sds
  • 与内核公开的原始接口相比,anet.c是一个以更简单的方式使用POSIX网络的库。
  • dict.c是一个非阻塞哈希表的实现,它可以递增地重新计算。
  • c实现Lua脚本。它完全独立于Redis实现的其余部分,并且非常简单,可以理解您是否熟悉luaapi。
  • c实现Redis集群。在非常熟悉Redis代码库的其余部分之后,这可能是一个不错的只读版本。如果你想读cluster.c,一定要读Redis cluster规范

Anatomy of a Redis command

所有Redis命令的定义方式如下:

void foobarCommand(client *c) {
    printf("%s",c->argv[1]->ptr); /* Do something with the argument. */
    addReply(c,shared.ok); /* Reply something to the client. */
}

然后在命令表的server.c中引用该命令:

{"foobar",foobarCommand,2,"rtF",0,NULL,0,0,0,0,0},

在上面的示例中,2是命令接受的参数数,而“rtF”是命令标志,如server.c中的命令表顶部注释中所述。

命令以某种方式运行后,它将一个应答返回给客户机,通常使用addReply()或networking.c中定义的类似函数。

Redis源代码中有大量的命令实现,可以作为实际命令实现的示例。编写一些玩具命令是熟悉代码库的一个很好的练习。

还有许多其他的文件没有在这里描述,但它是没有用的涵盖一切。我们只想帮助你迈出第一步。最终,您将在Redis代码库中找到自己的方法:-)