382 lines
18 KiB
Markdown
382 lines
18 KiB
Markdown
|
||
|
||
查看英文版，请查看:[README_EN.md](https://git.zeekling.cn/zeekling/redis/src/branch/master/README_EN.md)
|
||
|
||
这个README.md知识提供快速开始的文档。其他详细信息可以查看：[redis.io](https://redis.io/)
|
||
|
||
## 什么是Redis？
|
||
|
||
|
||
Redis是一个内存结构数据库。这意味着Redis通过一组命令提供对可变数据结构的访问，这些命令是使用带有TCP套接字和简单协议的
|
||
服务器-客户机模型发送的。因此不同的进程可以以共享的方式查询和修改相同的数据结构。
|
||
|
||
Redis中实现的数据结构有几个特殊属性：
|
||
|
||
- Redis会将数据存储在磁盘上，数据总是被服务和修改到服务器内存中。这意味着Redis速度很快，但也不是易失性的。
|
||
- 数据结构的实现强调内存效率，因此与使用高级编程语言建模的相同数据结构相比，Redis中的数据结构可能使用更少的内存。
|
||
- Redis提供了许多在数据库中很自然的特性，比如复制、可调的持久性级别、集群、高可用性。
|
||
|
||
另一个很好的例子是将Redis看作是memcached的一个更复杂的版本，其中的操作不仅仅是set和get，而是处理复杂数据类型（如列表、
|
||
集合、有序数据结构等）的操作。
|
||
|
||
如果您想了解更多信息，可以点击下面链接：
|
||
- Redis数据类型介绍：[http://redis.io/topics/data-types-intro](http://redis.io/topics/data-types-intro)
|
||
- 直接在浏览器中尝试Redis。[http://try.redis.io](http://try.redis.io)
|
||
- Redis命令的完整列表。[http://redis.io/commands](http://redis.io/commands)
|
||
- Redis官方文档中还有更多内容。[http://redis.io/documentation](http://redis.io/documentation)
|
||
|
||
## 构建Redis
|
||
|
||
|
||
Redis可以在Linux、OSX、OpenBSD、NetBSD、FreeBSD上编译和使用。我们支持big-endian和little-endian体系结构，以及32位和64位
|
||
系统。
|
||
|
||
它可以在Solaris派生的系统（例如SmartOS）上编译，但是我们对这个平台的支持是最好的，Redis不能保证在Linux、OSX和*BSD中工作
|
||
得那么好。
|
||
|
||
编译命令
|
||
```sh
|
||
make
|
||
```
|
||
要使用TLS支持进行构建，您需要OpenSSL开发库（例如Debian/Ubuntu上的libssl dev）并运行：
|
||
```sh
|
||
make BUILD_TLS=yes
|
||
```
|
||
您可以使用以下方法运行32位Redis二进制文件:
|
||
```sh
|
||
make 32bit
|
||
```
|
||
在构建Redis之后，最好使用以下方法进行测试：
|
||
```sh
|
||
make test
|
||
```
|
||
如果构建了TLS，请在启用TLS的情况下运行测试（您需要安装tcl TLS）：
|
||
```sh
|
||
./utils/gen-test-certs.sh
|
||
./runtest --tls
|
||
```
|
||
|
||
### 修复依赖项或缓存生成选项的生成问题
|
||
|
||
|
||
Redis有一些包含在deps目录中的依赖项。即使依赖项源代码中的某些内容发生更改，make也不会自动重新生成依赖项。
|
||
|
||
使用git pull更新源代码或以任何其他方式修改依赖关系树中的代码时，请确保使用以下命令，以便真正清理所有内容并从头开始重建：
|
||
|
||
```sh
|
||
make distclean
|
||
```
|
||
这将清除：jemalloc，lua，hiredis，linenoise。
|
||
另外，如果强制某些生成选项，如32位目标、无C编译器优化（用于调试目的）和其他类似的生成时选项，则这些选项将被无限期缓存，
|
||
直到发出makedistclean命令。
|
||
|
||
### 修复生成32位二进制文件的问题
|
||
|
||
|
||
如果在用32位目标构建Redis之后需要用64位目标重新构建它，或者反过来，您需要在Redis发行版的根目录中执行`make distclean`。
|
||
|
||
如果在尝试构建32位的Redis二进制文件时出现构建错误，请尝试以下步骤：
|
||
- 安装包libc6-dev-i386（也可以尝试g++-multilib）。
|
||
- 尝试使用以下命令行` makecflags=“-m32-march=native”LDFLAGS=“-m32”` 代替` make32bit`
|
||
|
||
### 内存分配
|
||
|
||
通过设置MALLOC环境变量，可以在构建Redis时选择非默认内存分配器。Redis在默认情况下是针对libc malloc编译和链接的，但
|
||
jemalloc是Linux系统上的默认设置。之所以选择此默认值，是因为jemalloc被证明比libc malloc具有更少的碎片问题。
|
||
|
||
强制使用`libc`编译，请使用：
|
||
```sh
|
||
make MALLOC=libc
|
||
```
|
||
强制使用`jemalloc`编译，请使用：
|
||
```sh
|
||
make MALLOC=jemalloc
|
||
```
|
||
|
||
### 显示详细构建信息
|
||
|
||
默认情况下，Redis将生成用户友好的彩色输出。如果要查看更详细的输出，请使用以下命令：
|
||
|
||
```sh
|
||
make V=1
|
||
```
|
||
|
||
### 运行Redis
|
||
|
||
|
||
要使用默认配置运行Redis，执行下面命令：
|
||
|
||
```sh
|
||
cd src
|
||
./redis-server
|
||
```
|
||
|
||
如果你想提供redis.con，您必须使用其他参数（配置文件的路径）来运行它：
|
||
|
||
```sh
|
||
cd src
|
||
./redis-server /path/to/redis.conf
|
||
```
|
||
通过使用命令行直接将参数作为参数传递，可以更改Redis配置。示例：
|
||
|
||
```sh
|
||
./redis-server --port 9999 --replicaof 127.0.0.1 6379
|
||
./redis-server /etc/redis/6379.conf --loglevel debug
|
||
```
|
||
所有redis.conf的配置参数也支持使用命令行作为参数，使用完全相同的名称。
|
||
|
||
### Redis 支持TLS
|
||
|
||
|
||
请查看[TLS.md](https://git.zeekling.cn/zeekling/redis/src/branch/master/TLS.md)文件获取有关如何将Redis与TLS一起使用的详细信息。
|
||
|
||
### 使用Redis
|
||
|
||
|
||
您可以使用redis cli来连接redis。启动一个redis服务器实例，然后在另一个终端上尝试以下操作：
|
||
|
||
```sh
|
||
% cd src
|
||
% ./redis-cli
|
||
redis> ping
|
||
PONG
|
||
redis> set foo bar
|
||
OK
|
||
redis> get foo
|
||
"bar"
|
||
redis> incr mycounter
|
||
(integer) 1
|
||
redis> incr mycounter
|
||
(integer) 2
|
||
redis>
|
||
```
|
||
|
||
您可以在中找到所有可用命令的列表:[http://redis.io/commands](http://redis.io/commands).
|
||
|
||
### 安装Redis
|
||
|
||
要将Redis二进制文件安装到/usr/local/bin中，只需使用：
|
||
|
||
```sh
|
||
make install
|
||
```
|
||
|
||
如果要使用其他目标，可以使用`make prefix=/some/other/directory install`。
|
||
|
||
`make install`将只在系统中安装二进制文件，但不会在适当的位置配置init脚本和配置文件。如果你只想玩一点Redis，这是不需要的，
|
||
但是如果你是在一个生产系统中正确地安装它，我们有一个脚本为Ubuntu和Debian系统这样做：
|
||
|
||
```sh
|
||
cd utils
|
||
./install_server.sh
|
||
```
|
||
|
||
**注意**:`install_server.sh`不支持在`Mac OSX`上面运行，只支持`Linux`。
|
||
|
||
该脚本将解决您一些问题，并将设置您所需的一切，以便将Redis作为后台守护程序正常运行，该后台守护程序将在系统重新启动时
|
||
重新启动。
|
||
|
||
您可以使用名为`/etc/init.d/Redis_<portnumber>`的脚本来停止和启动Redis，例如`/etc/init.d/Redis_6379`。
|
||
|
||
## 代码贡献
|
||
|
||
**注意**： 通过以任何形式向Redis项目贡献代码，包括通过Github发送请求、通过私人电子邮件或公共讨论组发送代码片段或补丁，
|
||
您同意根据BSD许可条款发布代码，您可以在Redis源代码发行版中包含的[COPYING](https://git.zeekling.cn/zeekling/redis/src/branch/master/COPYING)中找到该许可证。
|
||
|
||
有关详细信息，请参阅此源发行版中的[CONTRIBUTING](https://git.zeekling.cn/zeekling/redis/src/branch/master/CONTRIBUTING)。
|
||
|
||
|
||
## Redis 内部结构
|
||
|
||
|
||
如果您正在阅读这篇自述，那么您很可能是在Github页面前面或者您刚刚解除了Redis发行tar-ball的限制。在这两种情况下，您基本上
|
||
都离源代码只有一步之遥，所以这里我们将解释Redis源代码的布局、每个文件中的基本内容、Redis服务器内部最重要的功能和结构等
|
||
等。我们将所有的讨论保持在一个高水平上，而不是深入到细节，因为这个文档将是巨大的，否则我们的代码库将不断变化，但一个总体
|
||
的想法应该是一个很好的起点来理解更多。此外，大部分代码都有大量注释，并且易于理解。
|
||
|
||
### 源代码布局
|
||
|
||
Redis根目录只包含这个readme文件、调用src目录中实际Makefile的Makefile以及Redis和Sentinel的示例配置。您可以找到一些用于运行
|
||
Redis、Redis Cluster和Redis Sentinel单元测试的shell脚本，这些测试在tests目录中实现。
|
||
|
||
根目录中有以下重要目录：
|
||
|
||
- `src`: 包含Redis实现，用C编写。
|
||
- `tests`：包含在Tcl中实现的单元测试。
|
||
- `deps`：包含Redis使用的库。编译Redis所需的一切都在这个目录中；您的系统只需要提供libc、一个与POSIX兼容的接口和一个C编
|
||
译器。值得注意的是，deps包含jemalloc的副本，这是Linux下Redis的默认分配器。请注意，在deps下，还有一些事情是从Redis项目
|
||
开始的，但是对于这些项目，主存储库不是antirez/Redis。
|
||
|
||
还有一些目录，但它们对我们的目标并不重要。我们将主要关注src，其中包含Redis实现，探索每个文件中都有什么。为了逐步揭示不同的复杂性层次，文件的公开顺序是必须遵循的逻辑顺序。
|
||
|
||
**注意**：最近Redis被重构了不少。函数名和文件名已更改，因此您可能会发现此文档更接近于不稳定分支的反映。例如，在Redis 3.0
|
||
中，server.c和server.h文件名为Redis.c和Redis.h，但总体结构是相同的。请记住，所有新的开发和拉取请求都应该针对不稳定的分支执行。
|
||
|
||
### server.h
|
||
|
||
理解程序如何工作的最简单的方法是理解它使用的数据结构。所以我们从Redis的主头文件开始，它是server.h。
|
||
|
||
所有的服务器配置和一般的共享状态都是在一个名为server的全局结构中定义的，类型为struct rediserver。该结构中的几个重要字段是：
|
||
|
||
- `server.db`：是Redis数据库的数组，其中存储数据。
|
||
- `server.commands`：是命令列表。
|
||
- `server.clients`：是连接到服务器的客户端的链接列表。
|
||
- `server.master`：是一个特殊的客户机，如果实例是副本，则是主客户机。
|
||
|
||
还有很多其他的结构。大多数字段直接在结构定义内部进行注释。
|
||
|
||
另一个重要的Redis数据结构是定义客户机的结构。过去叫redisClient，现在只叫client。结构有很多字段，这里我们只展示主要字段：
|
||
|
||
```c
|
||
struct client {
|
||
int fd;
|
||
sds querybuf;
|
||
int argc;
|
||
robj **argv;
|
||
redisDb *db;
|
||
int flags;
|
||
list *reply;
|
||
char buf[PROTO_REPLY_CHUNK_BYTES];
|
||
... many other fields ...
|
||
}
|
||
```
|
||
|
||
`client`结构定义连接的客户端：
|
||
|
||
- fd字段是客户机套接字文件描述符。
|
||
- argc和argv使用客户端正在执行的命令填充，以便实现给定Redis命令的函数可以读取参数。
|
||
- querybuf对来自客户端的请求进行累加，这些请求由Redis服务器根据Redis协议进行解析，并通过调用客户端正在执行的命令的实现来执行。
|
||
- reply和buf是动态和静态缓冲区，用于累积服务器发送给客户机的响应。一旦文件描述符可写，这些缓冲区就会以增量方式写入套接字。
|
||
|
||
正如您在上面的客户机结构中看到的，命令中的参数被描述为robj结构。下面是完整的robj结构，它定义了一个Redis对象：
|
||
|
||
```c
|
||
typedef struct redisObject {
|
||
unsigned type:4;
|
||
unsigned encoding:4;
|
||
unsigned lru:LRU_BITS; /* lru time (relative to server.lruclock) */
|
||
int refcount;
|
||
void *ptr;
|
||
} robj;
|
||
```
|
||
基本上，这个结构可以表示所有基本的Redis数据类型，如字符串、列表、集合、排序集等等。有趣的是它有一个类型字段，这样就可以
|
||
知道给定对象的类型，以及refcount，这样就可以在多个地方引用同一个对象，而无需多次分配它。最后，ptr字段指向对象的实际表示
|
||
形式，即使对于同一类型，它也可能有所不同，这取决于所使用的编码。
|
||
|
||
Redis对象在Redis内部被广泛使用，但是为了避免间接访问的开销，最近在很多地方我们只使用普通的动态字符串，而不是包装在Redis对象中。
|
||
|
||
|
||
### server.c
|
||
|
||
这是Redis服务器的入口点，在这里定义main（）函数。以下是启动Redis服务器的最重要步骤。
|
||
|
||
- `initServerConfig()`:设置服务器结构的默认值。
|
||
- `initServer()`:分配操作所需的数据结构，设置侦听套接字，等等。
|
||
- `aeMain()`:启动侦听新连接的事件循环。
|
||
|
||
事件循环定期调用两个特殊函数：
|
||
|
||
- `serverCron()`:定期调用（根据服务器.hz必须从时间和频率方面检查客户机。
|
||
- `beforeSleep()`:每次触发事件循环时都会调用，Redis为一些请求提供服务，并返回到事件循环中。
|
||
|
||
在server.c中，您可以找到处理Redis服务器其他重要事务的代码：
|
||
|
||
- `call()`:用于在给定客户端的上下文中调用给定命令。
|
||
- `activeExpireCycle()`:通过EXPIRE命令处理带有生存时间设置的密钥的设备。
|
||
- `freeMemoryIfNeeded()`:当应执行新的write命令，但根据maxmemory指令Redis内存不足时调用。
|
||
- 全局变量redisCommandTable定义所有Redis命令，指定命令的名称、实现该命令的函数、所需参数的数量以及每个命令的其他属性。
|
||
|
||
### networking.c
|
||
|
||
这个文件定义了客户端、主机和副本的所有I/O功能（在Redis中只是特殊的客户端）：
|
||
|
||
- `createClient()`：分配并初始化新客户端。
|
||
- 分配并初始化一个新的客户命令实现使用`addReply*()`系列函数，以便将数据附加到客户机结构中，这些数据将作为对执行的给定命令的应答传输到客户端。
|
||
- `writeToClient()`:将输出缓冲区中挂起的数据传输到客户端，并由可写事件处理程序`sendReplyToClient()`调用。
|
||
- `readQueryFromClient()`:是可读的事件处理程序，并将从客户端读取的数据累积到查询缓冲区。
|
||
- `processInputBuffer()`:是根据Redis协议解析客户端查询缓冲区的入口点。一旦命令准备好被处理，它就会调用在server.c中定义的processCommand（），以便实际执行该命令。
|
||
- `freeClient()`:取消分配、断开和删除客户端。
|
||
|
||
### aof.c and rdb.c
|
||
|
||
从名称中可以猜到，这些文件实现了Redis的RDB和AOF持久性。基于Redis（）的共享线程在同一个Redis线程上创建共享内存fork（）
|
||
模型。这个辅助线程将内存的内容转储到磁盘上。rdb.c使用它在磁盘上创建快照，aof.c使用它在只追加的文件太大时执行aof重写。
|
||
|
||
在aof.c中的实现有附加的函数，以便实现一个API，该API允许命令在客户端执行命令时将新命令附加到aof文件中。
|
||
|
||
在server.c中定义的call（）函数负责调用将命令写入AOF的函数。
|
||
|
||
### db.c
|
||
|
||
某些Redis命令操作特定的数据类型，其他命令是通用的。通用命令的示例有DEL和EXPIRE。它们操作的是键，而不是具体的值。所有这
|
||
些通用命令都在db.c中定义
|
||
|
||
此外，db.c实现了一个API，以便在Redis数据集上执行某些操作，而不直接访问内部数据结构。
|
||
|
||
db.c中最重要的函数在许多命令实现中使用如下：
|
||
|
||
- lookupKeyRead（）和lookupKeyWrite（）用于获取指向与给定键关联的值的指针，如果该键不存在，则为NULL。
|
||
- dbAdd（）和它的高级对应setKey（）在Redis数据库中创建一个新的键。
|
||
- dbDelete（）删除键及其关联值。
|
||
- emptyDb（）删除整个单个数据库或定义的所有数据库。
|
||
|
||
文件的其余部分实现了向客户机公开的通用命令。
|
||
|
||
### object.c
|
||
|
||
已经描述了定义Redis对象的robj结构。在object.c中有所有在基本级别操作Redis对象的函数，比如分配新对象、处理引用计数等等。
|
||
此文件中的重要功能：
|
||
|
||
- incrRefcount（）和decrefCount（）用于递增或递减对象引用计数。当它降到0时，对象最终被释放。
|
||
- createObject（）分配新对象。还有一些专门的函数来分配具有特定内容的字符串对象，如createStringObjectFromLongLong（）和类似函数。
|
||
|
||
此文件还实现OBJECT命令。
|
||
|
||
### replication.c
|
||
|
||
这是Redis中最复杂的文件之一，建议您在对其余代码库有一点熟悉之后再使用它。在这个文件中，实现了Redis的master和replica角色。
|
||
|
||
这个文件中最重要的函数之一是replicationFeedSlaves（），它向表示连接到主服务器的副本实例的客户机写入命令，以便副本可以获
|
||
得客户端执行的写入操作：这样，它们的数据集将与主服务器中的数据集保持同步。
|
||
|
||
此文件还实现SYNC和PSYNC命令，这些命令用于在主服务器和副本之间执行第一次同步，或在断开连接后继续复制。
|
||
|
||
### Other C files
|
||
|
||
- t_hash.c、t_list.c、t_set.c、t_string.c、t_zset.c和t_stream.c包含Redis数据类型的实现。它们实现一个API来访问给定的数据
|
||
类型，而客户机命令实现这些数据类型。
|
||
- ae.c实现了Redis事件循环，它是一个自包含的库，易于阅读和理解。
|
||
- sds.c是Redis字符串库，详细查看[https://github.com/antirez/sds](https://github.com/antirez/sds)。
|
||
- 与内核公开的原始接口相比，anet.c是一个以更简单的方式使用POSIX网络的库。
|
||
- dict.c是一个非阻塞哈希表的实现，它可以递增地重新计算。
|
||
- c实现Lua脚本。它完全独立于Redis实现的其余部分，并且非常简单，可以理解您是否熟悉luaapi。
|
||
- c实现Redis集群。在非常熟悉Redis代码库的其余部分之后，这可能是一个不错的只读版本。如果你想读cluster.c，一定要读[Redis cluster规范](https://redis.io/topics/cluster-spec)。
|
||
|
||
### Anatomy of a Redis command
|
||
|
||
所有Redis命令的定义方式如下：
|
||
|
||
```c
|
||
void foobarCommand(client *c) {
|
||
printf("%s",c->argv[1]->ptr); /* Do something with the argument. */
|
||
addReply(c,shared.ok); /* Reply something to the client. */
|
||
}
|
||
```
|
||
|
||
然后在命令表的server.c中引用该命令：
|
||
|
||
```c
|
||
{"foobar",foobarCommand,2,"rtF",0,NULL,0,0,0,0,0},
|
||
```
|
||
|
||
在上面的示例中，2是命令接受的参数数，而“rtF”是命令标志，如server.c中的命令表顶部注释中所述。
|
||
|
||
命令以某种方式运行后，它将一个应答返回给客户机，通常使用addReply（）或networking.c中定义的类似函数。
|
||
|
||
Redis源代码中有大量的命令实现，可以作为实际命令实现的示例。编写一些玩具命令是熟悉代码库的一个很好的练习。
|
||
|
||
还有许多其他的文件没有在这里描述，但它是没有用的涵盖一切。我们只想帮助你迈出第一步。最终，您将在Redis代码库中找到自己的方法：-）
|
||
|
||
|
||
|