big-data/redis_study
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity
15476b322a
redis_study/README.md
zeekling 15476b322a 添加build标识
2020-09-11 21:51:44 +08:00

18 KiB
Raw Blame History

Build Status

查看英文版，请查看:README.md

这个README.md知识提供快速开始的文档。其他详细信息可以查看：redis.io

什么是Redis？

Redis是一个内存结构数据库。这意味着Redis通过一组命令提供对可变数据结构的访问，这些命令是使用带有TCP套接字和简单协议的 服务器-客户机模型发送的。因此不同的进程可以以共享的方式查询和修改相同的数据结构。

Redis中实现的数据结构有几个特殊属性：

  • Redis会将数据存储在磁盘上，数据总是被服务和修改到服务器内存中。这意味着Redis速度很快，但也不是易失性的。
  • 数据结构的实现强调内存效率，因此与使用高级编程语言建模的相同数据结构相比，Redis中的数据结构可能使用更少的内存。
  • Redis提供了许多在数据库中很自然的特性，比如复制、可调的持久性级别、集群、高可用性。

另一个很好的例子是将Redis看作是memcached的一个更复杂的版本，其中的操作不仅仅是set和get，而是处理复杂数据类型（如列表、 集合、有序数据结构等）的操作。

如果您想了解更多信息，可以点击下面链接：

构建Redis

Redis可以在Linux、OSX、OpenBSD、NetBSD、FreeBSD上编译和使用。我们支持big-endian和little-endian体系结构，以及32位和64位 系统。

它可以在Solaris派生的系统（例如SmartOS）上编译，但是我们对这个平台的支持是最好的，Redis不能保证在Linux、OSX和*BSD中工作 得那么好。

编译命令

make

要使用TLS支持进行构建，您需要OpenSSL开发库（例如Debian/Ubuntu上的libssl dev）并运行：

make BUILD_TLS=yes

您可以使用以下方法运行32位Redis二进制文件:

make 32bit

在构建Redis之后，最好使用以下方法进行测试：

make test

如果构建了TLS，请在启用TLS的情况下运行测试（您需要安装tcl TLS）：

./utils/gen-test-certs.sh
./runtest --tls

修复依赖项或缓存生成选项的生成问题

Redis有一些包含在deps目录中的依赖项。即使依赖项源代码中的某些内容发生更改，make也不会自动重新生成依赖项。

使用git pull更新源代码或以任何其他方式修改依赖关系树中的代码时，请确保使用以下命令，以便真正清理所有内容并从头开始重建：

make distclean

这将清除：jemalloc，lua，hiredis，linenoise。 另外，如果强制某些生成选项，如32位目标、无C编译器优化（用于调试目的）和其他类似的生成时选项，则这些选项将被无限期缓存， 直到发出makedistclean命令。

修复生成32位二进制文件的问题

如果在用32位目标构建Redis之后需要用64位目标重新构建它，或者反过来，您需要在Redis发行版的根目录中执行make distclean。

如果在尝试构建32位的Redis二进制文件时出现构建错误，请尝试以下步骤：

  • 安装包libc6-dev-i386（也可以尝试g++-multilib）。
  • 尝试使用以下命令行 makecflags=“-m32-march=native”LDFLAGS=“-m32” 代替 make32bit

内存分配

通过设置MALLOC环境变量，可以在构建Redis时选择非默认内存分配器。Redis在默认情况下是针对libc malloc编译和链接的，但 jemalloc是Linux系统上的默认设置。之所以选择此默认值，是因为jemalloc被证明比libc malloc具有更少的碎片问题。

强制使用libc编译，请使用：

 make MALLOC=libc

强制使用jemalloc编译，请使用：

make MALLOC=jemalloc

显示详细构建信息

默认情况下，Redis将生成用户友好的彩色输出。如果要查看更详细的输出，请使用以下命令：

make V=1

运行Redis

要使用默认配置运行Redis，执行下面命令：

cd src
./redis-server

如果你想提供redis.con，您必须使用其他参数（配置文件的路径）来运行它：

cd src
./redis-server /path/to/redis.conf

通过使用命令行直接将参数作为参数传递，可以更改Redis配置。示例：

./redis-server --port 9999 --replicaof 127.0.0.1 6379
./redis-server /etc/redis/6379.conf --loglevel debug

所有redis.conf的配置参数也支持使用命令行作为参数，使用完全相同的名称。

Redis 支持TLS

请查看TLS.md文件获取有关如何将Redis与TLS一起使用的详细信息。

使用Redis

您可以使用redis cli来连接redis。启动一个redis服务器实例，然后在另一个终端上尝试以下操作：

% cd src
% ./redis-cli
redis> ping
PONG
redis> set foo bar
OK
redis> get foo
"bar"
redis> incr mycounter
(integer) 1
redis> incr mycounter
(integer) 2
redis>

您可以在中找到所有可用命令的列表:http://redis.io/commands.

安装Redis

要将Redis二进制文件安装到/usr/local/bin中，只需使用：

make install

如果要使用其他目标，可以使用make prefix=/some/other/directory install。

make install将只在系统中安装二进制文件，但不会在适当的位置配置init脚本和配置文件。如果你只想玩一点Redis，这是不需要的， 但是如果你是在一个生产系统中正确地安装它，我们有一个脚本为Ubuntu和Debian系统这样做：

cd utils
./install_server.sh

注意:install_server.sh不支持在Mac OSX上面运行，只支持Linux。

该脚本将解决您一些问题，并将设置您所需的一切，以便将Redis作为后台守护程序正常运行，该后台守护程序将在系统重新启动时 重新启动。

您可以使用名为/etc/init.d/Redis_<portnumber>的脚本来停止和启动Redis，例如/etc/init.d/Redis_6379。

代码贡献

注意： 通过以任何形式向Redis项目贡献代码，包括通过Github发送请求、通过私人电子邮件或公共讨论组发送代码片段或补丁， 您同意根据BSD许可条款发布代码，您可以在Redis源代码发行版中包含的COPYING中找到该许可证。

有关详细信息，请参阅此源发行版中的CONTRIBUTING。

Redis 内部结构

如果您正在阅读这篇自述，那么您很可能是在Github页面前面或者您刚刚解除了Redis发行tar-ball的限制。在这两种情况下，您基本上 都离源代码只有一步之遥，所以这里我们将解释Redis源代码的布局、每个文件中的基本内容、Redis服务器内部最重要的功能和结构等 等。我们将所有的讨论保持在一个高水平上，而不是深入到细节，因为这个文档将是巨大的，否则我们的代码库将不断变化，但一个总体 的想法应该是一个很好的起点来理解更多。此外，大部分代码都有大量注释，并且易于理解。

源代码布局

Redis根目录只包含这个readme文件、调用src目录中实际Makefile的Makefile以及Redis和Sentinel的示例配置。您可以找到一些用于运行 Redis、Redis Cluster和Redis Sentinel单元测试的shell脚本，这些测试在tests目录中实现。

根目录中有以下重要目录：

  • src: 包含Redis实现，用C编写。
  • tests：包含在Tcl中实现的单元测试。
  • deps：包含Redis使用的库。编译Redis所需的一切都在这个目录中；您的系统只需要提供libc、一个与POSIX兼容的接口和一个C编 译器。值得注意的是，deps包含jemalloc的副本，这是Linux下Redis的默认分配器。请注意，在deps下，还有一些事情是从Redis项目 开始的，但是对于这些项目，主存储库不是antirez/Redis。

还有一些目录，但它们对我们的目标并不重要。我们将主要关注src，其中包含Redis实现，探索每个文件中都有什么。为了逐步揭示不同的复杂性层次，文件的公开顺序是必须遵循的逻辑顺序。

注意：最近Redis被重构了不少。函数名和文件名已更改，因此您可能会发现此文档更接近于不稳定分支的反映。例如，在Redis 3.0 中，server.c和server.h文件名为Redis.c和Redis.h，但总体结构是相同的。请记住，所有新的开发和拉取请求都应该针对不稳定的分支执行。

server.h

理解程序如何工作的最简单的方法是理解它使用的数据结构。所以我们从Redis的主头文件开始，它是server.h。

所有的服务器配置和一般的共享状态都是在一个名为server的全局结构中定义的，类型为struct rediserver。该结构中的几个重要字段是：

  • server.db：是Redis数据库的数组，其中存储数据。
  • server.commands：是命令列表。
  • server.clients：是连接到服务器的客户端的链接列表。
  • server.master：是一个特殊的客户机，如果实例是副本，则是主客户机。

还有很多其他的结构。大多数字段直接在结构定义内部进行注释。

另一个重要的Redis数据结构是定义客户机的结构。过去叫redisClient，现在只叫client。结构有很多字段，这里我们只展示主要字段：

struct client {
    int fd;
    sds querybuf;
    int argc;
    robj **argv;
    redisDb *db;
    int flags;
    list *reply;
    char buf[PROTO_REPLY_CHUNK_BYTES];
    ... many other fields ...
}

client结构定义连接的客户端：

  • fd字段是客户机套接字文件描述符。
  • argc和argv使用客户端正在执行的命令填充，以便实现给定Redis命令的函数可以读取参数。
  • querybuf对来自客户端的请求进行累加，这些请求由Redis服务器根据Redis协议进行解析，并通过调用客户端正在执行的命令的实现来执行。
  • reply和buf是动态和静态缓冲区，用于累积服务器发送给客户机的响应。一旦文件描述符可写，这些缓冲区就会以增量方式写入套接字。

正如您在上面的客户机结构中看到的，命令中的参数被描述为robj结构。下面是完整的robj结构，它定义了一个Redis对象：

typedef struct redisObject {
    unsigned type:4;
    unsigned encoding:4;
    unsigned lru:LRU_BITS; /* lru time (relative to server.lruclock) */
    int refcount;
    void *ptr;
} robj;

基本上，这个结构可以表示所有基本的Redis数据类型，如字符串、列表、集合、排序集等等。有趣的是它有一个类型字段，这样就可以 知道给定对象的类型，以及refcount，这样就可以在多个地方引用同一个对象，而无需多次分配它。最后，ptr字段指向对象的实际表示 形式，即使对于同一类型，它也可能有所不同，这取决于所使用的编码。

Redis对象在Redis内部被广泛使用，但是为了避免间接访问的开销，最近在很多地方我们只使用普通的动态字符串，而不是包装在Redis对象中。

server.c

这是Redis服务器的入口点，在这里定义main（）函数。以下是启动Redis服务器的最重要步骤。

  • initServerConfig():设置服务器结构的默认值。
  • initServer():分配操作所需的数据结构，设置侦听套接字，等等。
  • aeMain():启动侦听新连接的事件循环。

事件循环定期调用两个特殊函数：

  • serverCron():定期调用（根据服务器.hz必须从时间和频率方面检查客户机。
  • beforeSleep():每次触发事件循环时都会调用，Redis为一些请求提供服务，并返回到事件循环中。

在server.c中，您可以找到处理Redis服务器其他重要事务的代码：

  • call():用于在给定客户端的上下文中调用给定命令。
  • activeExpireCycle():通过EXPIRE命令处理带有生存时间设置的密钥的设备。
  • freeMemoryIfNeeded():当应执行新的write命令，但根据maxmemory指令Redis内存不足时调用。
  • 全局变量redisCommandTable定义所有Redis命令，指定命令的名称、实现该命令的函数、所需参数的数量以及每个命令的其他属性。

networking.c

这个文件定义了客户端、主机和副本的所有I/O功能（在Redis中只是特殊的客户端）：

  • createClient()：分配并初始化新客户端。
  • 分配并初始化一个新的客户命令实现使用addReply*()系列函数，以便将数据附加到客户机结构中，这些数据将作为对执行的给定命令的应答传输到客户端。
  • writeToClient():将输出缓冲区中挂起的数据传输到客户端，并由可写事件处理程序sendReplyToClient()调用。
  • readQueryFromClient():是可读的事件处理程序，并将从客户端读取的数据累积到查询缓冲区。
  • processInputBuffer():是根据Redis协议解析客户端查询缓冲区的入口点。一旦命令准备好被处理，它就会调用在server.c中定义的processCommand（），以便实际执行该命令。
  • freeClient():取消分配、断开和删除客户端。

aof.c and rdb.c

从名称中可以猜到，这些文件实现了Redis的RDB和AOF持久性。基于Redis（）的共享线程在同一个Redis线程上创建共享内存fork（） 模型。这个辅助线程将内存的内容转储到磁盘上。rdb.c使用它在磁盘上创建快照，aof.c使用它在只追加的文件太大时执行aof重写。

在aof.c中的实现有附加的函数，以便实现一个API，该API允许命令在客户端执行命令时将新命令附加到aof文件中。

在server.c中定义的call（）函数负责调用将命令写入AOF的函数。

db.c

某些Redis命令操作特定的数据类型，其他命令是通用的。通用命令的示例有DEL和EXPIRE。它们操作的是键，而不是具体的值。所有这 些通用命令都在db.c中定义

此外，db.c实现了一个API，以便在Redis数据集上执行某些操作，而不直接访问内部数据结构。

db.c中最重要的函数在许多命令实现中使用如下：

  • lookupKeyRead（）和lookupKeyWrite（）用于获取指向与给定键关联的值的指针，如果该键不存在，则为NULL。
  • dbAdd（）和它的高级对应setKey（）在Redis数据库中创建一个新的键。
  • dbDelete（）删除键及其关联值。
  • emptyDb（）删除整个单个数据库或定义的所有数据库。

文件的其余部分实现了向客户机公开的通用命令。

object.c

已经描述了定义Redis对象的robj结构。在object.c中有所有在基本级别操作Redis对象的函数，比如分配新对象、处理引用计数等等。 此文件中的重要功能：

  • incrRefcount（）和decrefCount（）用于递增或递减对象引用计数。当它降到0时，对象最终被释放。
  • createObject（）分配新对象。还有一些专门的函数来分配具有特定内容的字符串对象，如createStringObjectFromLongLong（）和类似函数。

此文件还实现OBJECT命令。

replication.c

这是Redis中最复杂的文件之一，建议您在对其余代码库有一点熟悉之后再使用它。在这个文件中，实现了Redis的master和replica角色。

这个文件中最重要的函数之一是replicationFeedSlaves（），它向表示连接到主服务器的副本实例的客户机写入命令，以便副本可以获 得客户端执行的写入操作：这样，它们的数据集将与主服务器中的数据集保持同步。

此文件还实现SYNC和PSYNC命令，这些命令用于在主服务器和副本之间执行第一次同步，或在断开连接后继续复制。

Other C files

  • t_hash.c、t_list.c、t_set.c、t_string.c、t_zset.c和t_stream.c包含Redis数据类型的实现。它们实现一个API来访问给定的数据 类型，而客户机命令实现这些数据类型。
  • ae.c实现了Redis事件循环，它是一个自包含的库，易于阅读和理解。
  • sds.c是Redis字符串库，详细查看https://github.com/antirez/sds。
  • 与内核公开的原始接口相比，anet.c是一个以更简单的方式使用POSIX网络的库。
  • dict.c是一个非阻塞哈希表的实现，它可以递增地重新计算。
  • c实现Lua脚本。它完全独立于Redis实现的其余部分，并且非常简单，可以理解您是否熟悉luaapi。
  • c实现Redis集群。在非常熟悉Redis代码库的其余部分之后，这可能是一个不错的只读版本。如果你想读cluster.c，一定要读Redis cluster规范。

Anatomy of a Redis command

所有Redis命令的定义方式如下：

void foobarCommand(client *c) {
    printf("%s",c->argv[1]->ptr); /* Do something with the argument. */
    addReply(c,shared.ok); /* Reply something to the client. */
}

然后在命令表的server.c中引用该命令：

{"foobar",foobarCommand,2,"rtF",0,NULL,0,0,0,0,0},

在上面的示例中，2是命令接受的参数数，而“rtF”是命令标志，如server.c中的命令表顶部注释中所述。

命令以某种方式运行后，它将一个应答返回给客户机，通常使用addReply（）或networking.c中定义的类似函数。

Redis源代码中有大量的命令实现，可以作为实际命令实现的示例。编写一些玩具命令是熟悉代码库的一个很好的练习。

还有许多其他的文件没有在这里描述，但它是没有用的涵盖一切。我们只想帮助你迈出第一步。最终，您将在Redis代码库中找到自己的方法：-）