Redis流水线技术到底怎么用，提升技术水平其实没那么难，只是要懂点门道

说到Redis，很多人都知道它快，但有时候我们还是会觉得不够快，尤其是在需要连续执行很多命令的时候，每次命令都来回通信，就像你让一个小伙计来回跑腿，一次只拿一件东西，效率自然高不起来，这时候，就得请出我们今天要聊的“流水线”技术了，这技术听起来好像很高深，但其实理解起来并不难，关键是要懂里面的门道。（此部分思路参考了众多技术博客关于Redis性能瓶颈的普遍讨论）

我们得明白为什么需要流水线。

Redis之所以快，一个重要原因是它是基于内存的，但别忘了，它的客户端和服务端是通过网络通信的，即使网络再好，每次命令传输也都有时间成本，这个成本在技术上叫做“网络往返时间”（RTT），一个命令从客户端发到Redis服务器，服务器执行完再把结果返回给你，这个来回过程可能只需要1毫秒,看起来很快对吧？

但如果你要执行1000个简单的命令，比如给1000个不同的键设置值，那么这1000次来回通信加起来，就是1000毫秒，也就是1秒钟了，这1秒钟里，大部分时间其实都花在了网络传输上，而不是Redis服务器真正处理命令的时间，这就好比那个小伙计，他跑步的速度是固定的（网络延迟），你让他跑1000趟，大部分时间都消耗在路上。（此比喻灵感来源于《Redis设计与实现》中对网络延迟的阐述）

流水线技术到底是怎么解决这个问题的呢？

它的核心思想特别直接：“化零为整”，你不是要发1000个命令吗？别一个个发了，咱们把这1000个命令先在家里（客户端）全部准备好，然后打包成一个“大包裹”，一次性让小伙计送到Redis服务器那边，Redis服务器收到这个“大包裹”后，也不急着一个个回复，它会非常高效地按顺序拆开包裹，逐个执行里面的所有命令，等所有命令都执行完了，再把所有结果打包成一个“大包裹”,一次性返回给客户端。

这样一来，无论你是发1个命令还是1000个命令，网络通信的来回次数都只有一次！原来需要1000次RTT的时间，现在可能只需要1次RTT加上Redis服务器处理1000个命令的时间，性能的提升是指数级的，尤其是在命令数量非常多的时候，效果极其明显。（此工作原理描述综合了Redis官方文档和多位工程师的实践分享）

懂了道理，那具体该怎么用呢？

几乎所有的Redis客户端都支持流水线操作，用法上大同小异，它通常不是一种新的命令，而是一种使用模式，下面我举个抽象一点的例子,你就能明白了：

• 没有用流水线的情况（普通模式）：

  

  • 客户端：发送命令1 -> 等待 -> 收到结果1
  • 客户端：发送命令2 -> 等待 -> 收到结果2
  • 客户端：发送命令3 -> 等待 -> 收到结果3

• 使用流水线的情况（管道模式）：

  • 客户端：开始记录命令（开启管道）
  • 客户端：将命令1加入队列（但不立即发送）
  • 客户端：将命令2加入队列
  • 客户端：将命令3加入队列
  • 客户端：一次性将所有队列中的命令（比如1000个）发送给Redis服务器。
  • Redis服务器：依次执行所有命令。
  • Redis服务器：一次性将所有命令的执行结果返回给客户端。
  • 客户端：按顺序从返回的“大包裹”中取出每个命令对应的结果。

在Python的redis-py库中，你可能会用一个pipeline对象；在Java的Jedis库中，也有类似的方法，你根本不需要去操心底层网络包是怎么组装的，客户端库已经帮你把这些脏活累活都干完了。（此用法示例基于对主流Redis客户端库用法的归纳）

聊聊使用流水线需要注意的“门道”

技术好用，但不能乱用,提升技术水平的关键就在于知道技术的边界和注意事项。

1. 流水线里装的命令不能有依赖性：因为Redis服务器是连续、一次性执行所有命令的，在执行过程中，它不会边执行边把某个命令的结果返回给你，让你根据这个结果再决定下一个命令是什么，如果你的命令B依赖于命令A的执行结果，那它们就不能放在同一个流水线里,流水线适合的是那些相互独立的批量操作。
2. 注意流水线“包裹”的大小：虽然一次性发很多命令很爽，但你也不能无限制地往流水线里塞命令，如果这个“包裹”太大，可能会长时间占用Redis服务器的资源，导致其他客户端的请求被阻塞，客户端在组装超大包裹和解析超大响应时，也会消耗大量内存，一般会建议将一个流水线中的命令数量控制在一个合理的范围内，比如每批几千到一万个，具体多少需要根据你的数据和网络情况测试决定。（此注意事项是Redis社区的最佳实践共识）
3. 它和事务（Multi）不是一回事：有些人容易把流水线和Redis的事务命令MULTI/EXEC搞混，事务是保证一系列命令的原子性执行（要么都成功，要么都失败），但它并不一定能减少网络往返次数，你可以把流水线和事务结合使用，即在pipeline中发送MULTI，然后一堆命令，再发送EXEC，这样既能保证原子性,又能减少网络开销。

Redis流水线技术是一个非常实用且不复杂的性能优化手段，它的门道就在于理解其“批量打包、减少往返”的核心思想，并在使用时注意命令的独立性和批量的大小，当你需要处理大量非关联性的Redis操作时，大胆地用上它，你会发现性能提升立竿见影，掌握这种能直接带来效果的技术,提升技术水平真的没那么难。