Citus 里头 PostgreSQL 集群怎么处理查询，SQL 参考和分布式细节讲解

Citus是一个PostgreSQL的扩展,它将一个PostgreSQL数据库转变为一个分布式数据库，它的核心思想是“分片”，也就是把一张大表的数据，按照你选择的列（叫做分布列）打散，然后水平分割成多个小表，这些小表叫做分片，这些分片被分配到集群中多个不同的PostgreSQL服务器（称为工作节点）上，而一个特殊的节点，叫做协调节点，负责接收你的SQL查询，并协调所有工作节点一起完成查询任务。

查询如何处理

当你在Citus集群的协调节点上执行一条SQL查询时,协调节点并不会直接处理数据，而是扮演一个“大脑”和“调度中心”的角色，它的处理过程可以概括为以下几个步骤：

1. 解析与规划：协调节点首先像普通的PostgreSQL一样，解析你的SQL语句，生成一个初始的查询计划。
2. 查询路由：这是最关键的一步，协调节点会根据查询中涉及的分布列的值，判断这个查询应该发送到哪些工作节点上。
   • 情形A：需要所有节点参与（多分片查询），如果你的查询不包含分布列的过滤条件，或者需要进行跨分片的连接（JOIN）、聚合（如SUM、COUNT）等操作，协调节点会认为需要所有相关分片的数据，它会将查询（或经过改写的查询片段）并行地发送给所有包含相关表分片的工作节点。SELECT COUNT(*) FROM orders; 这个查询要统计所有订单数，而订单表被分片了，那么协调节点就会向所有存有订单分片的节点发送COUNT(*)的指令。
   • 情形B：只需特定节点参与（单分片查询），如果你的查询条件中明确指定了分布列的值，协调节点就能精确地计算出这个值对应的数据在哪个分片上，进而只将查询发送给持有该分片的那一个工作节点，这被称为“单分片查询”，效率极高。SELECT * FROM orders WHERE user_id = 123;，如果user_id是分布列，协调节点通过哈希算法就能知道user_id=123的数据在（工作节点1上，那么查询只会发给节点1。
3. 并行执行：工作节点收到协调节点发来的查询任务后，在自己本地的PostgreSQL实例上独立执行这个查询片段，它们不知道也无需知道其他节点的存在，只负责处理自己分片上的数据。
4. 结果汇总：各个工作节点将各自的查询结果返回给协调节点。
5. 最终结果返回：协调节点接收所有工作节点返回的中间结果，进行必要的最终聚合或排序（如果之前是分布式聚合，可能还需要最后一步汇总），然后将最终结果返回给客户端。

这个过程的详细说明可以参考Citus官方文档中“查询处理流程”或“分布式查询规划器”相关章节。

SQL参考与分布式细节

使用Citus时,大部分标准的PostgreSQL SQL语法都是支持的，但你需要对分布式特性有一些了解。

1. 分布列的选择：这是最重要的决策，你应该选择那些在查询中经常作为过滤条件（WHERE子句）的列作为分布列，比如用户ID、租户ID等，这能最大化单分片查询的比例，提升性能，要尽量避免数据倾斜，即确保数据能相对均匀地分布到各个节点，官方文档的“表分布与分片”部分对此有深入讨论。
2. 共置：这是Citus的一个核心概念，如果两张表使用相同类型的分布列，并且分片数量相同，Citus可以保证具有相同分布列值的行会被存储到相同的工作节点上，这意味着当这两张表进行JOIN时，可以在每个工作节点本地完成，而无需在节点间跨网络传输大量数据，这被称为“共置连接”，性能非常好。orders表和users表都以user_id作为分布列且分片数一致，那么SELECT * FROM orders JOIN users USING (user_id)这个查询就能高效执行，这个概念在文档的“表共置”章节有定义。
3. 引用表：对于一些数据量不大但需要频繁与大数据表进行JOIN的小表（比如国家编码表、产品类别表），你可以将其设置为“引用表”，Citus会将引用表的完整副本同步到每个工作节点上，这样，任何与引用表的JOIN都可以在本地完成，避免了跨节点网络开销，这在文档的“引用表”部分有专门说明。
4. 分布式事务：Citus通过两阶段提交来支持跨多个工作节点的分布式事务，保证了ACID特性，这意味着你的BEGIN、COMMIT、ROLLBACK在分布式环境下依然有效，具体机制可查阅“分布式事务”相关文档。
5. 聚合查询优化：对于COUNT(DISTINCT), PERCENTILE等复杂聚合，Citus提供了诸如citus.count_distinct_error_rate等配置参数，允许你在精确度和性能之间进行权衡，有时会使用近似算法来大幅提升速度，这些高级聚合的用法在文档的“高级聚合”部分有描述。
6. 函数和存储过程：自定义函数和存储过程在Citus中的行为取决于它们是否访问分布式表，协调节点会尝试将函数调用下推到工作节点，如果函数内部包含了需要跨分片协调的SQL，则可能无法下推或在协调节点上执行，具体限制可以参考“用户自定义函数”章节。

Citus通过将数据分片并分布式存储,巧妙地将复杂的分布式查询分解为多个可在工作节点上并行执行的简单查询，理解分布列、共置和查询路由是高效使用Citus的关键，虽然它增加了分布式系统的复杂性，但通过遵循其最佳实践（如合理选择分布列、利用共置），你可以让应用程序在几乎无需修改SQL的情况下，获得接近线性的水平扩展能力，以上提及的所有功能和细节，均可在Citus官方文档的相应章节找到更权威和详细的参考说明。