开源psql_bm25s，让PostgreSQL多智能体检索提速23倍

在构建多智能体生产级系统时，PostgreSQL虽可靠但检索速度不足。团队为此开发并开源了psql_bm25s，这是一个原生PostgreSQL访问方法，实现了精确的BM25检索。其在标准基准测试中比pg_search快约23倍，使得检索不再成为性能瓶颈和成本负担，智能体得以高效查询数据，为大规模自主智能体应用铺平道路。

开源项目psql_bm25s通过原生BM25检索实现23倍性能提升，解决多智能体系统中的检索瓶颈。

• psql_bm25s开源，原生BM25检索比pg_search快23倍。
• 解决多智能体系统中PostgreSQL检索性能瓶颈。
• 无需额外组件，直接集成数据库内实现精确BM25。
• 降低大规模自主智能体应用的成本和延迟。
• 早期版本，需评估生产环境兼容性。

这是什么信号

psql_bm25s的开源标志着PostgreSQL生态在全文检索领域的一次显著突破。该项目用原生方法实现BM25算法，绕开了传统基于扩展或外部插件的性能损失。23倍速度提升意味着检索从瓶颈变为优势，尤其对多智能体系统这类需要高并发查询的场景，影响深远。

为什么重要

多智能体系统依赖智能体间的频繁通信和数据查询，检索效率直接决定系统响应速度和成本。PostgreSQL虽是企业级关系数据库的首选，但其内置全文搜索（如pg_search）对非向量化、基于词频的BM25支持不足。psql_bm25s填补了这一空白，让开发者无需迁移数据或引入额外组件即可获得专业级检索能力。

对谁有价值

• AI应用开发者：构建基于PostgreSQL的多智能体系统时，可直接集成psql_bm25s提升性能。
• 数据库管理员：可优化现有PostgreSQL实例的搜索负载，降低硬件成本。
• 研究机构：关注BM25在非结构化数据上的效果，该实现可作为基准测试参考。

可以怎么行动

• 在PostgreSQL 16+环境中尝试编译安装psql_bm25s，对比现有搜索方案的性能差异。
• 对于已有的多智能体项目，将检索模块切换至psql_bm25s，观察延迟和吞吐量变化。
• 关注项目后续更新，评估其生产环境稳定性。

风险或限制

• 该实现尚处早期阶段，可能缺乏完整的错误处理和边缘情况覆盖。
• BM25算法仅适用于基于词频的检索，不适用于语义搜索或嵌入向量场景。
• 性能提升依赖特定基准测试，实际环境效果可能因数据分布和查询模式而异。
• 需要PostgreSQL内核级别的修改，升级时可能遇到兼容性问题。

信息差价值：多数开发者认为PostgreSQL不擅长全文检索，需依赖Elasticsearch等外部系统。psql_bm25s证明了在数据库内部即可实现数倍于常用插件的性能，这颠覆了“分而治之”的架构惯性，为简化技术栈提供了新可能。

业务启发：对于内容管理、知识库搜索等依赖BM25的业务场景，可考虑将搜索逻辑回归到PostgreSQL层，减少数据冗余和同步成本。若能将非结构化数据检索与ACID事务结合，将提升数据一致性保障。另外，该方案天然适合需要事务性写入+实时检索的智能客服、实时推荐等场景。

可沉淀动作：1. 在局部分支测试psql_bm25s，对比当前搜索方案的QPS和延迟，输出性能报告。2. 若效果达标，将检索模块封装为内部工具组件，供不同团队复用。3. 持续追踪项目提交动态，参与社区讨论以获取早期兼容性信息。

• @EMostaque 原帖