检索增强生成（RAG）已成为一种强大的技术，用于增强大型语言模型的能力。

RAG框架结合了基于检索的系统的优点和生成模型的优点，能够提供更准确、更具上下文意识且更及时的响应。随着对复杂AI解决方案的需求不断增长，GitHub上出现了许多开源的RAG框架，每个框架都提供了独特的功能和能力。

RAG 框架是干什么的？

RAG Workflow Oversimplifed

检索增强生成（RAG）是一种人工智能框架，通过整合外部知识源来增强大型语言模型（LLMs）的能力。

RAG通过从知识库中检索相关信息，并将其用于增强LLM的输入，从而使模型能够生成更准确、更及时且更具上下文相关性的响应。

这种方法有助于克服诸如知识截止日期等限制，并降低LLM输出中出现幻觉的风险。

为什么我不能直接使用 LangChain?

虽然LangChain是构建大型语言模型（LLM）应用的强大工具，但它不是RAG的直接替代品。相反，LangChain可以用来实现RAG系统。以下是为什么你可能需要在LangChain之外使用RAG的原因：

• 外部知识：RAG允许你整合特定领域或最新的信息，这些信息可能不在LLM的训练数据中.

• 提高准确性：通过将响应基于检索到的信息，RAG可以显著减少错误和幻觉.

• 定制化：RAG使你能够根据特定的数据集或知识库定制响应，这对于许多商业应用至关重要.

• 透明度：RAG使追溯生成响应所使用的信息来源变得更加容易，提高了可审计性.

总之，虽然LangChain提供了构建LLM应用的工具和抽象，但RAG是一种可以使用LangChain实现的特定技术，以提高LLM输出的质量和可靠性。

10 个顶级的 RAG 框架

在这篇文章中，我们将探讨目前GitHub上可用的十大RAG框架。这些框架代表了RAG技术的前沿，值得开发者、研究人员和希望实现或改进其人工智能驱动应用的组织进行探索.

1. Haystack by deepset-ai

GitHub Stars: 18.5k stars

RAG Framework: Haystack by deepset-ai

Haystack是一个强大且灵活的框架，用于构建端到端的问答和搜索系统。它提供了一个模块化架构，使开发者能够轻松创建用于各种自然语言处理任务的管道，包括文档检索、问答和总结。Haystack的关键特性包括：

• 支持多种文档存储（Elasticsearch、FAISS、SQL等）

• 与流行的语言模型集成（BERT、RoBERTa、DPR等）

• 可扩展架构，用于处理大量文档

• 易于使用的API，用于构建自定义的NLP管道

Haystack的多功能性和详尽的文档使其成为初学者和经验丰富的开发者在实现RAG系统时的绝佳选择。

网址：https://github.com/deepset-ai/haystack

2. RAGFlow by infiniflow

GitHub Stars: 27.3k

RAG Framework: RAGFlow by infiniflow

RAGFlow是RAG框架领域相对较新的参与者，但由于其注重简单性和效率，迅速获得了关注。该框架旨在通过提供一组预构建的组件和工作流来简化构建基于RAG的应用程序的过程。RAGFlow的显著特点包括：

• 直观的工作流设计界面

• 针对常见用例的预配置RAG管道

• 与流行的向量数据库集成

• 支持自定义嵌入模型

RAGFlow的用户友好方法使其成为希望快速原型设计和部署RAG应用程序的开发者的有吸引力的选择，而无需深入研究底层复杂性。

网址：https://github.com/infiniflow/ragflow

3. txtai by neuml

GitHub Stars: 9.9k

RAG Framework: txtai by neuml

txtai是一个多功能的AI驱动的数据平台，超越了传统的RAG框架。它提供了一套全面的工具，用于构建语义搜索、语言模型工作流和文档处理管道。txtai的关键功能包括：

• 用于高效相似性搜索的嵌入数据库

• 用于集成语言模型和其他AI服务的API

• 可扩展的架构，用于自定义工作流

• 支持多种语言和数据类型

txtai的全方位方法使其成为希望在单一框架内实现广泛AI驱动功能的组织的绝佳选择。

网址：https://github.com/neuml/txtai

4. STORM by stanford-oval

GitHub Stars: 18.4k Stars

STORM by stanford-oval

STORM（斯坦福开源RAG模型）是由斯坦福大学开发的一个研究导向的RAG框架。虽然与其他一些框架相比，它的星标数量可能较少，但其学术背景和对尖端技术的关注使其成为对RAG技术最新进展感兴趣的科研人员和开发者的一项宝贵资源。STORM的显著方面包括：

• 实现新颖的RAG算法和技术

• 专注于提高检索机制的准确性和效率

• 与最先进的语言模型集成

• 详尽的文档和研究论文

对于那些希望探索RAG技术前沿的人来说，STORM提供了一个由学术严谨性支持的坚实基础。

网址：https://github.com/stanford-oval/storm

5. LLM-App by pathwaycom

GitHub Stars: 11.4K

LLM-App by pathwaycom

LLM-App是一套用于构建动态RAG应用的模板和工具集合。它以实时数据同步和容器化部署为重点而脱颖而出。LLM-App的关键特性包括：

• 准备就绪的Docker容器，用于快速部署

• 支持动态数据源和实时更新

• 与流行的LLM和向量数据库集成

• 可定制模板，适用于各种RAG用例

LLM-App对运营方面和实时能力的重视，使其成为希望部署生产就绪的RAG系统的组织的有吸引力的选择。

网址：https://github.com/pathwaycom/llm-app

6. Cognita by truefoundry

GitHub Stars: 3.5k stars

Cognita by truefoundry

Cognita是RAG框架领域的新参与者，专注于提供一个用于构建和部署AI应用的统一平台。虽然与一些其他框架相比，它的星标数量较少，但其全面的方法和对MLOps原则的重视使其值得考虑。Cognita的显著特点包括：

• 端到端的RAG应用开发平台

• 与流行的机器学习框架和工具集成

• 内置的监控和可观测性功能

• 支持模型版本控制和实验跟踪

Cognita对AI应用开发的全面方法使其成为希望简化整个机器学习生命周期的组织的有吸引力的选择。

网址：https://github.com/truefoundry/cognita

7. R2R by SciPhi-AI

GitHub Stars: 4.3k stars

R2R by SciPhi-AI

R2R（检索到检索）是一个专门的RAG框架，专注于通过迭代改进来提升检索过程。虽然它的星标数量较少，但其在检索方面的创新方法使其成为一个值得关注的框架。R2R的关键方面包括：

• 实现新颖的检索算法

• 支持多步检索过程

• 与各种嵌入模型和向量存储集成

• 用于分析和可视化检索性能的工具

对于希望推动检索技术边界的开发者和研究人员，R2R提供了一套独特且强大的工具。

网址：https://github.com/SciPhi-AI/R2R

8. Neurite by satellitecomponent

GitHub Stars: 1.3k stars

Neurite by satellitecomponent

Neurite是一个新兴的RAG框架，旨在简化构建AI驱动应用的过程。虽然与一些其他框架相比，它的用户基础较小，但其对开发者体验和快速原型设计的关注使其值得探索。Neurite的显著特点包括：

• 直观的API用于构建RAG管道

• 支持多种数据源和嵌入模型

• 内置的缓存和优化机制

• 可扩展的架构，用于自定义组件

Neurite对简单性和灵活性的重视使其成为希望快速在应用中实现RAG功能的开发者的有吸引力的选择。

网址：https://github.com/satellitecomponent/Neurite

9. FlashRAG by RUC-NLPIR

GitHub Stars: 1.6k Stars

FlashRAG by RUC-NLPIR

FlashRAG是由中国人民大学自然语言处理与信息检索实验室开发的一个轻量级且高效的RAG框架。虽然它的星标数量较少，但其对性能和效率的关注使其成为一个值得关注的竞争对手。FlashRAG的关键方面包括：

• 优化的检索算法以提高速度

• 支持分布式处理和扩展

• 与流行的语言模型和向量存储集成

• 用于基准测试和性能分析的工具

对于速度和效率至关重要的应用，FlashRAG提供了一套专门的工具和优化。

网址：https://github.com/RUC-NLPIR/FlashRAG

10. Canopy by pinecone-io

GitHub Stars: 991

Canopy是由Pinecone公司开发的RAG框架，Pinecone以其向量数据库技术而闻名。Canopy利用Pinecone在高效向量搜索方面的专业知识，提供了一个强大且可扩展的RAG解决方案。Canopy的显著特点包括：

• 与Pinecone向量数据库的紧密集成

• 支持流式传输和实时更新

• 高级查询处理和重排能力

• 用于管理和版本控制知识库的工具

Canopy对可扩展性的关注以及与Pinecone生态系统的集成，使其成为已经在使用或考虑使用Pinecone进行向量搜索需求的组织的绝佳选择。

网址：https://github.com/pinecone-io/canopy （此项目已归档，不再更新）

特别推荐

PingCAP/autoflow 是一个基于图RAG和对话式知识库工具，使用TiDB Serverless向量存储构建而成。

网址：https://github.com/pingcap/autoflow

在线演示：https://tidb.ai/

Conclusion

RAG框架的世界是多样且快速发展的，我们探索的这十个框架各自具有独特的优势和功能。从全面且成熟的Haystack到新兴的专业框架如FlashRAG和R2R，总有一款解决方案能够满足广泛的需要和用例。在选择RAG框架时，应考虑以下因素：

• 项目的具体要求

• 需要的定制化和灵活性程度

• 框架的可扩展性和性能特征

• 框架周围社区的规模和活跃度

• 可用的文档和支持的质量

通过仔细评估这些因素并尝试不同的框架，你可以找到最适合你需求的RAG解决方案，帮助你构建更智能、更具上下文意识的AI应用。随着人工智能领域的不断发展，我们可以期待这些框架的演变和新框架的出现。对于希望在其应用和服务中利用AI力量的开发者和组织来说，了解RAG技术的最新发展将至关重要。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓