前面很多期介绍了密集文档场景的RAG方法，今天来看看大量表格场景的RAG怎么做的。

现有结合大模型的方法通常需要将整个表格作为输入，这会导致一些挑战，比如位置偏差、上下文长度限制等，尤其是在处理大型表格时。为了解决这些问题，文章提出了TableRAG框架，该框架利用查询扩展结合模式和单元格检索，以在向LLM提供信息之前精确定位关键信息。这种方法能够更高效地编码数据和精确检索，显著减少提示长度并减轻信息丢失。

表提示技术在LLM中的应用比较

(a) Read Table

语言模型读取整个表格。这是最直接的方法，但往往不可行，因为大型表格会超出模型的处理能力。阴影区域表示提供给语言模型的数据，包括所有行和列。对于大型表格，这种方法不现实，因为会超过模型的令牌限制。

(b) Read Schema

语言模型只读取表格的模式（schema），即列名和数据类型。只包含列名和数据类型的信息，不包含表格内容的具体信息。这种方法会导致表格内容的信息丢失。

© Row-Column Retrieval

对行和列进行编码，然后根据它们与问题的相似性进行选择。只有行和列的交集被呈现给语言模型。 编码后，基于与问题的相关性选择行和列。 对于大型表格，编码所有行和列仍然不可行。

(d) Schema-Cell Retrieval (Ours)

编码列名和单元格，并根据它们与语言模型生成的关于问题查询的相关性进行检索。只有检索到的模式和单元格提供给语言模型。 包括检索到的列名和单元格值。 提高了编码和推理的效率。

(e) Retrieval Performance on ArcadeQA

展示了在 ArcadeQA 数据集上不同方法的检索结果。TableRAG 在列和单元格检索方面都优于其他方法，从而提高了后续表格推理过程的性能。

方法

TableRAG Example

核心思想是结合模式检索和单元格检索，获得解决问题的必要信息，通过程序辅助的LLM。实际上，没必要将整个表格给LLM。相反，关键信息通常位于与问题直接相关的特定列名、数据类型和单元格值中。例如，考虑一个问题“钱包的平均价格是多少？”为了解决这个问题，程序可能只需要提取与“钱包”相关的行，然后从价格列计算平均值。仅知道相关列名以及表中“钱包”的表示方式就足以编写程序。因此，TableRAG解决了RAG的上下文长度限制。

TableRAG流程图：表格被用来构建Schema和单元格数据库。然后通过LLM将问题扩展成多个模式和单元格查询。这些查询依次用于Schema检索和列-单元格对。每个查询的前K个候选项被组合起来，输入到LLM求解器的提示中以回答问题。

TableRAG核心组件

• Tabular Query Expansion(表格查询扩展)

  为了有效地操作表格，关键是要精确地找出查询所需的列名和单元格值。与之前的方法不同，TableRAG 不仅使用问题本身作为单一查询，而是为模式和单元格值生成单独的查询。例如，对于问题 “What is the average price for wallets?”，模型被提示生成针对列名（如 “product” 和 “price”）以及相关单元格值（如 “wallet”）的潜在查询。然后，这些查询被用来从表格中检索相关的模式和单元格值。

• Schema Retrieval(Schema检索)

  在生成查询后，Schema检索会使用预训练的编码器 fenc 来获取相关的列名。编码器将查询与编码的列名进行匹配，以确定相关性。检索到的模式数据包括列名、数据类型和示例值。对于被识别为数值或日期时间类型的列，会显示最小值和最大值作为示例值；对于分类列，会展示三个最常见的类别作为示例值。通过这种方式，检索到的模式为表格的格式和内容提供了结构化的概览，这将用于更有针对性的数据提取。

  相关prompt如下:

  ========================================= Prompt =========================================   Given a large table regarding "amazon seller order status prediction orders data", I want   to answer a question: "What is the average price for leather wallets?"   Since I cannot view the table directly, please suggest some column names that might contain   the necessary data to answer this question.   Please answer with a list of column names in JSON format without any additional explanation   .   Example:   ["column1", "column2", "column3"]   ======================================= Completion =======================================   ["product_name", "category", "price"]   
  

• Cell Retrieval（单元格检索）

  在Schema检索之后，进行单元格检索以提取回答查询所需的特定单元格值。这涉及到构建一个由表格 T 中的不同列-值对组成的数据库，表示为 $ V = {(C_j, v_{ij})} $，其中 $ C_j $ 是第 $ j $ 列的列名。在实践中，不同值的数量通常远小于单元格的总数，这显著提高了单元格检索的效率。

  单元格检索在 TableRAG 中起着至关重要的作用：

  相关prompt如下：

  ========================================= Prompt =========================================   Given a large table regarding "amazon seller order status prediction orders data", I want   to answer a question: "What is the average price for leather wallets?"   Please extract some keywords which might appear in the table cells and help answer the   question.   The keywords should be categorical values rather than numerical values.   The keywords should be contained in the question.   Please answer with a list of keywords in JSON format without any additional explanation.   Example:   ["keyword1", "keyword2", "keyword3"]   ======================================= Completion =======================================   ["leather wallets", "average price", "amazon seller", "order status prediction", "orders   data"]   
  

1. 单元格识别：它允许语言模型准确地检测表格中特定关键词的存在，这对于有效的索引至关重要。

2. 单元格-列关联：它还使语言模型能够将特定单元格与其相关的列名关联起来，这在问题涉及特定属性时至关重要。

• Cell Retrieval with Encoding Budget

  在最坏的情况下，不同值的数量可能与单元格的总数相匹配。为了保持 TableRAG 在这种情况下的可行性，引入了一个单元格编码预算$ B $。如果不同值的数量超过$ B $，编码过程将限制在出现频率最高的 $ B $ 对，从而在处理大型表格时提高效率。

• Program-Aided Solver（程序辅助求解器）

  在获得与问题相关的列名和单元格值后，语言模型可以使用这些信息有效地与表格交互。TableRAG 与可以以编程方式与表格交互的语言模型代理兼容。在这项工作中，作者考虑了 ReAct，这是一种流行的扩展语言模型功能的方法，已在最近的文献中用于在表格 QA 基准测试中取得最先进的结果。

  相关prompt如下：

  ========================================= Prompt =========================================   You are working with a pandas dataframe regarding "amazon seller order status prediction   orders data" in Python. The name of the dataframe is ‘df‘. Your task is to use ‘   python_repl_ast‘ to answer the question: "What is the average price for leather wallets?"   Tool description:   - ‘python_repl_ast‘: A Python interactive shell. Use this to execute python commands. Input   should be a valid single line python command.   Since you cannot view the table directly, here are some schemas and cell values retrieved   from the table.   Schema Retrieval Results:   {"column_name": "item_total", "dtype": "object", "cell_examples": [’$449.00’, ’$399.00’, ’   $549.00’]}   {"column_name": "quantity", "dtype": "int64", "min": 1, "max": 4}   {"column_name": "order_no", "dtype": "object", "cell_examples": [’402-4845680-8041921’,   ’405-9763961-5211537’, ’404-3964908-7850720’]}   ...   Cell Retrieval Queries: leather wallets, average price, order status, prediction, amazon   seller   Cell Retrieval Results:   {"column_name": "order_status", "cell_value": "Delivered to buyer"}   {"column_name": "description", "cell_value": "Pure Leather Camel Color Gent’s Wallet with   Coin Compartment and Card Holders | Men’s Ultra Slim Money Organiser (1 pc)"}   ...   Strictly follow the given format to respond:   Thought: you should always think about what to do   Action: the single line Python command to execute   Observation: the result of the action   ... (this Thought/Action/Observation can repeat N times)   Thought: before giving the final answer, you should think about the observations   Final Answer: the final answer to the original input question (Answer1, Answer2, ...)   Notes:   - Do not use markdown or any other formatting in your responses.   - Ensure the last line is only "Final Answer: Answer1, Answer2, ..." form, no other form.   - Directly output the Final Answer rather than outputting by Python.   - Ensure to have a concluding thought that verifies the table, observations and the   question before giving the final answer.   Now, given a table regarding "amazon seller order status prediction orders data", please   use ‘python_repl_ast‘ with the column names and cell values above to answer the question: "   What is the average price for leather wallets?"   Begin!   ======================================= Completion =======================================   Thought: I need to remove the comma in the item_total values before converting them to   float.   Action: df[’item_total’] = df[’item_total’].str.replace(’$’,’’).str.replace(’,’,’’).astype(   float)   Observation: success!   Thought: Now, I can filter out the rows with leather wallets and calculate the average   price.   Action: df[df[’description’].str.contains(’wallet’, case=False)][’item_total’].mean()   Observation: 442.7916666666667   Thought: before giving the final answer, I should consider the observations and ensure that   the calculations are accurate.   Final Answer: The average price for leather wallets is $442.79.   
  

实验结果

数据集：为了验证TableRAG在大规模表格上的可扩展性，作者构建了两个新的基准数据集：ArcadeQA和BirdQA，分别源自Arcade和BIRD-SQL数据集。此外，作者还从TabFact数据集中生成了合成数据，将表格扩展到更大的规模。

并且比较了四种不同的方法，包括ReadTable、ReadSchema、RandRowSampling和RowColRetrieval。所有方法都基于相同的PyReAct求解器实现。

TableRAG的检索设计显著减少了计算成本和token使用，同时保持了高性能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】