Agent4S｜科研知识库需要怎样被重新设计

围绕多模态证据单元、元数据过滤与证据定位，讨论科研知识库如何支持智能体检索资料、核验结论并沉淀研究过程。

> 作者：王洋　·　[阅读微信原文 ↗](https://mp.weixin.qq.com/s?__biz=MzkyNjY0NjI3NA==&mid=2247486001&idx=1&sn=c2a499725423d2985b119733ff01cf3c&chksm=c235635cf542ea4adf1766ececd0e6626075b89f6aff3a541ea71a914052272c474c7c1c6e1b#rd)

# Agent4S｜第五科研范式下，科研知识库需要怎样被重新设计？

内容摘要

AI4S 的关键基础设施之一，是构建可检索、可理解、可核验的科研知识底座；

科研过程中的论文、报告、实验记录、图表、表格、仪器截图、代码、数据文件和写作素材，都将成为智能体需要调用的知识资产；

多模态 RAG 的核心价值，在于把科研资料从“文本片段”升级为包含页面、图表、表格、图像、权限、版本和证据位置的知识单元；

未来科研工作会呈现人—机混合交互形态，智能体将承担调研、写作、归纳、检索、调用工具和组织任务的中枢角色；

Agent 时代，本文所称的面向智能体的科研知识存储方式，需要同时解决三个问题：检索什么、在哪里检索、如何核验。

（全文约 6500 字，阅读时长约 16 分钟）

## 01 AI4S 为什么需要重新设计知识库？

AI4S，即 AI for Science，通常被理解为用人工智能加速科学发现。

在很多讨论中，人们会把重点放在模型能力上：模型能不能读论文，能不能生成假设，能不能写代码，能不能控制实验设备，能不能辅助发现新材料、新药物、新结构。

但真正进入科研场景后，会遇到一个更基础的问题：模型到底从哪里获得可靠知识？

科研工作从来都不只由论文组成。一个真实的科研项目，会产生大量过程性材料：文献调研记录、实验日志、仪器截图、显微图像、仿真结果、表格数据、代码仓库、会议纪要、组会 PPT、审稿意见、论文草稿、补充材料、版本修改记录等。

这些材料共同构成科研过程中的“知识现场”。

过去，这些内容主要由人来组织。导师、博士后和高年级学生知道哪些论文重要，哪些实验失败过，哪些数据能用，哪些图表支撑了某个结论，哪些写法曾经被审稿人质疑。

进入智能体时代后，情况会发生变化。

未来无论是科研、医疗、工程、金融，还是教育和制造业，都将呈现人—机混合交互的工作形态。人提出目标、判断价值、承担责任；智能体负责任务拆解、资料检索、工具调用、过程跟踪和结果整理。

在这个过程中，智能体会逐渐成为工作流中枢。它需要知道资料在哪里，哪个版本可信，哪些材料有权限访问，哪些证据能支撑结论，哪些图表可以放进论文，哪些实验结果还需要复核。

因此，AI4S 的核心基础设施不只包括大模型和算力，也包括一种新的科研知识存储方式，它需要面向智能体设计，如图所示。

AI4S 时代，智能体中枢重塑科研工作流

## 02 科研调研和写作，为什么离不开多模态 RAG？

科研中的调研和写作，本质上是一种高强度知识组织活动。

写一篇论文，不只是把实验结果写成文字。研究者需要回答一系列问题：这个方向已有工作是什么？当前方法解决了什么问题？本文和前人工作的区别在哪里？实验结果由哪些表格和图支撑？哪些结论需要引用？哪些表达容易被审稿人挑战？

这些问题都依赖检索。

但科研检索的对象非常复杂。

论文里的关键信息，往往藏在正文、公式、图表、图注、表格、附录和补充材料之间。实验记录中的重要线索，可能出现在某张仪器截图、某个异常曲线、某个失败样本、某次组会 PPT 的备注里。写作过程中的关键判断，也可能散落在审稿意见、修改记录和对比实验表格中。

如果把这些资料全部切成普通文本片段，很多关键信息会丢失。

例如，一张结果表格中的最高值、加粗项和数据行列关系，直接决定论文结论是否成立；一张显微图像中的局部结构，可能对应材料性质变化；一张蛋白结构图中的空间关系，可能无法用简单文本完整表达；一个 PDF 页面里的图、图注和正文说明，需要一起理解才有意义。

这就是多模态 RAG 在 AI4S 中的重要性。

RAG 的全称是 Retrieval-Augmented Generation，即检索增强生成。它让模型在生成答案之前，先从外部知识库中召回相关材料，再基于这些材料作答。

早期 RAG 主要处理文本。它把文档切成段落，向量化后存进数据库。用户提问时，系统找回相似文本，再交给模型生成回答。

这种方式适合简单文档问答，但很难覆盖科研材料。

科研知识常常存在于跨模态关系中：正文解释图表，图表支撑结论，表格展示实验，图注补充条件，附录给出细节，代码决定复现方式。多模态 RAG 的价值，正在于把这些材料作为整体知识单元处理。

他山科普：多模态 RAG

多模态 RAG 指检索系统同时处理文本、图像、表格、页面结构、图表、截图等多种信息形态。它适合 PDF、论文、PPT、实验报告、仪器截图和复杂科研文档。相比只检索文本段落，多模态 RAG 更强调版式结构、视觉证据和原始位置。

## 03 多模态 RAG 为什么要重写“检索对象”？

从文本 RAG 到多模态 RAG：检索对象从文字片段升级为多模态证据单元

RAG 的第一个问题是：检索什么？

在传统文本 RAG 中，检索对象通常是文本 chunk，也就是从文档里切出来的一段文字。这个设计简单、高效，也适合大规模文档处理。

但在科研场景里，文本 chunk 的表达能力很有限。

一篇论文的知识结构，并不等于一堆段落的集合。页面布局、图表位置、表格行列、公式编号、图注说明、引用关系、附录结构，都在影响人对论文的理解。

对于 AI4S 来说，系统需要检索的对象应该升级为“多模态证据单元”。

这个证据单元可以是一页 PDF，可以是一张图表，可以是一块表格区域，可以是一段正文加对应图注，也可以是一段实验记录加对应截图。它不仅包含文本内容，也包含页面位置、视觉结构、来源文件、版本信息和证据坐标。

近期云平台和研究工作都在朝这个方向演进。

Google 在 Gemini API File Search 中，将 RAG 的处理对象从普通文本片段扩展到 PDF 页面、图片、图表、截图和表格区域等多模态证据单元，并支持文件导入、切片、向量化、索引和检索等流程。[1,2]

在产业侧，Amazon Nova、Cohere Embed 4、Voyage 等能力开始把文本、表格、图像、幻灯片和复杂商业文档放进统一向量空间，使多模态材料能够进入同一条召回链路。[3-5]

在研究侧，DSE、ColPali 等工作开始保留页面布局、表格、图像、字体和视觉结构，让文档页面从简单文本来源升级为可索引、可召回、可匹配的知识单元。[6,7]

对科研而言，这个变化非常关键。

AI4S 的智能体不能只读摘要，也不能只看被 OCR 出来的文字。它需要理解图表、表格、实验图像、页面结构和证据位置。否则，在调研和写作中，它很容易出现“知道大概意思，但找不到证据”的问题。

而科研写作最怕的正是这一点：结论看起来合理，证据却无法落回原文。

他山科普：多模态证据单元

多模态证据单元指带有文本、图像、表格、版式和来源位置的检索对象。它比普通文本片段包含更多上下文，可以帮助模型回答“这个结论来自哪一页、哪张图、哪个表格、哪个局部区域”。

## 04 “在哪里检索”为什么会成为科研智能体的核心问题？

RAG 的第二个问题是：在哪里检索？

在普通问答场景里，系统可以直接对全库做语义搜索。但科研场景对范围非常敏感。

同一个项目可能有不同版本的数据；同一篇论文可能有 arXiv 版、投稿版、返修版和最终发表版；同一组实验可能有成功样本、失败样本、废弃样本和待复核样本；同一个课题组内部材料，也可能有不同访问权限。

如果智能体在错误范围里检索，后续生成就会出问题。

例如，写论文时引用了旧版本实验结果；做调研时混入了无关方向材料；生成综述时使用了被废弃的假设；回答学生问题时调用了无权限的内部数据；规划实验时误用了未清洗的数据表。

这些问题单靠语义相似度解决不了。

语义相似只能说明内容接近，不能说明材料适用。科研智能体需要先判断检索范围，再寻找相关内容。

这就要求科研知识库维护结构化元数据。

所谓元数据，可以理解为描述资料属性的信息。对于科研材料，元数据可以包括项目名称、研究方向、实验批次、版本状态、作者、时间、数据来源、权限级别、文件类型、投稿阶段、是否已复核、是否可引用等。

有了这些字段，系统就可以先限定范围，再做召回。

比如，在写论文时，只检索“最终版实验结果”和“可公开引用材料”；在做组会报告时，只检索“本项目最近一个月的实验记录”；在审稿回复中，只检索“返修阶段新增实验”和“审稿人相关意见”；在 AI4S 实验规划中，只检索“同一材料体系下已验证数据”。

这种能力对智能体非常重要。

智能体作为中枢时，会调用论文、数据库、代码、实验记录和外部工具。它的每一步行动都依赖检索结果。如果检索范围错了，后续计划、写作和工具调用都会被带偏。

Agent 时代知识库的三个核心问题：检索什么、在哪里检索、如何核验

他山科普：元数据过滤

元数据过滤指在检索前或检索中，根据文档属性限制候选范围。例如只检索某个项目、某个版本、某个权限级别或某个时间范围内的资料。对于科研智能体来说，元数据过滤可以帮助系统在正确材料范围内寻找证据。

## 05 为什么“可核验证据”决定 AI4S 的可信度？

RAG 的第三个问题是：如何核验？

科研和普通问答最大的区别在于，科研回答必须能够回到证据。

一个模型说“某方法提升了性能”，需要指出是哪篇论文、哪张表、哪个指标；一个模型说“某材料在特定条件下表现更好”，需要指出是哪组实验、哪个批次、哪张图；一个模型帮忙写 related work，需要让每一句关键判断都有文献依据。

文件级引用远远不够。

只给出“参考了某篇论文”这个来源，并不能说明结论具体来自哪里。真正有用的引用，需要定位到页码、段落、图表、表格行列、图像区域，甚至跨页证据。

在多模态 RAG 中，引用也需要升级。

文本材料需要段落和页码。表格材料需要行列位置。图像材料需要局部区域。科学文档还常常涉及正文、图、图注、表格和附录之间的联合证据。

Google File Search 已经支持返回 PDF 页码等证据锚定元数据；当模型引用图像片段时，还可以返回图像块标识。[1,2]Cohere、OpenAI、Azure AI Search 等平台也在把细粒度引用、来源片段、证据锚定数据和查询计划放入 RAG 输出链路中。[8-10]

这对 AI4S 意味着一个重要变化：科研智能体的输出，需要从“答案生成”升级为“证据组织”。

它回答问题时，要同步保留证据来源；它写论文时，要知道每个结论对应哪些文献和实验；它做调研时，要能够把观点追溯回原始材料；它规划实验时，要能说明依据来自哪些已验证结果。

这也是智能体作为科研中枢的基础能力。

如果智能体只是会写得像，它的价值有限。真正有用的科研智能体，需要能把结论、证据、工具调用和后续行动连接起来。

科研写作中的证据链：从原始资料到可追溯引用

他山科普：证据锚定

证据锚定指把模型回答中的关键结论，连接回原始资料中的具体位置。这个位置可以是页码、段落、表格、图像区域、代码片段或实验记录。证据锚定可以帮助用户核查回答是否有依据。

## 06 Agent 时代，科研知识库会变成什么？

在 Agent 时代，知识库的角色会发生变化。

过去，知识库主要面向人。人打开文件夹、搜索关键词、查看文档、复制内容、整理引用。系统提供存储和搜索，人承担理解和组织。

未来，知识库会同时面向人和智能体。

智能体需要从知识库里获取材料，理解上下文，生成计划，调用工具，写作报告，形成结论，并把新的过程产物重新写回知识库。知识库不再只是静态资料库，会逐渐成为智能体工作流的记忆系统。

对于 AI4S 来说，这一点尤其重要。

科研过程具有强连续性。一个实验的失败结果，可能几个月后成为新假设的依据；一次组会中提出的想法，可能后来发展成论文的贡献点；一张异常曲线，可能提示模型没有捕捉到关键机制；一次审稿意见，可能改变整个研究叙事。

这些过程材料过去经常散落在聊天记录、PPT、Excel、代码目录和个人笔记里。人类专家可以凭经验记住一部分，智能体则需要结构化、可检索、可追踪的存储方式。

因此，Agent 时代的科研知识库需要具备几类能力：

第一，资料多模态化。论文、图表、图片、表格、代码、实验记录和仪器截图都能进入检索系统。

第二，资料结构化。每份材料都带有项目、版本、状态、权限、时间、来源和可引用性等元数据。

第三，证据可定位。模型生成的关键结论可以回到具体页面、段落、图表、表格或图像区域。

第四，工作流可接入。检索结果可以被智能体继续用于写作、实验规划、代码生成、数据分析和工具调用。

第五，过程可沉淀。智能体产生的新摘要、新问答、新实验计划、新写作片段，也能回到知识库中，成为后续工作的上下文。

这就是面向智能体的科研知识存储的核心：让科研过程中的知识资产既能被人读懂，也能被智能体调用。

## 07 科研人员如何在 AI4S 时代调整自己的资料组织方式？

面对这种变化，科研人员需要提前调整自己的资料组织方式。

第一，整理科研资料的元数据。

不要只保存文件本身，还要记录项目、版本、状态、时间、来源、权限、是否可引用、是否已复核等信息。这些字段未来会直接影响智能体的检索范围。

第二，把过程性材料纳入知识库。

组会 PPT、实验日志、失败结果、审稿意见、修改记录、代码说明、数据字典，都应被视为科研知识的一部分。AI4S 时代，过程材料会越来越重要。

第三，保留图表和页面结构。

在论文、报告和实验记录中，很多信息存在于图表、图注、表格和页面布局里。只保存纯文本，会削弱智能体的理解能力。

第四，重视证据锚定。

科研写作、调研综述和实验结论都需要可核验来源。未来的知识库应该能帮助智能体回答：这个判断来自哪篇文献、哪张图、哪个表格、哪次实验。

第五，把智能体当作科研中枢来设计工作流。

智能体可以承担资料检索、调研汇总、论文初稿、实验计划、代码调用和结果整理。人则负责提出关键问题、判断科学价值、确认结论边界和承担最终责任。

这会改变科研协作方式。

过去，科研工作流围绕人类专家展开。未来，很多任务会围绕智能体中枢展开：人向智能体提出目标，智能体调动知识库、模型、插件、数据库和工具，形成候选方案，再由人进行判断和修正。

这种人—机混合科研模式，会成为 AI4S 落地的重要形态。

## 结语：AI4S 的底层竞争，可能是科研知识组织方式的竞争

AI4S 的发展，不只取决于大模型有多强，也取决于科研知识能否被系统化组织。

如果论文、图表、实验记录、代码、数据和写作材料散落在不同位置，智能体就很难稳定工作。它可能能写出流畅回答，却无法支撑严肃科研。

如果科研资料能够以多模态、结构化、可核验、可调用的方式存储，智能体就能真正进入调研、写作、实验和知识发现流程。

多模态 RAG 的意义正在这里。

它不只是知识库问答的一种技术路线，更是 Agent 时代科研知识组织方式的重要基础。它让科研材料从“人能打开的文件”，升级为“智能体能检索、理解、引用和行动的知识单元”。

未来的科研入口，可能不再只是文献管理器、搜索框或网盘。

它会是一套由智能体中枢驱动的科研知识系统：能读论文，能查实验，能找图表，能写综述，能定位证据，能调用工具，也能把新的科研过程继续沉淀下来。

## 参考文献

1. Google. Expanded Gemini API File Search: multimodal RAG. https://blog.google/innovation-and-ai/technology/developers-tools/expanded-gemini-api-file-search-multimodal-rag/ 2. Google AI for Developers. Gemini API File Search documentation. https://ai.google.dev/gemini-api/docs/file-search 3. Amazon Web Services. Amazon Nova Multimodal RAG documentation. https://docs.aws.amazon.com/nova/latest/userguide/rag-multimodal.html 4. Amazon Web Services. Powering enterprise search with the Cohere Embed 4 multimodal embeddings model in Amazon Bedrock. https://aws.amazon.com/blogs/machine-learning/powering-enterprise-search-with-the-cohere-embed-4-multimodal-embeddings-model-in-amazon-bedrock/ 5. Voyage AI. Multimodal Embeddings documentation. https://docs.voyageai.com/docs/multimodal-embeddings 6. Ma, X. et al. DSE: Document Screenshot Embedding. arXiv, 2024. https://arxiv.org/abs/2406.11251 7. Faysse, M. et al. ColPali: Efficient Document Retrieval with Vision Language Models. arXiv, 2024. https://arxiv.org/abs/2407.01449 8. Cohere. RAG citations documentation. https://docs.cohere.com/docs/rag-citations 9. OpenAI Developers. File Search tool documentation.

10. Microsoft Learn. Agentic retrieval in Azure AI Search. https://learn.microsoft.com/en-us/azure/search/agentic-retrieval-overview

---