MCP工具评测与检索协作
将工具信息、部署测试、评测与检索连接起来。
科研智能体需要调用不同来源的工具,也需要判断这些工具是否可部署、是否适用于当前任务。
他山Agent4S项目组探索“信息收集—服务部署—性能评测—检索”的工作流程,并围绕维护情况、安全性和实际可用性等维度组织评测。项目还探索通过检索中介按需发现工具,减少一次加载全部工具描述的负担。
相关公开介绍提供了MCP测试平台、检索中介流程与MCP-CriticAgent开源仓库。下方图片来自该篇原文,是当时的产品界面与工作流程记录;不将历史样本数量或后续建设计划当作当前实时指标。
他山 MCP 工具测试平台
2025 云栖大会首发:他山特色科研科教领域 MCP(左)、他山自研 MCP 自动化评测智能体(右)
图为他山Github开源项目首页
图为他山MCP hub智能中介应用原理