《科创板日报》7月18日讯 (记者田野 王耐)今日举办的2026世界人工智能大会“上海交通大学·AI未来发展论坛”上,上海交通大学计算机学院可扩展计算所宋涛团队联合财跃星辰、阶跃星辰、睿远基金等机构,正式发布面向金融智能体的功能级评测框架与配套实践平台,同步推出84页立场论文《Rethinking Financial AI Benchmarks》。
该框架首次提出以“资本-资产匹配”为核心的评测理念,打破了行业长期以来“以研报相似度论能力”的评测误区,为金融智能体从辅助工具走向真实决策提供了可信的验证标尺。
本次发布是本届WAIC产学研融合的代表性成果。论坛以“产学研深度融合”为主题,汇聚了图灵奖得主Richard Sutton、中国科学院院士鄂维南等顶尖学者,以及宁德时代、阶跃星辰等产业代表,聚焦AI技术与实体产业的深度结合。此次金融智能体评测框架的发布,正是学术界与产业界联手,破解金融AI落地核心难题的重要实践。
随着金融大模型与智能体快速普及,行业对AI能力的评估始终停留在“产出像不像人类分析师”的维度——通过比对研报、决策备忘录等文本的专业度、完整度来评判系统能力。但在本次发布的立场论文中,研究团队指出了这一评测逻辑的根本缺陷:研报等工作产物本质上是人类在有限认知带宽下,处理海量信息、协调组织决策形成的历史性工作方式,并非金融活动要解决的核心经济问题。
“金融的本质是资金和资产的匹配。写研报只是过程,不是终点。”研究团队表示,当智能体的信息处理能力远超人类认知带宽后,再用“复现人类工作产物”作为评测标准,既无法真实衡量AI的金融决策能力,也会误导产品研发方向,让模型停留在“写得好看”的表层,无法真正深入决策核心。
为验证这一判断,研究团队开展了预注册配对对照实验,选取四款前沿金融大模型进行同题测试。结果显示,在“撰写行业研报”“生成投资备忘录”等文本生成类任务中,四款模型得分普遍处于较高区间;但在“判断某类资产品种是否适配特定资金属性”的匹配类核心任务上,模型整体成绩出现显著下滑,配对效应量d_z达到1.33,呈现出极强的统计显著性。
研究团队强调,该实验为探针性质的对照研究,并非模型排行榜,其核心价值在于戳破了行业“重文本、轻决策”的评测幻象——很多看似表现优异的金融AI,在真正触及决策本质的任务上能力存在明显短板,这也是当前很多金融AI“看着好用、真用不行”的核心原因。
基于这一核心发现,联合团队提出了全新的金融智能体评测框架,彻底重构了评测的底层逻辑:从考察“文本生成质量”转向考察“资金-资产匹配能力”。
据介绍,新框架围绕收益、风险、期限、流动性、收益结构与约束六大核心维度设计评测任务,分层考察智能体的三项核心能力:一是理解资金侧诉求,准确识别资金的风险偏好、期限要求、流动性约束等核心属性;二是基于经济实质分析资产,穿透产品表象判断其底层风险收益特征;三是输出可审计的决策结论,明确给出匹配、不匹配、信息不足暂缓判断三类结果。
值得注意的是,框架将“主动拒答”与“判断不匹配”均视为合格答案,引导智能体建立审慎的决策逻辑,避免为了生成答案而强行输出错误结论,更贴合金融场景的合规与风控要求。
与评测框架同步上线的还有配套实践平台,该平台将任务设计、资产覆盖、评分引擎、人机双轨评审、持续观测五大环节串联为可迭代的评测流水线,从正确性、适配性、鲁棒性、合规性四个维度对被测系统进行全方位评分,并输出针对性的弱项诊断报告。目前平台已支持金融大模型、研究助手、投资顾问、资产配置系统四类产品同台对比,可满足不同类型金融AI产品的评测需求。
上海交通大学计算机学院副研究员宋涛表示,过去的评测体系默认复现人类工作产物就等于具备金融能力,但当智能体不再受限于人类认知带宽时,这个默认前提已经不成立。真正应该被评测的,是不随工作流程变化的经济功能——资金与资产的匹配效率,这正是过往评测体系最缺失的一环。
财跃星辰CTO白祚博士认为,金融智能体正从辅助写材料走向参与真实决策,这是行业当下最大的转折点。这个阶段行业最需要的不是再多一个写得像分析师的模型,而是一套可验证、可信任的评测基础设施,让金融机构在把资金决策交给智能体之前有据可依。谁能率先建立资金与资产匹配的能力标准,谁就掌握了智能体从实验室走向真实资金决策的主动权。