导读:在近期举办的“智能体重塑银行业:探索与挑战”闭门研讨会上,交通银行测试中心总经理孙莉分享了对于AI测试挑战的思考,并介绍了交通银行在AI测试方面的实践。她提到,在多环节AI应用叠加的情况下可能带来差错的放大,不仅要考虑“人机协同”,未来还要探索如何“机机协同”。
孙莉 交通银行测试中心总经理
第一,银行软件测试面临双重挑战。
一方面,数字化转型深度提升、软件系统规模激增,对软件质量的要求也大幅提升,使得测试范围从单一系统的功能测试,拓展至端到端完整链路测试以及性能、数据、体验、安全等领域。与此同时,迭代速度要求更快、容错度要求更低,这些构成了目前测试的现实挑战。
另一方面,金融行业对测试结果的确定性要求高,而AI模型的准确率本质上是概率问题,概率模型与确定性需求之间存在可靠性的落差。在多环节AI应用叠加的情况下可能带来差错的放大,不仅要考虑“人机协同”,未来还要探索如何“机机协同”。此外,还要促使AI应用满足公平、安全、向善的要求,解决数据偏差、歧视、不可解释等问题。
第二,“AI测AI”的双轮驱动思路。
其一是“测试的AI”,即如何用AI赋能软件测试。去年,交通银行开展人工智能训练营,其中已落地测试评审、测试大纲、测试案例生成这三个助手。已落地助手的平均可接受率为30%-40%,对于需求结构化、标准化程度高的系统可达 70%。目前也探索打造了一批测试专用智能体,建设人机协同链路。
其二是“AI的测试”,即对AI的“确定性”进行评估验证。具体而言,从建体系、定目标、建工具链三个方向推进。一是参考同业经验、相关标准和经验,聚焦AI特性建设测试体系,强化可测性;二是实施分层递进的验证策略,探索建立AI测试指标体系;三是逐步建设完善AI评测的工具链,建立模型迭代的反馈与监控的闭环。
“金融科技50人论坛”成立八周年啦,特别感谢热心读者对我们的支持,我们建立了“金融科技·读者微信群“,发布研究成果、促进交流合作、赠送金融科技图书,欢迎您的参与。
入群方法:加群主为微信好友(微信号:serenazys),添加时备注个人姓名(实名认证)+单位+职务+入群,经群主审核后,即可被邀请进群。欢迎读者朋友多多留言与我们交流互动。
学术研究、会议合作和专题培训联系:
办公电话:010-62561700
邮箱地址:songzeying@cft50.com.cn
金融科技50人论坛(CFT50):金融科技50人论坛(CFT50)成立于2017年4月22日,论坛近年来紧密围绕金融科技理论、实践与政策前沿,积极推动“政产学研用”交流与合作,逐渐建设成为在金融科技领域具有较高影响力的独立学术平台。论坛组织或参与出品《中国金融科技运行报告》《中小银行金融科技发展研究报告》《数据要素:领导干部公开课》《绿色金融:助力碳达峰碳中和》《金融科技15讲》《银行业数字化转型20讲》等重要学术成果,与《金融理论探索》杂志合作开设数字金融学术专栏,普遍受到政策层、学界和业界人士的高度评价。2019年以来,论坛参与发起北京市东城区立鼎金融与发展研究院、厦门鹭江金融科技研究院等机构。