人工智能(AI)技术经过近几年的突飞猛进,也已经从应用试验品转化为企业生产力。相应地,大量IT应用正在从数字化向数智化演进。AI应用在迅速增长的同时,也在加速融入企业业务流程,但在千行百业的企业内部,AI应用落地的进程却千差万别。
为此,CIO时代与新基建研究院联合全球开源与企业级AI领先企业——红帽公司,汇集产、学、研各方力量,成立了企业级AI+专家委员会。面向制造、金融、能源、零售、电信等多个行业的百余名CIO,从算力、数据、AI规划、组织与人才、AI风险等多个维度展开调研,在此基础之上进行定性深度访谈,力图揭示AI应用的真实落地图景,为企业AI落地提供路径和策略参考。
AI治理与风险管理
(一)AI带来的风险与治理对策
在AI落地之初,就要考虑AI可能带来的风险,这其中既包括数据偏差和数据安全漏洞带来的数据驱动风险,也包括内容生成滥用、系统性失控等在内的AI技术滥用风险。
此外,AI应用还需要关注伦理与法律协同,同时在AI应用的使用过程中,也需要制定动态分层治理、全生命周期监控等技术监管机制。当AI应用与核心业务结合之后,特别要注意大模型幻觉给核心业务的风险,由于AI技术迭代速度过快,还特别要关注改进传统治理手段,以适配AI幻觉等新型风险。
(二)AI治理与风险管理现状分析
1.绝大多数国内企业不了解AI风险,也缺乏相应的对策
在“针对未来AI的应用,是否清晰AI的风险及应对策略”选题中,有超过57%的CIO选择了否,而只有不足43%的CIO了解AI风险并且有相应的对策。国内企业CIO的AI风险意识急需提升。
图1 针对未来的AI应用,企业AI风险及应对策略现状2.数据安全风险位列AI风险首位
在“CIO最关注的AI潜在风险”选题中,数据安全风险成为了69% CIO的选择。接下来关注度高的选项依次是系统安全风险、信息内容风险和模型算法风险。与这些风险相比,伦理安全风险的关注度较低,只有11%的CIO关注这一领域。
图2 CIO最关注的AI潜在风险3.AI安全领域,CIO们更关注什么?
在针对AI风险治理中,CIO对于自己关注的技术做出了选择。其中, 60%的CIO选择了AI解决方案灵活性与扩展性,这个特性可以有效降低对单一AI技术或产品供应商的依赖。另有55%的CIO选择了构建全生命周期AI治理模型,这就要求从人员,组织,流程,技术和数据等维度制定管理规范及标准。超过半数的CIO选择了数据隐私与合规性保障。
虽然只有39%的CIO更为关注动态风险评估,只有28%的CIO选择了模型的透明性与动态风险评估,但这并不能说明这两项技术不重要,而只可能是在目前的AI应用阶段,CIO们更为关注另外三个因素。从技术角度来看,利用AI管理平台实现AI模型的自动化测试、漂移检测和对抗攻击防御,而提升模型的透明性,可以帮助理解复杂模型的决策逻辑,减少“黑箱”风险。这对于AI模型安全性的提升,将起到重要作用,因为作为安全因素,并不能被忽略。
图3 企业关注的AI新技术引发的治理问题