自主AI已从实验阶段跨入企业核心优先事项。模型精度已经足够,商业价值也清晰可见,董事会更在催促加快推进。但对大多数CIO而言,真正拖累进度的并非技术瓶颈,而是安全顾虑。
Gartner面向逾11000名CIO发布的2026年上半年CIO报告显示,77%的受访者认为安全与风险是规模化推进自主技术的最大障碍。这些顾虑有其现实依据:自主AI智能体可能造成数据泄露、引发代价高昂的误操作,并带来审计合规方面的难题。
但越来越多的CIO正在摸索出一条兼顾速度与安全的路径。他们表示,解决方案在于构建防护机制、完善治理体系,以及推动CIO与安全、隐私高管之间形成新型协作关系。
自主AI带来的压力持续上升
Gartner于2026年4月对469位CEO开展的调查显示,约八成高管预计到2030年自主业务将主导各自行业。董事会和管理层意识到竞争格局正在改变,纷纷向CIO施压,要求跟上这一转变的节奏。
金融机构软件提供商Jack Henry的首席数据官基思·富尔顿(Keith Fulton)表示:"我的管理团队和董事会对AI有相当深入的了解,他们看到了其中的潜力,一直在问'我们怎么能更快?'我的回答是,我也想更快,但我们必须谨慎。"
这种业务推进压力与安全管控之间的张力,正在各行业普遍上演。Sembi对近3800名软件开发负责人的调查发现,86%的受访者表示安全问题至少偶尔会导致项目延期,63%的人将隐私与安全顾虑列为AI采用的主要障碍。
Upwind Security首席信息安全官、推特、Rubrik和BILL前安全负责人林基·赛西(Rinki Sethi)表示:"来自业务各方的压力正在促使AI采用提速,安全团队和IT团队不能对这种压力一概说不。现在的对话,已经从阻碍创新转向如何负责任地推动创新。"
智能体AI面临的核心安全问题
数据暴露风险
多位负责人指出,核心问题在于可见性的缺失。赛西表示:"大多数组织至今仍不清楚AI智能体能访问哪些数据、能执行哪些操作,以及部署到生产环境后的实际行为。数据暴露是一个重大隐患,尤其是当智能体能够访问内部系统或在不同环境之间传递信息却缺乏有效管控时。"
在Jack Henry,富尔顿区分了网络安全与数据安全两个概念。他说:"最大的顾虑其实并非网络安全,而是资金与数据的安全。我们必须确保在与超大规模AI交互时,个人身份信息不会外泄。"
智能体的容错性问题
智能体AI自身的容错性进一步加剧了挑战。富尔顿表示:"现在的智能体已能达到80%至99%的准确率,还在持续提升,但还没有达到100%。如果你用一张Excel表格,里面1%的数据是编造的,没人会愿意用它。这正是智能体目前所处的阶段。"
影子AI问题
情况还因影子AI的兴起而更加复杂。赛西表示:"员工因为AI工具能提升效率而主动采用,但大多数安全团队往往是事后才发现使用情况,而非通过正式审批流程。全面封禁并不是答案,因为这通常只会让相关行为更加隐蔽。"
将安全设计嵌入AI开发起点
推进最快的组织并非在部署后才补上安全措施,而是从一开始就将其融入其中。
全球制造服务企业捷普(Jabil)的细分业务CIO兼企业解决方案副总裁蔡斯·克里斯坦森(Chase Christensen)表示:"安全对我们来说从来不是阻力。只有在安全没有被纳入流程设计时,才会拖慢进度。我们在软件开发生命周期中从一开始就把安全设计进去,这样才能扫除障碍、快速扩展。"
克里斯坦森还重新定义了捷普对影子IT乃至影子AI的看法。他说:"我们不谈影子IT,我们谈的是IT的民主化。企业IT可能反应较慢,我们的职责是搭建好平台。当我们为数据使用提供合理的规则和框架,所谓的影子IT就会成为组织的增长引擎。"
赛西也认同,从早期就将安全整合进来至关重要。她表示:"做得好的组织,从第一天起就把AI系统当作生产负载来对待,而不是当成实验性的边缘项目。部署后再补救安全措施很少奏效,因为到那时AI系统已经深度融入工作流程、API和数据环境,很难拆解。"
设定合理的AI防护机制:狗狗公园原则
Jack Henry的富尔顿将防护机制视为加速器,而非束缚。
他说:"我常常想到狗狗公园这个比喻。我带小狗去公园,是因为想让它自由玩耍,但不想让它跑到马路上。它看见围栏就不会越界,可以尽情玩耍,我也放心。快速推进的关键,就在于有合适的防护机制。"
风险等级决定防护力度
在Jack Henry,这些约束机制与风险等级相匹配。富尔顿表示:"我们有一套评估智能体行为风险等级的标准。根据风险等级,我们会采用不同的防护措施。资金流动一旦出错很难撤销,相应的防护标准要比辅助写Word文档的助手严格得多。"
问责机制不可或缺
富尔顿表示,部分源于联邦监管要求:"每一个智能体都必须被追踪、审计,并追溯到一个具体负责其行为的人。你不能把智能体送进监狱。智能体的每一个行为,都必须能够追责到某个人。"
对AI部署实施持续可见性监控
对赛西而言,最关键的转变是从静态的政策审查转向实时运行监控。
她说:"当团队依赖那些并非为实时自主系统设计的传统治理模型时,安全就变成了阻力。推进最快的组织,是那些从一开始就将可见性和运行时上下文纳入AI部署中的组织,而不是事后再去打补丁。"
这意味着需要重新定义安全"达标"的标准。赛西表示:"如果你无法回答智能体能访问哪些数据、能执行哪些操作,或者其行为是否偏离了正常模式,那你还没有准备好规模化部署。把AI部署当作一次性安全审查而非持续监控承诺,这是最常见的失误。"
CIO与CISO关系的深度转变
多位负责人指出,CIO与CISO之间的协作关系,正成为推进自主AI的关键推力——也可能成为瓶颈。
赛西表示:"AI让CIO与CISO的关系在运营层面更加紧密交织。过去,安全与IT可以在平行轨道上各自运转,但自主系统要求更紧密的协同,因为基础设施、数据治理、应用开发和安全现在已深度耦合。"
双方的对话方式也在改变。她说:"现在不再是对照合规清单,更多的是围绕运营韧性、可见性和在自动化速度下管理业务风险展开讨论。在很多组织中,CIO和CISO正在共同承担安全推进AI的责任,而不再将安全视为下游审批环节。"
首席隐私官角色日益凸显
在Jack Henry,富尔顿指出,传统的CIO-CISO合作只是整个拼图的一部分。他说:"首席隐私官(CPO)的参与度可能比CISO更高。核心是尊重客户的隐私,不把相关数据交给超大规模云服务商处理。"
正在规模化推进自主AI的组织,并非在忽视安全,他们只是不再让安全成为什么都无法落地的借口。
赛西表示:"不要等治理体系完美了再行动,因为业务推进的速度会超过你。没有可见性的速度是风险,而有了可见性,你才能有底气负责任地加快前进。"
Q&A
Q1:自主AI智能体在企业落地面临的最大安全风险是什么?
A:目前企业部署自主AI智能体面临的核心安全风险主要有三类:一是数据暴露,智能体可能在缺乏管控的情况下访问内部系统或跨环境传递敏感信息;二是智能体的容错性问题,当前智能体准确率约在80%至99%之间,仍存在一定错误率,在高风险业务场景中后果难以承受;三是影子AI问题,员工私自使用未经审批的AI工具,安全团队往往事后才能发现,增加了管控难度。
Q2:企业如何在保证安全的前提下加快推进自主AI落地?
A:推进较快的企业通常采取以下几种做法:将安全设计嵌入软件开发生命周期的起点,而非部署后再补救;建立风险分级防护机制,根据业务风险高低设定不同的智能体行为边界;从一开始就对AI部署实施实时运行监控,而非依赖一次性安全审查;同时推动CIO与CISO更紧密协作,共同承担安全推进AI的责任,而非将安全视为独立的审批环节。
Q3:CIO与CISO在自主AI时代的协作关系发生了哪些变化?
A:自主AI的兴起使CIO与CISO的关系从过去相对独立的平行运作,转变为更加深度交织的协同模式。由于基础设施、数据治理、应用开发和安全已高度耦合,双方必须更紧密地配合。对话重心也从合规清单审查,转向围绕运营韧性、系统可见性和自动化速度下的业务风险管理。在许多组织中,CIO和CISO正在共同承担安全推进AI的职责,此外首席隐私官(CPO)的参与度也在显著提升。
好文章,需要你的鼓励
CrowdStrike联合谷歌和Shadowserver基金会成功打击了GlassWorm恶意软件行动,同时摧毁其四条C2控制信道,该行动曾通过poisoned npm和Python包及VSCode扩展攻击开发者。然而,攻击者可借助开源生态系统低成本快速重建。与此同时,OSV数据库撤回157条疑似AI生成的误报记录,暴露出自动化安全报告的可靠性问题,信号噪音正在侵蚀防御工具的可信度。
耶路撒冷希伯来大学研究团队提出PhyGenHOI框架,将人体运动生成与物理仿真结合,让虚拟人物与三维物体之间的接触互动同时满足视觉自然性和物理真实性。
想提升AI图像生成质量?一个实用技巧是:先让聊天机器人为你设计专属的图像生成提示词,再将其用于对应的图像生成器。只需提供基本描述,让AI自动补充细节,生成更完整、精准的提示词。经测试,Gemini和ChatGPT均能返回远超用户自行编写的详细描述,图像生成效果明显更好。此外,由AI生成的提示词还能有效规避内容审核限制,让生成过程更顺畅。
本文介绍了弗莱堡大学等机构提出的3D-SC框架,通过引入三维基础模型的几何先验,无需人工标注即可解决AI图像匹配中的左右混淆和重复部件分不清的问题。