ChatGPT的热烈炒作、广泛使用和快速蔓延提升了最终用户对LLM和GenAI的认识,引发了一波商业实验和AI初创企业的浪潮。2023年4月的Gartner网络研讨会发现,381名中国参会人员有70%已经或计划启动GenAI项目,其中6%已在生产环境部署了GenAI,26%在试点GenAI,38%处于规划阶段。
CIO及其安全团队需要为GenAI的影响做好准备,在以下四个方面采取措施:
1. 为构建GenAI应用提供安全保护:AI应用攻击面不断扩大,产生了新的潜在风险,需要对现有应用安全实践进行调整。
2. 管理和监控使用GenAI的方式:各企业机构正在探索如何使用嵌入现有应用的GenAI助手,这些应用都有独特的安全要求,是传统安全控制措施无法满足的。
3. 利用生成式网络安全AI进行防御:有效抓住GenAI机遇,从而改善安全和风险管理、 优化资源、抵御新兴攻击技术,甚至降低成本。Gartner将生成式网络安全AI定义为 GenAI技术在网络安全中的应用。
4. 为受到GenAI攻击做好准备:GenAI工具和技术不断发展,各企业机构必须适应恶意行为者不断发展的技术或新的攻击向量。
图1对此进行了说明
CIO及其安全团队不应只是试图跟上新技术发展的步伐,也需要规划和建立一致而有效的AI安全治理计划,以应对GenAI采用激增的局面和各类新兴场景。
AI安全治理项目应整体覆盖组织架构、技术和政策。其早期任务之一就是制定所有构建或部署AI的团队必须遵循的标准,包括安全AI开发、AI数据安全和AI安全应急响应标准。中国CIO和安全团队应与利益相关者和企业机构领导者合作,制定五个阶段的AI安全治理计划(见表1)。
表1: AI安全治理项目的五个阶段及主要行动
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。