ChatGPT的热烈炒作、广泛使用和快速蔓延提升了最终用户对LLM和GenAI的认识,引发了一波商业实验和AI初创企业的浪潮。2023年4月的Gartner网络研讨会发现,381名中国参会人员有70%已经或计划启动GenAI项目,其中6%已在生产环境部署了GenAI,26%在试点GenAI,38%处于规划阶段。
CIO及其安全团队需要为GenAI的影响做好准备,在以下四个方面采取措施:
1. 为构建GenAI应用提供安全保护:AI应用攻击面不断扩大,产生了新的潜在风险,需要对现有应用安全实践进行调整。
2. 管理和监控使用GenAI的方式:各企业机构正在探索如何使用嵌入现有应用的GenAI助手,这些应用都有独特的安全要求,是传统安全控制措施无法满足的。
3. 利用生成式网络安全AI进行防御:有效抓住GenAI机遇,从而改善安全和风险管理、 优化资源、抵御新兴攻击技术,甚至降低成本。Gartner将生成式网络安全AI定义为 GenAI技术在网络安全中的应用。
4. 为受到GenAI攻击做好准备:GenAI工具和技术不断发展,各企业机构必须适应恶意行为者不断发展的技术或新的攻击向量。
图1对此进行了说明
CIO及其安全团队不应只是试图跟上新技术发展的步伐,也需要规划和建立一致而有效的AI安全治理计划,以应对GenAI采用激增的局面和各类新兴场景。
AI安全治理项目应整体覆盖组织架构、技术和政策。其早期任务之一就是制定所有构建或部署AI的团队必须遵循的标准,包括安全AI开发、AI数据安全和AI安全应急响应标准。中国CIO和安全团队应与利益相关者和企业机构领导者合作,制定五个阶段的AI安全治理计划(见表1)。
表1: AI安全治理项目的五个阶段及主要行动
好文章,需要你的鼓励
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AI虽具备变革企业洞察力的潜力,但成功依赖于数据质量。大多数AI项目失败源于数据混乱分散而非算法局限。谷歌BigQuery云数据AI平台打破数据孤岛,简化治理,加速企业AI应用。通过AI自动化数据处理,实现实时分析,并与Vertex AI深度集成,使企业能够高效处理结构化和非结构化数据,将智能商业转型从愿景变为现实。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。