The International Institute for Analytics(IIA)的专家们聚集在一起探讨哪些是2017年分析优先项目。他们的建议:正式定义分析职能,推动分析发展。
这是IIA第二年列举五大分析优先项目,为其成员提供未来一年的战略。去年,分析优先项目为,根据业务战略,调整分析战略。今年,建议主要集中在更明确的定义职能,并在实验和部署之间找到平衡。
Dan Magestro之前分别在Cardinal Health、JPMorgan Chase & Co.和Nationwide Insurance担任分析工作,现在他领导IIA的研究项目,并负责这次讨论。参与讨论的还有IIA的分析顾问和研究员Robert Morison,IIA的联合创始人Tom Davenport,信息技术和管理的杰出教授Babson College。
IIA的五大分析优先项目如下:
优先项目No. 1:迎接企业人工智能的“新分析时代”
Magestro认为,当前,对于人工智能(AI)的热情是前所未有的。这一技术比以往任何时候都更触手可及,对于已经有分析项目的公司而言,人工智能的实践并不是一种延伸。他认为应该是新的分析时代,有三个原因:
1. 大数据是一个开始。那些已经精通大数据分析的IT部门,为AI奠定了基础。“解锁AI的全部潜能,需要大数据来训练AI模型,巨大的数据处理能力和高级统计方法,”Magestro说。
2. 需要整个企业的投入。如果想要一直持续下去,AI项目需要新的内部合作和“顶级战略”。比如,计算机科学职能可能需要集成到业务部门,因为这并不是一个传统的分析特性。
3. 自动化会留下痕迹。软件机器人正在完成越来越多的,传统上由人类完成的任务,而分析人员和数据科学家也不能幸免于这一趋势。“我认为这是注定会发生的,”Magestro说,“企业需要接受它。”
Davenport说,自动化分析工作会非常简单明了,企业会受益。 “一些机器学习算法,其实只是自动化的回归分析,”他说,“(自动化)可能会威胁到一些分析人员,担心失去他们的工作;但我认为也会帮助他们提高生产力。”
优先项目No. 2:充分探索云的分析开发和生产
Magestro说,他预计公司将继续在分析开发和生产上,转向云,公司不仅可以更快地构建原型,并且可以更快地扩展这些原型,更好地服务企业。 CIO和IT部门必须解决“将分析工作迁移到云中,需要注意的事项和架构问题,”他说,包括安全问题。
优先项目No. 3:正式定义分析职能
Magestro认为,公司的分析职能通常是不明确的,具有“广泛的影响”。清楚地定义数据分析师的职能,会提高员工留职率,帮助分析人才成长。另外,随着集中化的分析团队决策权下放——这一趋势也包括在IIA的2017年预测列表中——明确定义职能,就能更容易地调动人才。
但是,正式定义这些职能也可能影响公司的业务部门。“那些自称为数据科学家的员工,之前是分析师,但是业务人员并不清楚其中的区别,” Davenport说,“是时候清晰定义了。”
最大的障碍可能是与人力资源部门合作,正式定义这些职位和职责,Davenport说。“但我认为关键是,不仅要这样做,还要把它嵌入到正式的工作分类系统中,”他说。
优先项目No. 4:在创新和生产之间,创建良好的平衡
Magestror认为要在平衡实验和分析工作之间找到良好的平衡,并达到生产阶段,是最具挑战性的分析项目。探索性数据科学项目从未完成部署,虽然重要,但是不提供实际的投资回报。
另外,“这还涉及人员保留问题,”Magestro说,“总是有更好发挥人才的工作,当他们的工作既创新,又可以实现生产。”
要达到适当的平衡,需要关注三个方面:建立一个平台或架构,同时支持实验和生产;编排分析人才,定义他们的职能;并定义分析团队将如何分配工作时间。
Magestro说最后一个方面是最重要的,因为它决定了何时创新,何时生产。 “平衡会带来收益,”他说。
优先项目No. 5:关注职能分析
上下文很重要,Magestro说。随着业务部门意识到分析的重要性,他们就会希望有更好的分析,并期望分析人才和决策者更紧密的合作。
这样做,在构建分析时,将“最终提供更强的上下文”,带来更强的成果,和更好的决策,他说。 “能够推动这一切的一件事,就是将分析师嵌入到业务部门,” Morison补充说,团队可以将分析作为服务,提供给业务部门,利用可反复使用的组件,比如API,从而加速模型的开发。
好文章,需要你的鼓励
ETH Zürich等机构研究人员提出TrustVLM框架,解决视觉-语言模型预测可信度问题。该方法利用模型中存在的"模态差距",创新性地结合图像到文本和图像到图像的相似度,实现无需重新训练即可大幅提升误分类检测性能。在17个数据集的严格测试中,TrustVLM相比现有方法在关键指标上提升显著,同时改善了零样本分类准确率。此成果为AI系统在自动驾驶、医疗等安全关键领域的可靠部署提供了重要保障。
这项研究提出了个性化安全概念,解决大语言模型对不同用户采用统一安全标准的问题。研究团队创建了PENGUIN基准测试集评估模型在处理高风险场景时的个性化安全能力,并开发了RAISE框架高效获取关键用户信息。实验表明,提供用户背景可使安全分数提高43.2%,而RAISE框架通过平均仅2.7次交互即可提高安全分数31.6%。这一创新方法将AI安全从"一刀切"转向"个性定制",为高风险领域的AI应用提供了新思路。
明尼苏达大学研究团队提出了一种创新方法,通过回合级信誉分配显著提升大语言模型(LLM)智能体的多回合推理能力。传统方法只对整个过程进行评价,而他们的MT-GRPO算法能够精确评估每个决策步骤的价值,就像为每一步提供具体反馈。在维基百科搜索工具使用场景中,该方法实现了100%的工具执行成功率和50%的答案精确匹配率,远超传统方法。这一突破不仅提高了AI在多步骤任务中的表现,也为开发更复杂的AI系统提供了重要思路。
这篇研究介绍了PISCES——一种能精确从大语言模型参数中移除特定概念知识的创新技术。与现有方法不同,PISCES通过解缠器模型识别概念相关特征,直接编辑模型参数,实现了更精准的知识移除。在Gemma和Llama模型上的测试表明,该方法不仅有效降低了目标概念的准确率(低至7.7%),还保持了模型在无关领域的高性能,并显著提高了对"重新学习"的抵抗力。这一突破为AI系统的安全部署和合规使用提供了新的可能性。