2016年大数据技术将迎来怎样的发展态势?预计机器学习、实时数据即服务、算法市场以及Spark等等都将成为发展热点。
1.首席数据官全面崛起
随着企业努力克服由变化带来的冲击,同时需要立足于数字化时代与竞争对手进行对抗,相信将有更多企业将关注重点放在新的高管职位——首席数据官(简称CDO)身上。而这类角色也将成为推动业务发展战略的中坚力量。
“首席数据官将迎来权力、声明以及……存在感,”Forrester研究公司企业架构首席分析师兼副总裁pian Hopkins在一篇博文中写道。“不过从长远角度看,这一职能角色的可行性尚存在疑问。某些类型的企业,例如数字原住民,可能无法通过任命CDO获得回 报。”
2. 支撑业务用户
受到大数据人才短缺以及必要商业信息交付能力匮乏的影响,市场需要更多分析师及数据科学家补充进来,并利用更多工具与相关功能将信息直接交付给对应 的用户群体。举例来说,微软与Salesforce双方最近各自公布了此类方案,旨在帮助非程序员用户创建应用以审查商业数据。
3.智能化嵌入
无代码编写要求的应用已经成为企业需要重视的一种可行方案,旨在简化业务用户获取所需信息的流程。不过还将有另一些成果不断涌现,即在企业内各应用程序中直接嵌入分析功能。IDC公司预测称,到2020年将有半数商业分析软件包含以认知计算功能为基础的规范性分析能力。
而着眼于宏观角度,Gartner公司指出“自主性主体与方案”将成为另一大新兴趋势,目前已经出炉的相当方案包括机器人、自动驾驶车辆、虚拟个人助手以及智能顾问等等。
“在未来五年当中,我们将迎来所谓后应用时代,届时各智能化主体将带来动态及背景关联行为及接口,”Gartner公司副总裁兼研究员David Cearley在一份声明当中指出。“IT领导者们应当探索如何利用自主性方案及主体以强化人类活动并承接部分原本必须要以人工方式完成的任务。”
4.人才短缺问题能否得到解决?
还在苦苦寻求出色的数据科学家?相信我,其它企业也面临着同样的困扰。最近由商业咨询企业A.T. Kearney公司发布的一份报告显示,72%的全球领先企业都表示自己很难招聘到合格的数据科学人才。
不过国际分析协会则预测称,随着企业逐步采取新型战术思路,人才短缺的问题可能会在2016年年内得到缓解。
“大型企业不会再过多纠结于人才短缺问题了,”该组织在其预测与优先级展望报告中提到。“相反,他们开始采取一些其它办法解决危机,包括出台新的大 学课程、改善招聘流程并建立内部规程,从而培养现有员工掌握分析与数据科学。如此一来,迫切希望实现数据分析能力的企业将最终得偿所愿。”
与此同时,IDC公司发布报告指出,这种人员短缺问题将由数据科学家领域延伸至数据架构以及数据管理层面。这将推动大数据相关专业服务业务从目前到2020年获得高达23%的年均复合增长率。
5.机器学习迎来上扬态势
所谓机器学习,可以理解为创建相关算法以帮助计算机通过经验实现学习,而其也成功吸引到了众多希望利用自动化手段取代以往人工处理流程的企业的高度关注。分析企业Ovum公司预测,机器学习将在2016年当中成为“数据准备与预测分析工作的必要前提”。
而Gartner方面则着眼于下个阶段,将先进机器学习技术视为最重要的未来战略趋势。这家分析企业宣称,机器学习中的各类先进表现形式名为深度神 经网络,其能够创造系统并学会自行认知世界。“这一领域发展迅速,而各企业也必须评估自身要如何运用这些技术以取得竞争优势。”
6. 人人都爱Spark
分析企业Ovum公司指出,SQL将在大数据分析工作中获得“至高无上”的地位,但Spark的崛起速度同样非常惊人。“Spark将作为SQL的 补充性方案,为我们提供额外的结论获取途径,例如实现图形分析流并帮助开发人员利用自己所熟悉的语言对企业数据库内的数据流进行查询,”Ovum公司首席 分析师Tony Baer在一篇博文当中写道。
7.数据即服务业务模式即将出现
IBM公司刚刚收购了Weather公司,而获取后者数据、数据流以及预测分析方案的实质在于着眼于未来。各企业需要将数据流即服务打包成为新的业 务模式。也有一部分企业着眼于相关软件包并出售自己的数据。Forrester公司预测称,部分企业将凭借这项发展战略获得市场成功,但“大部分无法取得 实质性进展。尽管拥有乐观的承诺,但大多数企业其实很难解决个人信息保护以及对应商业模式所带来的复杂性难题,”Forrester公司副总裁pian Hopkins在他的个人博客当中写道。
8. 实时分析结论
Forrester公司预测数据流提取与分析将在2016年年内成为数字化领域胜出企业们的必要能力。
“将数据转化为实际行动的通道非常狭窄。在未来12个月当中,将有更多立足于Kafka及Spark等开源项目的开源数据流分析方案不断涌现,”Forrester公司副总裁pian Hopkins在博文中写道。
9.算法市场的兴起
这是Forrester公司提出的另一项预测。“各企业将意识到很多算法与其自行开发,不如通过市场购买,而后直接向其中添加数据即 可,”Forrester公司的pian Hopkins写道。他同时列出了目前已经出现的几种此类服务,包括Algorithmia、Data Xu以及Kaggle。
好文章,需要你的鼓励
随着员工自发使用生成式AI工具,CIO面临影子AI的挑战。报告显示43%的员工在个人设备上使用AI应用处理工作,25%在工作中使用未经批准的AI工具。专家建议通过六项策略管理影子AI:建立明确规则框架、持续监控和清单跟踪、加强数据保护和访问控制、明确风险承受度、营造透明信任文化、实施持续的角色化AI培训。目标是支持负责任的创新而非完全禁止。
NVIDIA研究团队开发的OmniVinci是一个突破性的多模态AI模型,能够同时理解视觉、听觉和文本信息。该模型仅使用0.2万亿训练样本就超越了使用1.2万亿样本的现有模型,在多模态理解测试中领先19.05分。OmniVinci采用三项核心技术实现感官信息协同,并在机器人导航、医疗诊断、体育分析等多个实际应用场景中展现出专业级能力,代表着AI向真正智能化发展的重要进步。
英国正式推出DaRe2THINK数字平台,旨在简化NHS全科医生参与临床试验的流程。该平台由伯明翰大学和MHRA临床实践研究数据链开发,能够安全传输GP诊所与NHS试验研究人员之间的健康数据,减少医生的管理负担。平台利用NHS现有健康信息,安全筛查来自450多家诊所的1300万患者记录,并使用移动消息系统保持试验对象参与度,为传统上无法参与的人群开辟了研究机会。
Salesforce研究团队发布BLIP3o-NEXT,这是一个创新的图像生成模型,采用自回归+扩散的双重架构设计。该模型首次成功将强化学习应用于图像生成,在多物体组合和文字渲染方面表现优异。尽管只有30亿参数,但在GenEval测试中获得0.91高分,超越多个大型竞争对手。研究团队承诺完全开源所有技术细节。