2016年已经过去,这一年中大数据领域风云变幻,亦留下众多趋性迹象供我们探究与参考。 以此为基础,我们整理出2017年的五项大数据发展趋势与预测结论。
1.云端大数据成为主流
2016年是云计算全面普及的一年。尽量初期企业客户曾就隐私与安全等问题选择观望,但随着云环境在可用性、使用成本以及性能表现等优势领域的全面冲击,人们最终开始立足于云进行大数据项目测试——主要通过构建新应用等新建型项目。在2017年,相信这一趋势还将继续保持并放大,并推动云计算与混合数据架构的快速成熟。我们认为,最终企业客户甚至会选择将数据仓库迁移至云端。
2.流式数据与物联网成为现实
与云计算类似,2016年中流式数据与物联网基础设施的测试与构建同样如火如荼。越来越多新型物联网设备被投放至市场,而这些设备的普及使得企业需要利用流式数据传输与处理技术与之配合,这意味着Spark、Kafka以及Flume等项目开始真正将流式数据引入数据湖。在2017年内,此类设备在市场上仍将不断出现,同时要求企业客户继续以更低延迟与更高通量将流式数据导入数据湖。
3.大数据市场走向成熟
2016年,我们看到市场开始逐步走向成熟。众多企业将大数据技术引入生产环境,而非单纯用于建立片面或者测试性项目。亦有不少企业从传统数据架构转移至大数据环境。企业开始意识到大数据的价值,并将其作为商业决策中的重要组成部分。在2017年,企业将更为依赖大数据技术,届时对数据治理、数据生命周期管理及继承等方案的相关需求亦将快速增长。
4. CDO的命运
随着大数据市场在2016年的发展成熟,市场对于首席数据官的需求也在快速提升。根据Gartner公司发布的调查结果,54%的受访企业已经拥有CDO办公室,20%则计划在明年设立这一头衔。CDO作为新晋高管,了解数据对于企业数字化转型的重要意义,同时重点关注与数据使用相关的治理与管理问题。2015年是数据科学家之年,2016年是数据工程师之年,而2017年则将成为CDO之年。我们期待观察企业是否会在数字化转型过程中进一步提升CDO的重要性,或者将其作为企业基础业务的必要因素。
5. 地理位置与智能化城市
地理位置能够为人们带来丰富的洞察结论,从而推动智能化城市的最终实现。我们期待着世界各国能够快速采用智能化城市技术,利用地理定位协调警力部署、优化交通规划以及引导车主寻找车位。另外,地理位置信息还将带来更具个性化的营销效果。
着眼于2017年之后,我认为大数据与云的联姻将带来几乎无穷的可能性。各个行业都拥有着丰富且特殊的生态系统数据,而云环境的壮大则能够为其提供高一致性且成本低廉的资源平台,这一切都将最终让我们的生活变得更加美好。
好文章,需要你的鼓励
IBM Spyre加速器将于本月晚些时候正式推出,为z17大型机、LinuxONE 5和Power11系统等企业级硬件的AI能力提供显著提升。该加速器基于定制芯片的PCIe卡,配备32个独立加速器核心,专为处理AI工作负载需求而设计。系统最多可配置48张Spyre卡,支持多模型AI处理,包括生成式AI和大语言模型,主要应用于金融交易欺诈检测等关键业务场景。
加拿大女王大学研究团队首次对开源AI生态系统进行端到端许可证合规审计,发现35.5%的AI模型在集成到应用时存在许可证违规。他们开发的LicenseRec系统能自动检测冲突并修复86.4%的违规问题,揭示了AI供应链中系统性的"许可证漂移"现象及其法律风险。
意大利初创公司Ganiga开发了AI驱动的智能垃圾分拣机器人Hoooly,能自动识别并分类垃圾和可回收物。该公司产品包括机器人垃圾桶、智能盖子和废物追踪软件,旨在解决全球塑料回收率不足10%的问题。2024年公司收入50万美元,已向谷歌和多个机场销售超120台设备,计划融资300万美元并拓展美国市场。
这项由剑桥大学、清华大学和伊利诺伊大学合作的研究首次将扩散大语言模型引入语音识别领域,开发出Whisper-LLaDA系统。该系统具备双向理解能力,能够同时考虑语音的前后文信息,在LibriSpeech数据集上实现了12.3%的错误率相对改进,同时在大多数配置下提供了更快的推理速度,为语音识别技术开辟了新的发展方向。