2016年已经过去,这一年中大数据领域风云变幻,亦留下众多趋性迹象供我们探究与参考。 以此为基础,我们整理出2017年的五项大数据发展趋势与预测结论。
1.云端大数据成为主流
2016年是云计算全面普及的一年。尽量初期企业客户曾就隐私与安全等问题选择观望,但随着云环境在可用性、使用成本以及性能表现等优势领域的全面冲击,人们最终开始立足于云进行大数据项目测试——主要通过构建新应用等新建型项目。在2017年,相信这一趋势还将继续保持并放大,并推动云计算与混合数据架构的快速成熟。我们认为,最终企业客户甚至会选择将数据仓库迁移至云端。
2.流式数据与物联网成为现实
与云计算类似,2016年中流式数据与物联网基础设施的测试与构建同样如火如荼。越来越多新型物联网设备被投放至市场,而这些设备的普及使得企业需要利用流式数据传输与处理技术与之配合,这意味着Spark、Kafka以及Flume等项目开始真正将流式数据引入数据湖。在2017年内,此类设备在市场上仍将不断出现,同时要求企业客户继续以更低延迟与更高通量将流式数据导入数据湖。
3.大数据市场走向成熟
2016年,我们看到市场开始逐步走向成熟。众多企业将大数据技术引入生产环境,而非单纯用于建立片面或者测试性项目。亦有不少企业从传统数据架构转移至大数据环境。企业开始意识到大数据的价值,并将其作为商业决策中的重要组成部分。在2017年,企业将更为依赖大数据技术,届时对数据治理、数据生命周期管理及继承等方案的相关需求亦将快速增长。
4. CDO的命运
随着大数据市场在2016年的发展成熟,市场对于首席数据官的需求也在快速提升。根据Gartner公司发布的调查结果,54%的受访企业已经拥有CDO办公室,20%则计划在明年设立这一头衔。CDO作为新晋高管,了解数据对于企业数字化转型的重要意义,同时重点关注与数据使用相关的治理与管理问题。2015年是数据科学家之年,2016年是数据工程师之年,而2017年则将成为CDO之年。我们期待观察企业是否会在数字化转型过程中进一步提升CDO的重要性,或者将其作为企业基础业务的必要因素。
5. 地理位置与智能化城市
地理位置能够为人们带来丰富的洞察结论,从而推动智能化城市的最终实现。我们期待着世界各国能够快速采用智能化城市技术,利用地理定位协调警力部署、优化交通规划以及引导车主寻找车位。另外,地理位置信息还将带来更具个性化的营销效果。
着眼于2017年之后,我认为大数据与云的联姻将带来几乎无穷的可能性。各个行业都拥有着丰富且特殊的生态系统数据,而云环境的壮大则能够为其提供高一致性且成本低廉的资源平台,这一切都将最终让我们的生活变得更加美好。
好文章,需要你的鼓励
DDN推出Infinia对象存储系统,采用键值存储架构和Beta Epsilon树数据结构,实现读写性能平衡。系统在对象列表性能上比AWS快100倍,延迟降至毫秒级,支持多租户和SLA管理。通过与英伟达合作优化RAG管道,在AWS上实现22倍性能提升并降低60%成本。
大连理工大学和浙江大学研究团队提出MoR(Mixture of Reasoning)方法,通过将多种推理策略嵌入AI模型参数中,让AI能自主选择最适合的思考方式,无需人工设计专门提示词。该方法包含思维生成和数据集构建两阶段,实验显示MoR150模型性能显著提升,比基线模型提高2.2%-13.5%,为AI推理能力发展开辟新路径。
Alpine Linux核心开发者Ariadne Conill推出了Wayback项目,这是一个实验性的X兼容层,允许使用Wayland组件运行完整的X桌面环境。该项目本质上是一个提供足够Wayland功能来托管rootful Xwayland服务器的存根合成器。与现有的XWayland不同,Wayback旨在创建一个类似X11风格的基于Wayland的显示服务器,让用户能够继续使用传统的X11窗口管理器和桌面环境,而无需重写或替换这些熟悉的工具。
剑桥大学研究团队开发了FreNBRDF技术,通过引入频率修正机制显著提升了计算机材质建模的精度。该技术采用球面谐波分析提取材质频率信息,结合自动编码器架构实现高质量材质重建与编辑。实验表明,FreNBRDF在多项指标上超越现有方法,特别在频率一致性方面改善近30倍,为游戏开发、影视制作、电商预览等领域提供了重要技术支撑。