ZD至顶网CIO与应用频道 11月10日 北京消息:11月10日,具有计算奥运会之称的SortBenchmark全球排序竞赛公布2016年最终成绩,腾讯云大数据联合团队用时不到99秒(98.8秒)就完成100TB的数据排序,打破阿里云去年创造的329秒的纪录。在更早前,百度创造的纪录是716秒,Hadoop的纪录是4222秒。
Sort Benchmark通过排序竞赛考量一家公司或机构大规模计算能力的综合实力,通过排序这个最基本的计算问题,不仅全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC规划建设能力等)。在这次排序竞赛中,腾讯云大数据联合团队在基础架构上采用了512台IBM的OpenPOWER服务器和迈络思公司的100Gb互联技术,这也让腾讯云大数据产品的性能取得进一步提升。
在对微信每天160亿级别的多维分析场景中,数智能够做到6秒返回结果;数智是腾讯云在互联网海量数据处理经验之上,结合开源Hadoop生态和自研组件服务,对外提供的一站式数据分析与挖掘平台,已在政府、传统企业和互联网企业中被深度应用。
业内人士评价,今年评测的结果显示,腾讯在大数据的技术积累超出了业界想象,未来腾讯持续向中国企业输出大数据和云计算能力,将会让中国更大范围的参与全球的商业竞争,提升中国经济在全球经济的市场占有率。
SortBenchmark排序竞赛官网公布的结果:http://sortbenchmark.org/
好文章,需要你的鼓励
这项研究针对现代文档检索系统中的关键缺陷:独立处理文档片段导致丢失上下文信息。研究团队开发了ConTEB基准测试来评估模型利用文档级上下文的能力,并提出了InSeNT方法,结合后期分块和创新的对比学习策略。实验表明,上下文感知嵌入显著提升检索性能,尤其在处理非自包含文本片段时,同时保持计算效率,对分块策略更具鲁棒性,并且在语料库规模扩大时表现更佳。这一研究为更智能的文档检索系统铺平了道路。
这项由布朗大学和Cohere实验室研究者联合进行的研究全面分析了大型语言模型(LLM)安全研究中的语言不平等现象。通过系统回顾近300篇2020-2024年间的安全相关论文,研究发现LLM安全研究严重偏向英语,即使中文这样的高资源语言也仅获得英语十分之一的研究关注,且这一差距正在扩大。研究还揭示非英语语言很少作为独立研究对象,且英语安全研究常忽略语言覆盖文档化。为解决这一问题,研究者提出了三个未来方向:开发文化敏感的评估基准、创建多语言安全训练数据,以及深入理解跨语言安全泛化挑战。
这项研究提出了ChARM,一种创新的角色扮演AI奖励建模框架,通过行为自适应边界和自我进化策略大幅提升AI角色的真实性和一致性。研究团队创建了包含1,108个角色的RoleplayPref数据集,实验表明ChARM比传统模型提高了13%的偏好排名准确率,应用于DPO技术后在多项基准测试中达到了领先水平。这一突破将为娱乐、教育和心理健康支持等领域带来更加自然、个性化的AI互动体验。
这篇研究重新审视了循环神经网络中的双线性状态转换机制,挑战了传统观点。高通AI研究团队证明,隐藏单元不仅是被动记忆存储,更是网络计算的积极参与者。研究建立了一个从实数对角线到完全双线性的模型层级,对应不同复杂度的状态跟踪任务。实验表明,双线性RNN能有效学习各种状态跟踪任务,甚至只需极少量训练数据。研究还发现,纯乘法交互比加法交互更有利于状态跟踪,为循环网络设计提供了新视角。