ZD至顶网CIO与应用频道 03月15日 北京消息:Teradata天睿公司(Teradata Corporation,纽交所:TDC)宣布,推出全新数据湖管理软件平台Kylo™。该平台运用Apache® Hadoop®、Apache Spark™、Apache NiFi™等最新开源框架搭建,帮助企业以前所未有的效率打造数据湖,为开源社区做出重要贡献。Kylo是由Teradata天睿公司赞助的开源项目,将在Apache 2.0许可下交付。Teradata子公司Think Big Analytics从成功部署的数据湖项目中采集代码,推动Kylo™不断演进,并将为Kylo提供专业服务和支持。
凭借从数据湖创造业务价值的实践经验,Teradata天睿公司推出Kylo™,帮助企业解决数据湖实施进程中最常见的问题。其中,数据湖的核心问题是搭建时间过长。在平均6-12个月的构建周期内,用户发现使用案例已然过时,无法推动业务快速演进。其次,虽然使用最低成本的软件,但工程成本迅速攀升。最后,一旦数据湖完成搭建,可能对发现数据湖难以探索的用户不具吸引力,因此其价值微乎其微。
根据各行业数据湖部署经验开发而成的Kylo能够轻松解决这些问题,因为它整合并简化数据加载开发及通用数据管理任务,加速创造价值,提升用户接受度及开发人员工作效率。Kylo无需编程,其直观的自助式数据提取与整理用户界面可加快开发过程。Kylo还运用可复用模板,进一步提升工作效率。
Enterprise Strategy Group(ESG)高级分析师Nik Rouda表示:“许多企业发现在Hadoop环境上实施大数据解决方案错综复杂。大数据技术亟需软件工程人员、开发人员及系统管理员。但研究发现,28%的企业仍难以组建具备足够商业智能与分析能力的团队,更谈不上具备部署大数据与开源解决方案的专业技能。77%的受访企业表示,新的大数据项目将需要7个月到3年的周期才能展现出显著的业务价值。Teradata天睿公司发布开源Kylo™,帮助企业解决这些问题,做出极具意义的创新性贡献,令人称道。”
Kylo™从150多个数据湖项目中汲取丰富经验,帮助企业解决数据湖部署工作的最常见挑战,包括:
- 经验丰富的软件工程师与管理员的技能短缺;
- 了解并实施数据湖治理的最佳实践;
- 提升工程师以外的人对数据湖的采用度。
如能解决这些问题,将实现显著业务成果。Teradata天睿公司实际上已帮助众多企业节省成本,并从数据湖开创新收入流,例如:
- 帮助半导体制造商提升晶片产出质量,降低废品率,节省时间,提高产量,籍此增强业务价值;
- 帮助工业设备制造商实现全新服务模型、服务级别协议、介入流程,特别是实现新收入流;
- 帮助全球知名的研究医院减少患者准备时间,帮助医生治疗更多患者。
Teradata天睿公司执行副总裁兼首席产品官Oliver Ratzesberger表示:“Kylo开创开源数据湖管理先河,尽显Teradata天睿公司致力大数据、分析及开源软件开发的愿景,这令人倍感兴奋。Teradata很早就曾开发出Presto、Covalent等许多开源项目。我们对商业与开源项目的结合驾轻就熟,因此我们开发了两个领域的最佳方案,并首创开源软件新方法,使其成为客户选择策略的重要组成部分,帮助每位用户提升商业系统与开源软件的市场格局。”
Teradata天睿公司将开源软件与商业系统混搭,已赢得客户认可,客户将不断运用Teradata产品,以挖掘企业潜能。
Discover企业级数据架构总监Ka Tang表示:“Discover® Financial Services专注于运用前沿技术,快速将产品投放市场,并提供卓越的客户服务。Kylo™独特的框架具备推动Apache NiFi新数据源开发与价值实现的潜力。依托Kylo™,我们将有机会运用开源创新技术,并利用这一机会回馈开源社区。”
Think Big Analytics 总裁Rick Farnell表示:“开源软件能吸引追求独立性、合作学习、试验与灵活定制化部署的用户。我们此次推出Kylo,致力于帮助企业打好可扩展数据湖的基础,针对企业业务、技术数据与分析目标不断演进。我们不断排除障碍,运用数据解决复杂的业务问题,并鼓励分析用户为不断发展的Kylo™社区做出贡献。未来,我们将专注于帮助客户超越产品功能,通过分析创造业务价值。Kylo以及我们的Teradata Everywhere软件与服务方案,彰显我们着眼未来、实施创新战略的宏伟愿景。”
例如一家大型电信公司组建拥有30名数据工程师的大型团队,耗费数月手动编写数据加载处理程序。部署Kylo™后,一名工程师在不到一周时间内就能提取、清洗、归类、验证同样规模的数据。Kylo™不仅提升数据过程效率,还帮助其他工程师专注于需要优先处理的多个重要业务。
用户可通过Kylo™项目网站:www.kylo.io,或通过GitHub网站来获取Kylo软件、文档与教程。
Think Big还将在收到请求时,按需提供以下可选服务:
- Kylo™支持;
- Kylo™实施服务;
- Kylo™培训;
- Kylo™管理服务。
Hortonworks首席技术官Scott Gnau表示:“Kylo为Apache NiFi提供工具,使它能够更快速、更轻松地向数据湖导入数据。Hortonworks非常高兴地宣布Kylo获得Hortonworks DataFlow认证,并将与Kylo合作扩展NiFi支持关系。”
Teradata天睿公司在开源Kylo™的治理、管理及社区建设方面发挥了领导作用。
好文章,需要你的鼓励
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。
这项由中国人民大学高瓴人工智能学院研究团队发表的研究解决了大语言模型评判中的自我偏好问题。研究提出了DBG分数,通过比较模型给自身回答的分数与黄金判断的差异来测量偏好度,有效分离了回答质量与自我偏好偏差。实验发现,预训练和后训练模型都存在自我偏好,但大模型比小模型偏好度更低;调整回答风格和使用相同数据训练不同模型可减轻偏好。研究还从注意力分析角度揭示了自我偏好的潜在机制,为提高AI评判客观性提供了重要指导。
这篇研究提出了DenseDPO,一种改进视频生成模型的新方法,通过三大创新解决了传统方法中的"静态偏好"问题:使用结构相似的视频对进行比较,采集细粒度的时序偏好标注,并利用现有视觉语言模型自动标注。实验表明,DenseDPO不仅保留了视频的动态性,还在视觉质量方面与传统方法相当,同时大大提高了数据效率。这项技术有望推动AI生成更加自然、动态的视频内容。