至顶网CIO与应用频道 05月22日 人物访谈(文/孙博):“在我们开始做电商(考拉、严选)的时候,发现数据开发工程师、数据分析师老板招聘量很大,发现即便用高薪也很难招到合适的人。这时候老板就对我们提出了一个需求,如何让网易普通的开发工程师、业务人员,通过大数据平台就可以自主进行大数据可视化分析。”
1997年成立的网易,经过二十年的发展,其业务范围已经涉及到在线游戏、电子邮箱、在线教育、电子商务、在线音乐等多种服务,积累了大量用户线上线下的行为数据,因此数据分析的需求也就不言而喻。网易有数总经理魏文庆谈到,最初布局大数据技术的初衷,就是希望让内部普通的工程师进行大数据开发,非技术人员能够独立做数据分析工作。
网易有数总经理 魏文庆
非技术人员自主解读大数据
早前,网易针对技术研究成立了网易杭州研究院,成立最初是解决web2.0时代的海量数据存储的问题。现在逐步发展成为集研究院、工程院、孵化器与一身的综合性结构。在大数据方面,随着业务的复杂度逐渐加深,网易的两个大数据平台及产品——“猛犸”和“有数”应运而生。
“猛犸”是网易研发的大数据应用开发和管理平台,功能覆盖数据传输、计算及作业流调度,每天要对网易考拉海购、网易严选、网易云音乐 等各个产品进行数据收集、管理与计算。平均每天要处理PB级以上的数据,有大约7万个任务在调度。
另一款产品“有数”,定位是敏捷数据分析平台,数据资产管理的目的是对所积累的海量数据进行深度加工。据魏文庆的描述,这款产品有着甚至连国际友商都不具备的功能——有着和PPT一模一样的操作方式,包括整个布局、右侧配置、快捷键以及图片播放等等……
除此之外,“有数”平台上,只需要用自然语言输入,就可以从数据直接推到出图形,方便了大部分业务人员更直观分析数据情况的需求。总结出来,“有数”可以帮助非技术人员用智能图表的形式解读数据。
魏文庆介绍,两款产品均实现了可视化交互,比如日志、不同数据源的集成,都可以用可视化方式做任务的配置和调度。并且将数据分析、数据建模、数据处理等业务的门槛降低,经过培训的业务人员就可以进行独立数据分析工作,最后将分析结果汇报给管理层。在培训方面,网易有数会定期将课程视频通过网易云课堂,为企业提供在线的教程培训。
不做生态的大数据服务供应商
据了解,早在一年前“猛犸”和“有数”就已经开始了对外输出服务,目标客户更偏向于中、大型传统企业。
例如此前与吉利集团的合作,通过网易开放的大数据、计算、可视化等相关能力,缩短了吉利新产品的上线周期。以及帮助吉利把数据汇聚起来,通过多个不同的模型,从中找到最优的分析结果。
目前网易在为包括吉利、税友软件等知名企业,帮助他们搞定大数据计算管理方面的问题。“我们现在跟一些顶尖的、规模非常大的非互联网企业在合作。”魏文庆重点强调了“非互联网”企业。
在近两年国内的IT市场中,可以明显感觉到一个明显的趋势——做生态。为了更好应对竞争,很多IT厂商都选择了与行业中的领先企业达成战略合作,组建更具竞争力的生态体系,迅速拓展市场。
而在此次采访中,魏文庆透露他们从最初开始并且未来都没有考虑建立大数据服务的生态圈。对于这样的考量,其实也是由于网易有数所服务的客户规模。数据是每个企业非常核心和机密的资产,而大中型企业往往更看重企业内部的隐私。网易希望保持中立的角色,只关注于产品,不建生态,实现私有化部署的大数据平台。
截止到目前为止,网易大数据服务的用户量已过两位数。谈到未来的发展计划,魏文庆强调他们并没有急着去拓展用户数量,而是希望专注在技术层面,从而更好为传统企业内部的业务人员服务,解决“有数”和“猛犸”一开始研发的初衷。
好文章,需要你的鼓励
研究人员基于Meta前首席AI科学家Yann LeCun提出的联合嵌入预测架构,开发了名为JETS的自监督时间序列基础模型。该模型能够处理不规则的可穿戴设备数据,通过学习预测缺失数据的含义而非数据本身,成功检测多种疾病。在高血压检测中AUROC达86.8%,心房扑动检测达70.5%。研究显示即使只有15%的参与者有标注医疗记录,该模型仍能有效利用85%的未标注数据进行训练,为利用不完整健康数据提供了新思路。
西湖大学等机构联合发布TwinFlow技术,通过创新的"双轨道"设计实现AI图像生成的革命性突破。该技术让原本需要40-100步的图像生成过程缩短到仅需1步,速度提升100倍且质量几乎无损。TwinFlow采用自我对抗机制,无需额外辅助模型,成功应用于200亿参数超大模型,在GenEval等标准测试中表现卓越,为实时AI图像生成应用开辟了广阔前景。
AI云基础设施提供商Coreweave今年经历了起伏。3月份IPO未达预期,10月收购Core Scientific计划因股东反对而搁浅。CEO Michael Intrator为公司表现辩护,称正在创建云计算新商业模式。面对股价波动和高负债质疑,他表示这是颠覆性创新的必然过程。公司从加密货币挖矿转型为AI基础设施提供商,与微软、OpenAI等巨头合作。对于AI行业循环投资批评,Intrator认为这是应对供需剧变的合作方式。
中山大学等机构联合开发的RealGen框架成功解决了AI生成图像的"塑料感"问题。该技术通过"探测器奖励"机制,让AI在躲避图像检测器识别的过程中学会制作更逼真照片。实验显示,RealGen在逼真度评测中大幅领先现有模型,在与真实照片对比中胜率接近50%,为AI图像生成技术带来重要突破。