竞价是广告服务的重要功能,不仅需求数量大,而且反应速度要求高,需要在100毫秒给出快速反馈。基于亚马逊云科技的底层架构和网络的优化,FreeWheel实现了在不同的系统中动态出价能力,让业务产生飞轮效应。
从本地到云的加速度
FreeWheel隶属于美国综合性传媒集团康卡斯特(Comcast),提供电视及互联网视频广告投放、预测和增值服务等关键解决方案的技术公司,服务于全美90%以上的美国主流电视媒体和运营商,每年支持近500亿美元的优质广告展示。
FreeWheel的业务遍布全球,在纽约、旧金山、芝加哥、伦敦、巴黎、北京等地设有分支机构。北京分公司是全球研发中心,负责公司核心产品的研发。
FreeWheel一方面对接广告主及代理商,一方面对接视频媒体运营商,实现跨平台的广告精准投放,数据赋能、身份管理以及自动化交易。FreeWheel为伦敦奥运会、索契冬奥会、巴西世界杯直播媒体FOX、里约奥运会等大型顶级赛事媒体提供广告技术支持。
在FreeWheel快速发展的过程中,FreeWheel CTO马玉羚体会到了四大挑战:第一,持续的应用创新与迭代:交易本身的需求、售卖方式等都在不断变化,需要持续的更新;第二,快速、宽幅的弹性伸缩:像体育赛事瞬时流量的激增需要具备弹性扩展的能力进行支持;第三,海量的数据存储与处理:每天要处理80T的日志数据,最终存储10T的数据,数据存储后还要对各种不同应用预测提供分析;第四,严格的安全和合规要求。
FreeWheel CTO马玉羚
FreeWheel最早拥有的20多个数据中心,大部分业务已经迁移到公有云,只有少量业务由于其特殊性,目前还在本地。
敏捷型企业的践行者
FreeWheel上云后首先进行了应用的迁移,之后又进行了优化。其使用了Amazon EKS、Amazon Lambda、Amazon Aurora、Amazon DynamoDB、Amazon S3等Serverless服务。基于亚马逊云服务,FreeWheel还开发了一些工具,像运维平台,监控能力等。
FreeWheel的架构可以分为四部分,第一,与用户输入业务逻辑相关;第二,广告投放引擎;第三,数据处理应用;第四,预测和算法。马玉羚表示,目前业务逻辑部分全部进行了微服务化,一个服务可以拆分成20-30个服务,提高了服务的开发节奏和开发效率,同时其他部分的微服务也在逐步进行。微服务之间通过gRPC方式进行交互,跨系统之间的交互有两种模式,系统间有兼容协议使用gRPC方式,没有则使用传统Restful方式交互。
“为了保证整个系统的效率,FreeWheel很多应用场景都是通过AI进行调节。”马玉羚说道,系统每秒都会进入大量的需求,基于Amazon SageMaker建立的AI模型可以对整个系统进行监控。在广告预测上可以使模型的迭代周期大幅缩短,效果提升近1倍。
同时,借助于Amazon RDS和Amazon EBS的安全特性,FreeWheel可以轻松满足数据存储、加密等审计方面的需求。Spot Instance的使用也让团队节省了超过50%的资源使用成本,并提升了团队的运维效率。
这些都保证了FreeWheel可以快速构建新业务,以新推出的Marketplace Platform为例,Amazon EKS提供了50+集群和5000+Pods,Amazon Lambda保证了每天100万的请求,Amazon SageMaker对交易需求进行分析,累计处理100TB数据,后端数据接入Amazon Aurora、Amazon DynamoDB、Amazon S3。
未来系统稳定性永远是FreeWheel的第一要素,具备自动伸缩和跨区域容灾的能力;其次在生产效率上,需要快速、敏捷的推出新的产品和功能;最后是数据驱动,利用人工智能和机器学习进行预测,用数据驱动运营。
好文章,需要你的鼓励
研究人员基于Meta前首席AI科学家Yann LeCun提出的联合嵌入预测架构,开发了名为JETS的自监督时间序列基础模型。该模型能够处理不规则的可穿戴设备数据,通过学习预测缺失数据的含义而非数据本身,成功检测多种疾病。在高血压检测中AUROC达86.8%,心房扑动检测达70.5%。研究显示即使只有15%的参与者有标注医疗记录,该模型仍能有效利用85%的未标注数据进行训练,为利用不完整健康数据提供了新思路。
西湖大学等机构联合发布TwinFlow技术,通过创新的"双轨道"设计实现AI图像生成的革命性突破。该技术让原本需要40-100步的图像生成过程缩短到仅需1步,速度提升100倍且质量几乎无损。TwinFlow采用自我对抗机制,无需额外辅助模型,成功应用于200亿参数超大模型,在GenEval等标准测试中表现卓越,为实时AI图像生成应用开辟了广阔前景。
AI云基础设施提供商Coreweave今年经历了起伏。3月份IPO未达预期,10月收购Core Scientific计划因股东反对而搁浅。CEO Michael Intrator为公司表现辩护,称正在创建云计算新商业模式。面对股价波动和高负债质疑,他表示这是颠覆性创新的必然过程。公司从加密货币挖矿转型为AI基础设施提供商,与微软、OpenAI等巨头合作。对于AI行业循环投资批评,Intrator认为这是应对供需剧变的合作方式。
中山大学等机构联合开发的RealGen框架成功解决了AI生成图像的"塑料感"问题。该技术通过"探测器奖励"机制,让AI在躲避图像检测器识别的过程中学会制作更逼真照片。实验显示,RealGen在逼真度评测中大幅领先现有模型,在与真实照片对比中胜率接近50%,为AI图像生成技术带来重要突破。