至顶网CIO与CTO频道 11月07日 北京消息:互联网流量正以平均每年26%的速度增长。2017年以来,视频流量在整个互联网流量的占比一直处于高位。从2017年的75%,到现在的约80%, 到2022年预计超过82%的互联网流量将来自于视频或者包含视频的应用。
2019年,每月约200EB的互联网流量里80%来自于视频,到2022年,这个数字将会翻倍,这个巨大的数字所代表的商业价值不言而喻。
腾讯多媒体实验室专注于多媒体技术领域的前沿技术探索、研发、应用和落地。积极贡献国际国内行业标准制定,包括多媒体数据压缩、网络传输协议、多媒体系统和开源平台等。
腾讯多媒体实验室打造三大核心能力,第一、音视频编解码、网络传输和实时通信;第二、多媒体内容处理、分析、理解和质量评估;第三、沉浸式媒体系统设计和端到端解决方案。腾讯于2018年开始参与VVC标准制定,迄今为止已经向标准组织提交超过250个技术提案,其中约70个技术提案已被标准采纳。
编解码技术是数字时代视频应用不可缺少的环节,视频编解码的效率直接影响着一个产品或者一套解决方案的效率、成本、品质甚至是成败。
尽管压缩效率非常重要,但并不是所有人都在使用压缩效率最高的编解码格式,因为不同的应用场景对视频编解码器的需求侧重有所不同。腾讯杰出科学家、腾讯多媒体实验室总经理刘杉表示,在质量、延迟、带宽、成本之间寻找一个最优平衡点是我们努力的方向和目标。
腾讯杰出科学家、腾讯多媒体实验室总经理刘杉
同时AI也已经渗透到多媒体数据压缩、数据处理、数据传输整个链路中,例如数据处理中的,视频画面增强、降噪、锐化、超分、倍增等,以及数据压缩和传输的效率提升。
云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端用户的游戏设备不需要任何高端处理器和显卡,只需要视频解压缩能力。
云游戏商业化面临一个挑战就是高成本,刘杉说道,其中最大的成本来自于带宽 34%,其次是GPU 27%。视频编解码器的优化将有助于大大降低云游戏的带宽成本,推动云游戏商业化。
到了5G时代,让更多应用触手可及,使得万物互联成为可能,在5G的影响下,媒体内容的生产、获取和传播方式都在发生变化。
“4K、8K、VR、AR、MR、点云在过去因为受限于网络带宽的应用,在5G的推动下可能会迎来突破。”刘杉说道,5G的低延迟特性还将触及医疗和其他一些倚赖高速连接和互动的领域,例如远程手术和自动驾驶。
互动沉浸式媒体也将在5G时代迎来爆发,其应用领域非常广泛,包括文旅、教育、影视、泛娱乐、安全、零售等很多垂直行业。
腾讯多媒体实验室也正围绕着腾讯的业务并在不同垂直行业进行应用。例如腾讯多媒体实验室与腾讯云合作的“一部手机游云南”项目,其提供了裸眼VR全景技术,结合白沙细乐、热美磋等多项云南非物质文化遗产内容,为云南旅游景点提供精细化导游导览方案。通过此项技术,游客可跨越时空限制,用一部手机即可随时随地观看演出,身临其境感受当地文化魅力。
多媒体实验室还联合腾讯视频和腾讯云推出AI智能云剪辑,在最短时间内将十一阅兵中精彩片段进行拆分和剪辑。腾讯多媒体实验室和腾讯云正在研发的智能场记解决方案,运用深度学习技术结合信号处理理论,对视频内容进行高级语义理解,并已经在体育赛事等场景取得阶段性成果。
好文章,需要你的鼓励
本文评测了六款控制台平铺终端复用器工具。GNU Screen作为老牌工具功能强大但操作复杂,Tmux更现代化但学习曲线陡峭,Byobu为前两者提供友好界面,Zellij用Rust编写界面简洁易用,DVTM追求极简主义,Twin提供类似TurboVision的文本界面环境。每款工具都有各自特点和适用场景。
韩国汉阳大学联合高通AI研究院开发出InfiniPot-V框架,解决了移动设备处理长视频时的内存限制问题。该技术通过时间冗余消除和语义重要性保留两种策略,将存储需求压缩至原来的12%,同时保持高准确性,让手机和AR眼镜也能实时理解超长视频内容。
网络安全公司Snyk宣布收购瑞士人工智能安全研究公司Invariant Labs,收购金额未公开。Invariant Labs从苏黎世联邦理工学院分拆成立,专注于帮助开发者构建安全可靠的AI代理工具和框架。该公司提供Explorer运行时观察仪表板、Gateway轻量级代理、Guardrails策略引擎等产品,并在工具中毒和模型上下文协议漏洞等新兴AI威胁防护方面处于领先地位。此次收购将推进Snyk保护下一代AI原生应用的使命。
纽约大学研究团队通过INT-ACT测试套件全面评估了当前先进的视觉-语言-动作机器人模型,发现了一个普遍存在的"意图-行动差距"问题:机器人能够正确理解任务和识别物体,但在实际动作执行时频频失败。研究还揭示了端到端训练会损害原有语言理解能力,以及多模态挑战下的推理脆弱性,为未来机器人技术发展提供了重要指导。