ZD至顶网CIO与应用频道 11月14日 北京消息:近日,数人云与清华大学交叉信息研究院开放计算项目实验室(OCP实验室)合作共建深度学习平台,该平台通过数人云操作系统实现GPU资源共享,利用Docker技术交付深度学习的运行环境,让深度学习项目组师生可以更加灵活地使用GPU资源,并解决深度学习环境部署繁琐的问题。
深度学习算法的计算性能依赖强大的GPU计算能力,为了尽可能提高GPU资源利用率,数人云利用Mesos将GPU资源汇聚成资源池实现资源共享,并借用Docker交付深度学习的运行环境。
深度学习平台利用nvidia-docker ( https://github.com/NVIDIA/nvidia-docker )容器化深度学习组件,同时,借助数人云搭建GPU集群,共享GPU资源。最终,为用户提供了可一条命令部署深度学习环境的平台。
NVIDIA GPU,平行计算平台CUDA与Docker 的集成
(图片来源https://github.com/NVIDIA/nvidia-docker/wiki)
在节点内部,数人云利用nvidia-docker帮助容器内部的程序调用外面主机上的CUDA Driver。CUDA Driver及GPU Driver安装在外部Host上,CUDA Toolkit,及其它深度学习组件及用户应用程序运行在Docker容器中。这样既能快速配置环境,又保证了HOST不受用户应用程序污染。
在Docker容器中运行caffe device_query –gpu all的结果
数人云打造的GPU集群,将深度学习的任务分配到服务器上,采用分布式计算方法,极大程度上提高了GPU的资源利用率。
2015年6月,Facebook资助清华大学交叉信息研究院,成立中国唯一的一家OCP实验室,自2015年9月开始,数人云和清华大学交叉信息研究院助理院长徐葳博士合作在OCP实验室开展数据中心方面的相关研究工作。今年3月,数人云联合清华大学OCP实验室完成“百万并发”压力测试,数人云通过10台OCP服务器成功承载了百万并发HTTP请求,并进行了广泛的性能测试。
好文章,需要你的鼓励
Docker公司发布重大新功能,旨在简化智能体AI应用的构建、运行和部署。公司扩展了Docker Compose工具以支持AI智能体和模型的大规模部署,并推出Docker Offload服务,允许开发者将AI工作负载转移到云端。新功能还支持模型上下文协议网关的安全连接,并与谷歌云、微软Azure等合作伙伴集成。
这项研究首次将在线强化学习成功应用于流匹配模型,通过巧妙的ODE到SDE转换和去噪减少策略,显著提升了AI图像生成的精确度和可控性。在复合场景生成、文字渲染等任务上取得突破性进展,为AI生成领域开辟了新的技术路径。
欧盟发布AI法案实施细则,要求谷歌、Meta、OpenAI等公司承诺不使用盗版材料训练AI,详细披露训练数据来源和模型设计理念。新规还要求公司尊重付费墙和网站爬虫限制,公开训练和推理的总能耗,并在5-10天内向欧盟AI办公室报告安全事件。违规企业可能面临年销售额7%或3%的罚款。
这篇由阿里巴巴集团联合多所知名高校发表的综述论文,系统梳理了统一多模态理解与生成模型的最新发展。研究将现有模型分为扩散、自回归和混合三大类型,详细分析了不同图像编码策略的特点,整理了相关数据集和评估基准,并深入探讨了当前面临的技术挑战。