近日Max Chan和我们分享了Avnet公司在现代数字领域得到的经验教训,从优化云支出到利用AI提高客户满意度。
Avnet公司是最大的技术分销商和供应链解决方案提供商之一,作为该公司的首席信息官,我负责IT堆栈并监督数字化转型和战略。支撑我们数字化方法的两个关键领域,分别是云和AI。

Avnet CIO Max Chan
云和成本管理的重要性
我们在云之旅的早期就意识到,如果没有适当的FinOps能力和整体治理,成本就会飙升。但在制定了一些规则并确定了可以优化运营的方面之后,我们找到了更好的平衡点。
话虽如此,我们并不是100%使用云的。相反,我们专注于真正支持云功能的用例。我们优先考虑这些工作负载,然后将它们迁移到云中。但是,我们并不打算将所有内容都转移到云中,其中一些操作和功能仍保留在内部。
当我们开始使用生成式AI和大型语言模型时,我们利用了厂商在云中提供的功能。但我们从一开始就知道,凭借我们的云经验和提供商的做法,成本是很高的。
现在我们在生产中有一些AI用例,我们开始尝试内部托管和管理小型语言模型或者那些不需要放在云中的、特定领域的语言模型。
我们看到的结果与许多研究结果是一致的,例如IDC发布的有关计算、冷却和可持续性成本的研究。如果没有适当的管理,将AI与云结合起来的成本将是非常高昂的。
让AI与云结合使用变得合理化,这一点非常重要。作为分销商,我们的业务利润率很低,而云可能占到营业收入的25%。因此,我们必须考虑如何以敏捷的方式部署AI和云。我们必须能够对业务需求做出反应,积极主动地提供业务所需的东西。除了我们自己接受它,没有别的方法了。
超越生产力:使用AI来帮助满足客户
当谈到AI或者生成式AI时,就像其他人一样,我们从我们可以控制的用例开始,包括内容生成、情感分析和相关领域。
随着我们探索和理解这些用例,我们开始涉足其他领域。例如,我们有一个令人兴奋的数据清理用例,就是利用生成式AI和非生成式机器学习来帮助我们识别不准确的产品描述或者不正确的分类,然后对其进行清理,重新生成准确的、标准化的描述。
这可能会提高内部生产力,但同时你也必须这样想:作为分销商,我们在任何时候都要处理数百万个零件。我们的供应商合作伙伴每个季度都会向我们发送他们的价格手册、规格表和产品信息。因此,让一群人试图浏览所有这些数据以查找不准确之处,是一项艰巨的、几乎不可能完成的任务。
但借助AI和生成式AI功能,我们能够以超过人类的速度更快地清理任何不准确之处,有时只需24小时,有助于我们通过改善客户体验来提高转化和推动业务的能力。
另一个AI的例子就是我们的设计服务。我们有一个设计中心,为客户提供自助服务功能,生成机器人图表并将其转换为规格表和零件清单。借助此工具,生成式AI让客户可以提出诸如“帮我将物理占用空间减少30%”或者“如何将上市时间缩短至三个月?”之类的问题。有了正确的数据,这个工具就可以整合这些请求并创建替换规格、零件清单和建议。在这种情况下,采用生成式AI为客户提供了全新的无缝体验。
数据和专注的重要性
对于那些希望纳入更多AI用例的组织来说,正确的数据至关重要。这就是我们谈论干净数据和AI就绪型数据的原因,这一点非常重要。回到云端,我们确保带到云端的所有数据都能被下游使用。
在开始任何AI计划之前,我的第一条建议是确保你的数据处于最佳状态。
其次,不要再被困在我所谓的概念验证(POC)牢笼中。你必须确定优先级。寻找一个、二个或者三个可以扩展的用例,然后进行扩展。因为如果你不进行扩展,你就要应对数百个项目,却不会取得任何进展或产生任何影响。
IDC最近的一份报告发现,企业可能正在应对大约39个POC,但其中只有5个投入到了生产中。我的问题是:为什么要应对这39个?你只需要专注于这5个,然后扩展其中的1、2个就行了。
最后,市面上有这么多提供商和这么多模型,选择一个并尝试一下。因为到最后,你会从中学到一些东西。如果你需要更多或不同的东西,决定要做什么,然后从那里开始,不要什么都试,这种方法会让你回到POC牢笼中,阻碍你的组织取得真正的进展和影响。
好文章,需要你的鼓励
Lumen Technologies对美国网络的数据中心和云连接进行重大升级,在16个高连接城市的70多个第三方数据中心提供高达400Gbps以太网和IP服务。该光纤网络支持客户按需开通服务,几分钟内完成带宽配置,最高可扩展至400Gbps且按使用量付费。升级后的网络能够轻松连接数据中心和云接入点,扩展企业应用,并应对AI和数据密集型需求波动。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
RtBrick研究警告,运营商面临AI和流媒体服务带宽需求"压倒性"风险。调查显示87%运营商预期客户将要求更高宽带速度,但81%承认现有架构无法应对下一波AI和流媒体流量。84%反映客户期望已超越网络能力。尽管91%愿意投资分解式网络,95%计划五年内部署,但仅2%正在实施。主要障碍包括领导层缺乏决策支持、运营转型复杂性和专业技能短缺。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。