2025年AI应用爆发，同时迎来Agent元年等背景下，推理需求暴涨。为了抓住这一机遇，云服务厂商也积极升级云基础设施，来满足市场需求。

　　9月16日，在2025腾讯全球数字生态大会上，腾讯集团副总裁、腾讯云总裁邱跃鹏表示，大模型产业重心从训练到推理的转变，已经成为行业共识。同时客户对于使用大模型和建设Agent迸发出强烈热情，这都带来了推理需求的暴涨。

　　这也意味着，AI基础设施要同步升级。

　　近年来，腾讯云正不断升级云基础设施，以支撑Agent规模化落地和企业全球化发展。据邱跃鹏介绍，腾讯云已在推理加速、Agent Infra和国际化布局等方面取得突破，并将以更加开放的姿态，助力企业把握时代机遇。

　　在推理加速方面，腾讯云深入参与开源贡献，向DeepSeek、vLLM、SGLang等社区提交了多项优化技术。同时，针对大模型推理面临的内存瓶颈，腾讯云自研并开源FlexKV 多级缓存技术，大幅降低KVCache的占用，将首字时延降低多达70%。

　　同时，邱跃鹏透露，腾讯云依托异构计算平台整合多种芯片资源，向外界提供高性价比的 AI 算力。目前，该平台已全面适配主流国产芯片。

　　据悉，软硬件协同全栈优化是腾讯云的长期战略投入，通过异构计算平台的软件能力，整合不同类型的芯片对外提供高性价比的AI算力。

　　今年被视作Agent元年，当前沿技术走向企业生产环境，如何确保其在一个安全可信的环境中高效运行成为新的挑战。为此，腾讯云还推出了全新的 Agent infra 解决方案——Agent Runtime。

　　Agent Runtime 集成了执行引擎、云沙箱、上下文服务、网关、安全可观测服务等五大能力。其中，云沙箱基于自研技术，启动时间只需100毫秒，支持数十万实例并发。

　　除了面向Agent升级基础设施，邱跃鹏指出，腾讯云也在思考如何将Agent能力应用在客户的云上旅程，帮助客户更好的用云、管云，于是就有了腾讯云的专家服务智能体——Cloud Mate。

　　Cloud Mate由一系列凝聚了各个云上领域经验的子Agent构成，它不仅仅是一项技术，更是腾讯云海量实践的汇总，能够可视化治理云上架构、前置拦截风险，并大幅提升问题处理效率，改变管理云的方式。

　　邱跃鹏透露，在内部实践中，Cloud Mate实现风险SQL拦截率95%，排障时间从30小时缩短至最快3分钟。