华为8月12日正式发布AI推理创新技术UCM(推理记忆数据管理器)。据了解,作为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高吞吐、低时延的推理体验,降低每Token推理成本。华为计划于2025年9月正式开源UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。 长城证券表示,从国内大模型的进...
华为8月12日正式发布AI推理创新技术UCM(推理记忆数据管理器)。据了解,作为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高吞吐、低时延的推理体验,降低每Token推理成本。华为计划于2025年9月正式开源UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。
长城证券表示,从国内大模型的进展来看,一方面,伴随国内外大模型的持续升级,AI推理能力要求更高,对算力的需求也在持续增加;另一方面,芯片的性能不断提升也同时促进大模型等在AI产业持续取得突破。同时,随着AI模型仿真活人的能力持续提升,助力更多AI+应用商业场景落地,基于AI的数字互动有望成为下一个互联网和游戏产业的热门赛道,算力各环节有望进一步发展。相关研究机构表示,存储芯片行业正处于技术创新与需求复苏的双重驱动期,2025年全球存储市场预计仍会维持双位数增长,预期将会突破2300亿美元。伴随着巨头厂商减产、AI转向推理市场刺激下游需求、技术持续创新三重因素下,存储芯片市场会出现持续性复苏。
发布于:江苏省