快科技5月24日音书，AI算力当今的瓶颈还是从GPU转向了存储芯片，国内尤其忙碌高性能HBM内存等芯片，是以也发展出了各式优化时代，清华大学日前的有计划就在华为昇腾上达成了6倍用量的缩短。
面壁智能、清华大学与 OpenBMB 社区日前结伙髻布了BitCPM-CANN，这是首个原生基于华为昇腾NPU构建的端到端1.58比特（三元）大道话模子隆重系统。
okooo澳客APP2026世界杯中国官网顾名念念义，这套系统引入了一套三元量化的时代，模子权重被压缩为-1、0、1三种现象，使得显存占用量缩短了6倍，还顺带着缩短了功耗，因为运算中高耗能的浮点乘法诡计简化成了加减法运算。
一样缩短算子也会导致大模子的精度缩短，不外这套三元量化的现实发达照旧很强的，斗鱼体育app中国官网下载团队公布了从0.5B、1B、3B再到8B参数目的大模子与全精度MiniCPM4的对比，1B、3B和8B 三元版天职别保留了各自对应尺寸全精度原版模子97.1% 、97.2%和95.7%的平均性能。
0.5B小尺寸的性能损不天然是最大的，但也达到了90.1%的比率。
速率上的亏本也在可继承范围内，在昇腾910B芯片平台上，全尺寸精度的糊涂量是155TFLOP/S，亚搏体育世界杯中国官网首页三元量化版也有148TFLOP/S，亏本惟一4.5%。
更紧要的是，这套系长入运行便是基于昇腾平台原生迷惑的，作念到了端到端运行，何况开源、可透彻复现——从有计划到部署，用户不错宽心使用苟且尺寸的模子。
至于这些时代的道理，不仅仅擢升了国产AI平台的才智，更紧要的是缩短了对HBM等高价存储芯片的依赖，当初谷歌的阿谁TurboQuant时代亦然差未几缩短6倍内存用量，一度激发了三星、SK海力士、好意思光等公司股价暴跌。
如今内存商场不仅价钱涨得离谱，何况厂商着实皆不会加多产能，任由缺货加价膨大，转换这个阵势是不成能指望三星等公司我方了，还得靠国内的公司擢升内存闪存芯片产能，同期加大时代优化，让内存闪存的用量不那么虚高才行。
【本文截止】如需转载请务必注明出处：快科技
株连裁剪：宪瑞亚搏·体育世界杯(中国)官方网站
著述内容举报 ]article_adlist--> 声明：新浪网独家稿件，未经授权谢绝转载。 -->
