#量化

2 篇文章

一个纯 C 写的推理引擎 WASTE，把 2.78 万亿参数的 Kimi K3 塞进了 64GB 笔记本：982GB 模型按需从磁盘流式读取专家权重，实测 0.5 tok/s。每秒半个字慢到离谱，但它证明了万亿参数模型的 …

Apple 2023 年的一篇论文，让 4000 亿参数的模型跑在了普通 MacBook 上。核心技术 MoE + 量化，背后藏着一个关于'按需调用'的工程哲学。