近日，一位Reddit家庭实验室爱好者利用已停产的英特尔第二代傲腾持久内存（Optane PMem 200系列），在一颗40核第三代至强可扩展处理器上，成功运行了月之暗面的2.8万亿参数Kimi K3模型，整个推理过程完全依靠CPU完成，未使用GPU。 搭建者表示，傲腾内存在持续进行大模型推理时会产生大量热量，必须将主动DIMM散热视为必要措施。他专门使用两台额定功率为12W的鼓风机，对准内存模块进行强制散热，才得以将温度控制在安全范围内。他还特别警告，傲腾模块产生的高温可能影响相邻的DRAM内存，甚至造成损坏。 在性能方面，初始测试采用1比特量化，推理速度约为每秒0.85个Token；采用3比特量化时，速度则下降至每秒0.75个Token。不过，搭建者随后发现，关闭DAX（Direct Access）挂载选项后，1比特量化的推理速度提升至每秒1.50个Token，较初始结果接近翻倍。据分析推测，这是因为DAX模式会绕过Linux内核页面缓存，关闭DAX后，频繁访问的数据可以缓存在速度更快的DRAM中，从而减少对傲腾内存的直接访问。 Kimi K3是一款采用混合专家（MoE）架构的超大规模模型，总参数量达到2.8万亿，实际每个Token激活的参数量约为1040亿。尽管MoE架构能够减少单次推理需要参与计算的参数量，但模型权重仍然需要占用庞大的存储空间。据Tom's Hardware报道，即便采用社区提供的最小量化版本，运行该模型仍至少需要约610GB内存。对于普通家庭用户而言，直接使用大容量DRAM搭建这样的平台，成本相当高昂。 英特尔傲腾持久内存支持Memory Mode和App Direct两种工作模式。Memory Mode会将傲腾作为系统主内存使用，并以DRAM充当缓存，用户无需针对持久内存进行专门的软件适配。此前的第一代方案采用的就是这种模式。 App Direct模式则不同，它将傲腾内存暴露为独立的持久化存储区域，由操作系统和应用程序直接管理、映射和访问。这种模式允许软件更灵活地控制模型数据及张量的存放位置，也为DRAM与傲腾之间构建分层存储架构提供了条件。此前第一代方案的搭建者u/APFrisco也曾指出，这种方式能够对模型张量的存放位置实现更精细的控制。 使用傲腾替代DRAM，必须面对明显的性能损失。在此次实验中，即使采用1比特量化，初始推理速度也只有每秒0.85个Token；3比特量化下则进一步降至每秒0.75个Token。虽然关闭DAX后，1比特量化速度提升到了每秒1.50个Token，但整体性能仍然难以满足实时交互需求。 以每秒约1个Token估算，生成5万个Token需要约13.9小时，实际任务还可能因为上下文处理等因素耗费更长时间。不过，也有用户认为，对于可以在夜间运行的批量推理任务，生成速度并非唯一考量，能够以较低成本在本地运行超大规模模型，本身就具有一定价值。 作为对照，此前的第一代傲腾方案曾实现每秒约4个Token的推理速度，但两者并不具备直接比较的条件。早期方案运行的是参数量约1万亿的Kimi K2.5，采用2比特量化和Memory Mode，同时还使用了一块RTX 3060处理部分模型计算；此次方案运行的则是规模更大的Kimi K3，采用App Direct模式，且完全不依赖GPU。 散热问题是此次实验暴露出的另一个重要挑战。搭建者表示，在持续进行模型推理时，傲腾DIMM会变得极其烫手，并警告这些模块产生的热量可能危及相邻DRAM内存。这一问题并非偶然。根据英特尔相关工作条件资料，傲腾持久内存需要配合强制气流进行散热，在12W和15W功耗条件下，相关散热设计要求分别涉及约2.4米/秒和2.7米/秒的气流速度，这属于典型的服务器散热环境，普通家用机箱通常难以满足。 在功耗方面，英特尔官方资料显示，傲腾持久内存的模块功耗取决于容量及具体工作配置，128GB模块支持12W和15W配置，256GB及512GB模块还提供18W配置。需要注意的是，这些是内存模块本身的功耗，与此次使用的两台12W鼓风机并非同一项指标。如果多根模块同时进行持续读写，产生的累积热量将相当可观。 温度控制同样非常关键。英特尔规定，傲腾持久内存在83摄氏度时开始触发控制器降频，达到85摄氏度则触发热保护关机。因此，模块在持续工作时必须保持有效散热，避免温度接近热保护阈值。如果缺少足够的定向气流，不仅可能影响傲腾自身的性能和稳定性，还可能使相邻DRAM模块长期处于不利的温度环境中。 值得注意的是，目前公布的推理性能数据仍属于调优前结果，搭建者尚未针对CPU线程数量和NUMA亲和性进行充分优化，因此仍有进一步提升空间。 在后续计划方面，搭建者表示，准备为系统增加GPU，并尝试将部分模型数据加载到DRAM中，形成DRAM与傲腾协同工作