正面反馈
Hacker News 首页出现 Llama-modchip 帖子，发布 18 小时，390 分、175 条评论，属当日高热讨论。
自动排版不改模型也不改框架，直接给 ggml 和 llama.cpp 打内核补丁并重写量化排布，把 284B 的 MoE 压到能塞进 64GB 纯 CPU 内存的尺寸，再靠寄存器级 tiling 与自投机把速度拉回可用区间。
项目介绍
llama-modchip 是面向稀疏 MoE 模型的 ggml 与 llama.cpp 内核补丁、量化转码器与运行时工具，主打纯 CPU、零 GPU 跑大模型。它把 DeepSeek-V4-Flash 从 76.87GiB 压到 56.56GiB，使 284B 模型连同 256K 上下文驻留 64GB 内存。
主要应用领域
没有 GPU 的开发机或迷你主机跑 30B MoE、64GB 桌面跑 284B、Windows 混合 GPU 与 CPU 分包、Claude Code 一类 agent 的本地推理后端。
关键技术
ggml 与 llama.cpp 内核补丁加 Fractal-64 量化转码（block-64、BF16 scale）加 AVX-512BW 多列 tiling 加 MQA8 FlashAttention 加自投机加 /dev/shm KV 快照；支持 x86_64 与 ARM64、Apple Metal，附一键安装与基准脚本。本次未实际运行。
实用价值
给出不上云也能跑大 MoE 的具体工程路径，并给出可查的量化分解与吞吐数据（284B：prefill 44.4 tok/s、decode 9.1 到 14.7 tok/s，0 GPU）；对被显存卡住但内存充裕的团队，是少数能直接试的方案。
局限
依赖自定义张量类型（Q2_0，type ID 40），原版 llama.cpp、Ollama、LM Studio 会以 unknown tensor type 40 拒绝加载，必须用它的二进制；数据为作者单机自测（16 核 Zen 5 等），换 CPU 差异可能很大；1.71bpw 极端量化对质量的长期影响需自行验证；仅 49 次提交、545 星，维护者单一。
开源协议
Apache-2.0
仓库页标注 Apache-2.0，README 与 LICENSE 均在；模型权重另从其 Hugging Face 仓库按其条款分发，与本仓库协议分开。
协议解读供选型参考，不构成法律意见。
推荐理由
先在目标机器跑就绪检查脚本确认 AVX-512 与 HugePages，再决定是否下 56GB 模型；生产推理优先考虑 30B 档位。
观测
Star545；观测时间：2026-11-09T04:51:35.000Z
暂无可比增长基线
开源代码
专业社区口碑
已核对社区来源
Hacker News 首页当日出现该项目帖，热度属前列讨论。
只看到单条帖子与分数，未逐条读评论，不能据此判断实跑效果或复现成功率。
类似项目推荐
模型知识参考，未在线核验；名称、维护状态和许可证需另行核实。