Aleph Alpha Kolibri 1

01项目介绍

Kolibri 1 是 Aleph Alpha 的 MoE 推理模型，明确把目标语种压到德语与英语两种，用 78B 总参数 / 3.46B 激活参数的结构换取低推理成本。它预训练在 16,384 token 序列上，中途扩到 65,536，最后用 262,144 的长上下文阶段收尾，并把位置编码只施加在滑窗层，因此可以在不做位置缩放的情况下继续外推，官方验证到 1,048,576 token。模型支持显式推理档位（reasoning_effort 取 low/medium/high，或 enable_thinking=false 直接作答）与 Hermes 风格工具调用，两者可同时开启。训练侧披露得比较完整：20T token 的双语语料（英语约 62.5%、德语约 23.9%、代码约 13.6%），768 张 B200、预训练 21 天、总能耗估计 9.5×10² MWh。

02主要应用领域

德语或英语的长文档处理与检索增强问答（企业内部资料、法规与行业文档）、需要多步工具调用的编排层、结构化抽取。模型卡建议在 262,144 token 以内使用；1,048,576 token 为其验证过的扩展上限，适合把长篇材料一次放进去而不是反复切片。

03关键技术

50 层 MoE、每层 384 专家（1 个共享 + 6 个路由），4:1 的 SWA:GQA 注意力，Muon 优化器加 Exact Quantile Balancing；权重为 128×128 分块的 float8_e4m3fn，embedding/LM head/norm/router 保持 bf16，FP8 KV cache；推理可走 transformers>=5.20，或装 aleph-alpha-inference 用其 vLLM 插件并按 --reasoning-parser kolibri1 / --tool-call-parser kolibri1 启动；最小硬件 2×A100 80G 或 1×H200，显存占用约 78GB。

04实用价值

在同档 MoE 比较中，它在德语侧拉开了差距：模型卡后训练表里 Kolibri 整体 DE 70.8，而 Gemma 4 26B-A4B IT 为 66.3、Qwen3.5 35B-A3B 为 69.8；德语数学平均 88.8、Agentic Wiki QA(DE) 69.4、German Public Sector 75.0。考虑到它每 token 只激活 3.46B，这个双语表现说明“少语种+深训练”在特定语种上确实能换到效率。

05局限

只覆盖德英两语，中文场景不适用；同表整体仍低于稠密 Qwen3.8 27B（EN 80.2 / DE 79.9），说明它的优势在“每激活参数的性价比”而非绝对上限；78GB FP8 显存的准入门槛不低，且部分基线在个别基准上缺项（如 TerminalBench 显示为 —），横向比较并不完整；知识截止为 2026-06-18；全部成绩为作者自测。

06开源协议

Apache-2.0

模型卡 Model overview 与 License and terms 段均标注 Apache 2.0，并说明遵循其 Responsible Use 条款（无单独 Acceptable Use Policy）；本次仅读模型卡，未核对仓库内 LICENSE 原文。

协议解读供选型参考，不构成法律意见。

09专业社区口碑

未找到可靠口碑

本轮请求了 Hacker News 首页与 HF trending 列表，未发现关于 Kolibri 的讨论；模型卡显示 HF 讨论区有 20 条，但未逐条阅读，不对其口碑下判断。

仅覆盖两个渠道的当次首屏；HF 的 Like 1.01k 属关注度而非评价；德语社区（如 Heise、Reddit r/LocalLLaMA）本轮未检索。