SPARSE EXPERTS · SHARED WEIGHTS · ITERATIVE COMPUTATION
LoopMoE
让稀疏专家在循环中反复加工
在参数与计算预算对齐时，检验“反复使用同一组稀疏专家”能否比普通逐层堆叠更有效地学习语言。
论文支持：把循环复用、逐 token 调制和容量平衡结合起来，可以在所测预算下改善 MoE 的平均表现。价值在于较受控的架构比较；实际取舍是训练吞吐上升、单请求解码变慢。[表 1–2、5–6]
先分清“存了多少”与“算了多少”
MoE（混合专家）存放很多前馈网络，由路由器给每个 token 选其中一小部分；循环架构则把中间结果送回同一组层继续加工。重复使用同一权重仍要重新计算，所以论文 3B 模型的“物理激活参数约 0.6B”与“按计算量对齐的激活参数 0.8B”是两种口径，不能据此前者宣称节省了 25% FLOPs。[表 1 脚注]
直接把 MoE 套进循环，还缺什么
作者指出两个瓶颈：共享层缺少明确的轮次条件，难以按阶段调整加工方式；注意力反复用同一套参数，路由却可能选到新专家，使一轮完整前向中去重后的注意力／前馈激活参数比失衡。这里衡量的是参数容量分配，并非注意力／前馈的 FLOPs 比。[§3.3–3.4]
两处改动，让复用有分工
3B 模型由前缀 2 层、中间共享 2 层、后缀 2 层组成；中间块执行 4 次。它和基线的有效深度都为 12 层，但独立层数从 12 变为 6。循环传递不断更新的隐藏状态，前缀输出只用作初始输入，不在每轮重新相加；最后才经后缀预测下一个 token。[§3.2、表 7]
① IterAdaLN：同一套权重，按轮次和 token 调整
它将“第几轮”的编码与“当前 token 状态”的投影相加，生成归一化后的缩放与偏移。注意力和 MoE 分支分别生成条件，后者读取注意力更新后的状态；另有一个只作用于注意力残差的门控，决定更新强度。直觉上，同一层既知道现在处于哪个阶段，也知道这个 token 已被加工成什么样。[§3.3]
② 容量平衡：补注意力容量，再补专家总量
先扩大 MLA（潜在注意力）的低秩投影，缩小单个专家，把容量分配调回基线附近；再增加专家池，恢复总参数预算。3B 配置的路由专家由基线的 64 个变为 136 个，仍每次选 6 个，另有 2 个共享专家。因此收益应归于这套结构组合，而不能全部算成“循环本身”的功劳。[§3.4、表 7；末句为解读判断]
平均分更好，但速度要分开看
最有价值的对照是作者训练的 Vanilla MoE：同规模下使用相同语料与训练预算，作者报告总参数、每 token FLOPs 和活跃容量比例对齐。3B 使用 200B tokens，9B 使用 300B；九项基准按表 8 的零样本／少样本协议评估，平均分混合 Accuracy 与 Exact Match。[§4、附录 A.1–A.2]
| 指标与条件 | Vanilla MoE | LoopMoE | 如何理解 |
|---|---|---|---|
| 3B · 九项平均 ↑ | 34.84 | 35.89 | +1.05 点；8 项提升 |
| 9B · 九项平均 ↑ | 41.22 | 44.03 | +2.81 点；9 项提升 |
| 训练吞吐 ↑ TFLOP/s/GPU | 66.0 | 81.8 | 约 +24% |
| 解码时延 ↓ batch=1，2048 上下文 | 64.919 ms/token | 71.042 ms/token | 约慢 9.4% |
来源：v2 表 1–2、5–6；百分比由表值计算。256／1024 上下文也显示完整模型解码更慢。效率实验报告同硬件、并行与软件配置，但未给出足以复现实测的完整硬件配置。
消融提示，容量平衡的作用比只加轮次信号更明确。表 3 的五项均分中，Loop Base 为 42.26；加 iteration-only AdaLN 降到 41.47，加 IterAdaLN 为 42.38，单加容量平衡为 42.86，完整模型为 43.02。逐 token 条件优于纯轮次条件，但相对裸循环的单独增益很小；这些差值不支持把全部收益归给 IterAdaLN。
反例同样重要：3B 的 MMLU 从 27.86 降至 26.81，BBH 五物体逻辑推理从 22.50 降至 16.25。迭代并未全面改善推理；作者提出“反复加工与单步信息访问广度存在取舍”，但任务分数与路由相似度主要提供间接支持。[表 4、§6.1–6.2]
可以相信方向，暂不能外推的三件事
规模趋势还不等于缩放规律。每个配置只有一次训练、采用相同随机种子；仅比较 3B 和 9B，且训练量随规模增加。各规模内部对照有价值，但没有多种子与更多规模，无法把增益变大完全归于模型尺寸。英语基准也不代表中文或其他领域。[附录 A.1、Limitations]
固定四轮的结果不证明可随意追加或提前结束。附录发现后几轮注意力更新更强，作者明确指出截去后几轮不能直接带来可靠加速。本论文尚未验证按题目难度动态分配轮数，也未证明推理时增加轮数就会更好。[附录 A.8]
受控架构收益不等于成熟模型竞争力。3B 的 GSM8K 仅 5.26、MATH 仅 1.88；对训练数万亿 tokens 的模型不能据此宣称优势。“严格匹配”也是作者口径，公开表格主要给近似参数量，缺少逐项精确 FLOPs 与最终容量比例，仍需要更完整的复现证据。[表 1、7；复现边界为本页判断]
来源与阅读范围
- arXiv 摘要与版本记录：初稿 2026-06-03，v2 更新于 2026-08-27。
- LoopMoE v2 完整 PDF：本页依据用户提供的 16 页同版本附件，核对方法、主表、效率实验与相关附录。未把 v1 的 9B 训练预算混入 v2。
数字与架构配置属于作者报告，因果归因、外推与复现边界是本页分析。本次未使用或验证官方实现；不将 PDF 中的说明当作已运行代码的证据。