LATENT REASONING · A THREE-PAPER SERIES
循环深度与
潜空间推理
从“多算是否有用”，走向“为谁多算”与“预算变了怎么计算”。
能否反复使用同一组 Transformer 层，在不增加独立权重的前提下，让额外计算真正改善预测与推理？
共享权重提供了可调深度的基础，训练目标与执行规则决定这份灵活性是否有用。三篇分别检验深度带来的能力、token 间的预算分配、不同预算下的路径质量。它们是问题上的递进，不能当作同一实验条件下的三代排行榜。
按这条线索读
- 01
Recurrent Depth：多循环能否变成能力？
先建立循环模型的基本直觉：输入持续注入、随机深度训练与截断反传。Huginn 展示同一检查点可以使用更多推理计算，但参数少不等于 FLOPs 少。
读完能回答：它怎样避免模型忽略循环？哪些实验控制了模型，哪些只控制了训练数据？
- 02
Mixture-of-Recursions：计算应该给谁？
把统一循环拆成逐 token 深度分配。理解路由后还要看 KV：早退出的位置在深层缺什么，注意力能看见哪些历史信息，才是效率能否落地的关键。
读完能回答：为什么缓存策略与路由必须一起设计？2.06×吞吐排除了哪些成本？
- 03
LoopFormer：预算变少，怎样仍走到终点？
从决定谁继续计算，转向训练整段序列的短路径。时间与步长调制，加上短长轨迹一致性，让一套权重服务多档预算，同时也带来训练开销与低预算退化。
读完能回答：为什么改变步长不同于提前退出？等训练 FLOPs 后，优势还剩什么？
三种“自适应”，控制的对象不同
| 比较维度 | Recurrent Depth | MoR | LoopFormer |
|---|---|---|---|
| 主要问题 | 多循环能否提高能力 | 哪些 token 应继续循环 | 少轮数如何完成有效路径 |
| 预算由谁决定 | 外部指定轮数；另探索 KL 收敛退出 | 学习路由选择 token 深度；容量受训练配置约束 | 外部指定序列预算 M 与步长安排 |
| 关键训练动作 | 随机轮数；持续输入注入；截断反传 | 路由与缓存规则共同预训练 | 时间／步长调制；完整与短路径共同训练 |
| 缓存思路 | 探索最深可用 KV 与跨轮覆盖复用 | 按轮缓存活跃位置；另测共享首轮 KV | 主要研究预算轨迹，未提供同等级 KV 服务系统评测 |
| 最有说服力的对照 | 同一检查点改变推理轮数 | 等 FLOPs 与等数据两种训练对照 | 同一权重跨预算；另有等训练 FLOPs 对照 |
| 主要边界 | 推理收益饱和；缺少充分等计算架构比较 | 路由因果性与负载；速度非完整服务计时 | M≤L；极低预算落后；训练成本增加 |
尤其不要把 Huginn 写成“只会固定轮数”：它已经探索无需再训练的 token 级 KL 退出。MoR 的新着力点是训练出路由，并为退出设计缓存；LoopFormer 的着力点则是让指定预算对应一条训练过的完整轨迹。[Huginn 边界] [MoR 方法] [LoopFormer 方法]
不直接比较三篇任务分数：Huginn 使用数学／代码偏重的混合语料与约 800B tokens；MoR 使用 FineWeb-Edu、多个算力预算；LoopFormer 使用 The Pile 子集且训练量表述有待核对。规模、语料、指标和比较条件都不同。
读完后，保留这三个判断
① 参数、计算和耗时是三本账
权重共享首先减少独立参数；重复执行仍产生 FLOPs。token 筛选可能少算，但真实速度还受 KV 读写、批处理和硬件利用率影响。Huginn 的“50B 计算量”、MoR 的“2.06×吞吐”、LoopFormer 的“24×预算”不能互换成一个效率指标。
② 潜空间计算不自动等于可验证的推理
隐藏状态发生变化、下一 token 更好预测、复杂问题答对，是不同层次的证据。三篇展示了有用的循环计算；它们尚未给出一个普适判据，证明模型当前多算的一轮就是正确的逻辑推进。文字 CoT 也可以与这些架构共存。
③ 一个值得继续研究的组合
本系列推断：可以研究“MoR 式 token 分配 + LoopFormer 式短路径训练”，并检验 Huginn 式收敛判据能否帮助停止。但不同深度与步长的 token 如何共享历史 KV、训练和生成时的路由如何一致，都要重新验证。它是待检验的方向，不是三篇已经实现的系统。
若接着读仓库中的 LoopMoE，可以多看一条轴：每次循环内部如何使用稀疏专家容量。它目前的固定循环结果，不能直接替代本系列关于预算弹性的证据。