潜空间推理系列 · 01 / 03
Recurrent Depth
同一组参数，能否靠多循环获得更强推理？
把额外推理预算放进模型的隐藏状态计算，检验共享参数反复加工能否提高数学、代码等任务的表现。
这篇工作证明了十亿参数级循环语言模型可以有效利用更多推理轮次；它首先是一项能力可行性证据。3.5B 是存储的参数量，反复使用这些参数仍然要付出大量计算，不能读成“用 3.5B 成本获得 50B 模型能力”。
“深度”是计算轮次，不是输出字数
潜空间推理指在连续的隐藏向量里反复更新信息。每轮不必生成可读的思考文本，但模型最终仍逐 token 输出，也可以与文字思维链（CoT）叠加。论文最主要的检查点叫 Huginn-0125。[§3、§5]
仅仅共享权重，还不足以让多算有用
一组层反复调用，可能很快不再改变状态，也可能越算越不稳定。固定深度训练还会让模型依赖某一轮数。作者要同时解决“多轮可训练”和“推理时改轮数仍有效”，而不只是压缩参数。
每轮都回看输入，训练中就经历不同深度
模型用 2 层前奏编码输入，4 层共享核心迭代，2 层尾奏输出。核心每轮接收上一轮状态与同一份前奏输出，经拼接和投影后继续计算。输入持续注入提供任务条件；随机初始化状态则鼓励模型不要过分依赖起点。作者用迭代优化作直觉类比，未证明网络真的在做梯度下降。[§3.1–3.2]
随机深度训练让模型同时接触短循环与偶尔很长的循环，主配置的平均轮数设在约 32。只对最后 8 轮反向传播，控制激活存储与反向计算；前面各轮的前向计算仍要执行。这个截断目标带来有偏的梯度近似，却使大规模训练可行。[§3.3]
稳定性也依赖归一化和初始化。两次早期大规模尝试分别出现 token 表征趋同、循环被模型忽略；最终组合才成功。因而“循环自动带来思考”不是结论，训练必须让循环状态保持有用。[图 5]
最强证据：同一检查点，多循环更好
在作者报告的 3.5B 参数、约 800B tokens 主模型上，只改推理轮数就会改变成绩。下表为零样本归一化准确率（%），来源相同，避免把不同模型或训练阶段混在一起。[表 1]
| 推理轮数 r | ARC-C ↑ | HellaSwag ↑ | SciQ ↑ |
|---|---|---|---|
| 4 | 27.99 | 43.46 | 80.00 |
| 8 | 35.15 | 58.54 | 92.10 |
| 16 | 37.71 | 64.67 | 93.90 |
| 32 | 38.23 | 65.21 | 93.50 |
收益会饱和，也不保证逐项单调：SciQ 在 16 轮后略降。数学与代码往往能使用更多轮次，但图 7 不能证明无限追加计算一直有益。32 轮的 GSM8K CoT 使用 8 个示例及系统提示时，严格／宽松答案抽取分别为 34.80%／42.08%；HumanEval pass@1 为 23.17%。潜空间计算并不意味着这些评测完全不用文字 CoT。[表 2–3、图 7]
在同为 180B tokens 的早期对照中，循环版 GSM8K CoT 为 9.02%／10.24%，非循环版为 1.82%／2.20%。这控制了数据量与训练设置，没有对齐训练与推理 FLOPs，因此支持循环有效，尚不能单独证明计算效率占优。[表 4]
参数小，计算仍可能很重
能力证据与成本证据要分开。作者称主模型预训练计算接近标准 32B 模型，测试时可用到约 50B 标准模型的 FLOPs 量级；这里的数字都是计算口径，不是相应规模的能力等价证书。对后期 OLMo 等模型，语料与预算也不同。[§5.1]
“无需专门训练方法”不等于训练数据中没有推理或指令。预训练混入了指令数据，并偏向代码、数学；主要大规模成功运行只有一次，语料配方未充分消融。模型中间状态轨迹也尚不足以证明具体的人类式推理算法。[§4.1][§7]
Huginn 已探索 token 级自适应退出。它用相邻输出分布的 KL 差异作停止条件，并复用过去 token 最深可用的 KV；这是无需再训练的启发式，初步 MT-Bench 结果差异不显著。下一篇 MoR 则把路由与缓存规则放进预训练，系统性研究计算分配。[§6.1–6.2][表 6]
回到原文与系列
- Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach · 摘要与版本
- 公开 PDF：本页主要依据用户附件，核对方法、主结果及相关附录；官方仓库仅作为实现入口，未运行复现。
- 作者官方仓库。
实验数字为作者报告；比较口径、外推边界与系列关系为本页分析。