RLVR 后训练真正该优化什么？ISO 的答案是：继承谱，移动框架

现在做 reasoning model，最容易被看见的是数据、环境和奖励。

我们会问：题目够不够难？reward 能不能验证？rollout 采样够不够多？PPO、DAPO、GRPO 这类目标函数怎么调？这些当然重要。但这篇论文盯住的是更底层的一层：当 reward 告诉模型“这次答对了”或“这次答错了”之后，优化器到底应该怎样把这个信号写进权重？

今天大多数 RLVR 后训练，仍然把预训练时代的优化习惯直接搬过来。AdamW、Muon、weight-space update、dense matrix parameterization——这些工具原本服务的是密集 token-level supervision。预训练每个 token 都给梯度，像把一张很大的网从每个格点上同时拉动。RLVR 不一样。它通常是 outcome-level reward：一道题最终对了或错了，奖励稀疏得多，而且模型已经是一个有能力的 base policy。

所以问题不是“AdamW 能不能用”。问题是：RLVR 这种奖励驱动的后训练，是否真的需要在权重空间里自由改变一切？

论文《ISO: An RLVR-Native Optimization Stack》的核心回答很短：inherit the spectrum, optimize the frames。继承基座模型的奇异值谱，优化与这些奇异值对应的输入/输出奇异框架。

先把“谱”和“框架”讲成一个机械图像

想象一个权重矩阵不是一整块黑箱，而是一台由很多传动轴组成的机器。

每根传动轴有两个部分。第一部分是“这根轴有多粗、能放大多少信号”，这对应奇异值，也就是论文里的 spectrum Σ。第二部分是“输入从哪个方向进来、输出往哪个方向出去”，这对应左右奇异向量，也就是输入框架 V 和输出框架 U。

如果我们把权重写成 W = U Σ V^T，Σ 像一排固定刻度的旋钮，决定每个模式的强弱；U 和 V 像两组可转动的坐标架，决定这些强弱作用到哪些输入方向、又投射到哪些输出方向。

预训练可能真的会重塑很多旋钮。模型从随机参数长成语言模型，要学词频、语法、知识、压缩世界，这个过程会大幅改变权重的尺度结构。论文用 SFT 到 RLVR 的对照也显示，SFT 过渡会明显收缩或重塑谱。

但 RLVR 后训练面对的是另一种任务。基座模型已经会说话、会推理、会写代码。奖励不是从零塑造模型，而是在已有能力上调整行为：更愿意展开推理，更少走错误路径，更会在可验证任务上选择有效策略。

直觉上，这可能不需要重新打造整台机器的每根传动轴。也许只要把已有传动轴重新对准方向，让原来的尺度结构作用到新的输入/输出组合上。

论文把这个现象叫 spectral inheritance：RLVR 可以复用 base model 的奇异值谱，通过改变相关的输入/输出奇异框架获得新行为。

看到“谱没怎么变”，还不能立刻下结论

论文做得比较谨慎的一点，是它没有把一个漂亮观察直接包装成结论。

第一层观察确实很吸引人：在 DeepSeek-R1-Distill-Qwen-1.5B 到 Nemotron-Research-Reasoning-Qwen-1.5B 的长程 RLVR endpoint 上，RL 后的谱几乎贴着 RL 前的 base 谱。论文图 2 报告，RLVR 层面的 spectral distance δΣ 大约是 10^-2%，relative spectral residual ρΣ 平均约 3%；而作为对照的 SFT transition，ρΣ 大约 35%，并且 SFT 的 spectrum-changing energy 比维度参考高两到三个数量级。

他们又看了一个 Qwen3-8B-Base 的 AdamW 训练轨迹，每 10 个 training step 保存 checkpoint，一直到 step 190。图 3 显示，平均 δΣ(t) 一直低于 10^-5，ρΣ(t) 大约保持在总 displacement 的 1.3%。也就是说，“谱很接近”不是 endpoint 碰巧绕回来，而是在观察到的训练轨迹中一直成立。

但这里有一个陷阱。

在一个 d_out × d_in 的矩阵空间里，能一阶改变奇异值的坐标只有 q = min(d_out, d_in) 个。整个矩阵空间维度却是 d_out d_in。如果你在高维空间里随便推一下，大部分能量本来就不会落在“改奇异值”的方向上。换句话说，谱变化小，可能只是维度几何的自然结果，不一定说明 RLVR 主动偏爱保谱。

论文因此引入 dimension-aware calibration，用 κspec 去问：相对于各向同性随机位移，RLVR 是否额外压低了谱方向能量？结果很克制：RLVR 的 κspec 大约在 1.02 到 1.35，接近 order-one；这说明在校准维度后，没有强证据证明 RLVR 有额外的“主动保谱偏好”。

这个地方很重要。论文没有说“RLVR 天生就是保谱优化”。它说的是：raw near-isospectrality 不能单独证明偏好；真正关键的问题要换成另一个——那些很小的谱变化，对学到的行为到底有没有功能必要性？

真正的证据来自干预：把谱换回去，性能还在吗？

如果一个 RL checkpoint 的谱只变了一点，我们可以做一个很直接的实验：保留它训练出来的 U 和 V，但把 Σ 换回 base model 的 Σ0。如果性能塌了，说明那一点谱变化虽小但关键；如果性能基本保持，说明新行为主要不靠改谱。

论文做了这个 spectrum restoration intervention。形式上，它固定 RL-trained frames，只在 base spectrum 和 RL spectrum 之间插值：U_RL [(1-α)Σ0 + αΣ_RL] V_RL^T。当 α=0 时，谱完全回到 base；当 α=1 时，回到原 RL checkpoint。

图 4(a) 的结论是：把 base spectrum 恢复回来，仍然保留了大部分 acquired performance。反过来，把 RL-trained spectrum 放到 base frames 上，并不能让 base model 变强。也就是说，行为提升不是“奇异值刻度”本身带来的。

第二个干预更强：不是训练后再把谱换回去，而是从 RL 的第一步开始就固定 Σ0，只训练 U 和 V。论文把这称为 fixed-spectrum parameterization。对照组则冻结 base frames，只训练 diagonal spectrum。图 4(b) 显示，fixed-spectrum 仍然能获得强 reasoning gains，并且在该 run 里超过 AdamW baseline；而 spectrum-only 参数化没有恢复出可比性能。

这才是 spectral inheritance 的核心证据链：

第一，RLVR checkpoint 确实靠近 base 的固定谱族。第二，这个靠近不能简单解释成优化偏好，因为高维几何本来就会稀释谱方向。第三，功能干预显示，把谱继承下来并不会毁掉学到的能力；甚至从一开始固定谱，也能学到强能力。第四，只改谱不够，说明行为变化必须落在别的变量上。

那“别的变量”是什么？论文下一步指出：两个框架都要能动。

为什么只动一边不够

我们可能会想：既然谱可以固定，也许还可以更保守一点。比如只在原来的输入/输出子空间里 remix，或者固定输入框架，只让输出侧变化；再或者固定输出框架，只让输入侧变化。

论文把这些方案变成 reconstruction test。它不先问性能，而是问：在这些结构限制下，能不能低误差重建真实 RL endpoint 的 checkpoint change？如果一个限制下的最优重建仍然解释不了大部分 update，那么这个限制就不是好的参数化假设。

他们在一个两阶段 vision-language-action RL pipeline 上做 sequential objective-shift stress test：从 Qwen2.5-VL-3B-Instruct 出发，Stage I 优化 spatial reasoning 得到 W1，Stage II 从已经 RL 过的 checkpoint 出发，优化 embodied-manipulation objective 得到 W2。这给了三个 transition：W0 → W1、W1 → W2、W0 → W2。

图 5 的数字很清楚。对累计 transition W0 → W2，如果只在 incoming input/output spans 内 remix，median 87% 的 checkpoint update 仍然 unexplained。只保留 incoming output subspace 或 input subspace，残差也分别有 45% 和 42%。这些还是乐观下界，因为这些受限类允许剩余 core 和 spectrum 自由 refit。

相比之下，固定 incoming spectrum、但允许两个 frames 都适应，median residual 只有 1.8%。

所以论文的结构判断不是“只要保谱就行”。更准确地说：谱可以固定，但两个奇异框架必须都可动。这也解释了 ISO 的参数化为什么是 W(U,V)=UΣ0V^T，而不是只训练某一侧或只训练 diagonal。

ISO：不是一个新 optimizer，而是一层 RLVR-native 坐标系统

到这里，论文已经有了一个从观察到设计的链条：RLVR 的谱可继承；行为变化需要两个 frame；那就把后训练的优化坐标从 W 换成 (U,V)，把 Σ0 作为基座结构继承下来。

这就是 Isospectral Optimization，简称 ISO。

需要注意，ISO 不是“AdamW 之后投影回固定谱族”。这点论文特别强调。ISO[Opt] 是把 base optimizer 的更新规则和 optimizer state 直接实例化在 frame variables 上。标准训练是 Opt(W, ∇W L, state)；ISO 则用 W(U,V)=UΣ0V^T，通过链式法则得到 GU = GW V Σ0、GV = GW^T U Σ0，然后分别对 U 和 V 用 AdamW 或 Muon 更新。更新后的 tentative frames 不一定还在 Stiefel manifold 上，所以再用 polar retraction 把它们拉回正交约束，重构 W+ = U+ Σ0 (V+)^T。

这带来两个很实际的含义。

第一，ISO 没有扩大模型可表达的 weight-space family。每一步重构后的权重仍在固定谱族 F(W0) 里，严格说比 unconstrained dense matrix 更受限。因此如果它更快、更好，不能简单归因于“参数更多”或“模型类更大”。当然，论文也诚实承认：factor-space parameterization 和 optimizer dynamics 本身也是方法的一部分，未来还可以比较其他 spectrum-preserving weight-space optimizer。

第二，同一个 fixed-spectrum 原则可以服务两个阶段：离线的 checkpoint 合并，以及在线的 RLVR 训练。

离线：ISO-Merger 不用 rollout 合并 RL experts

很多 RLVR workflow 会从同一个 base 训练多个 specialist：一个擅长代码，一个擅长工具使用，一个擅长长上下文记忆。最后如果要合成一个模型，常见办法是 on-policy distillation：再生成 rollout、再训练、再让一个 student 吸收多个 experts。

ISO-Merger 尝试一个更“几何”的路线：既然这些 experts 共享 base，且 RLVR 的变化主要是 frame change，那就把每个 expert 的 frame displacement 投到 shared base 的 Stiefel tangent space，mask 掉不稳定的 trailing modes，再按 retention coefficients 合并，最后 polar retraction 回可行 frames，用共享 Σ0 重构 merged model。

重点是：它不需要 post-merge data、额外 rollout、gradient updates 或 distillation。

实验有两个设置。第一个用 Qwen2.5-7B-Instruct 作为 shared base，合并 coding、tool use、long-context memory 三个 RL experts。表 1 里，ISO-Merger 的整体平均分是 63.80，高于最强 training-free baseline RAM 的 62.88。第二个用 DeepSeek-R1-Distill-Qwen-1.5B 作为 shared base，合并 coding 和 math 两个 experts。表 2 中 ISO-Merger 平均 44.38，高于最强 baseline TIES 的 43.52。

这个提升不算巨大，但意义在于它发生在严格 data-free merge 场景里。论文还在附录报告 best@4 / worst@4，指出 ISO-Merger 基本匹配最强 aggregate best@4 baseline，同时 worst@4 分别提升 1.62 和 1.36 分，暗示它没有靠牺牲上尾表现换均值，而是更稳定地恢复了多专家能力。

在线：Qwen3-8B 上 100 步追平 AdamW 的 270 步

ISO-Optimizer 的实验更直接检验“固定谱坐标是否真的适合 RLVR”。

数学推理实验用 Verl，在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 上训练 DeepMath-103K，400 training steps，global batch size 256。Qwen3-1.7B 用 16 rollouts per prompt，4B 用 12 rollouts per prompt，并在线过滤 all-correct / all-incorrect prompt groups。ISO-AdamW 用单一学习率 7.5e-7；weight-space AdamW sweep 了 {5e-7, 7.5e-7, 1e-6, 2e-6, 3e-6}，Muon 也 sweep 了若干学习率。

表 3 结果：Qwen3-1.7B 上，ISO-AdamW 平均 28.74，AdamW 28.35，Muon 27.70。Qwen3-4B 上，ISO-AdamW 43.46，AdamW 41.69，Muon 42.23。图 6 还显示，在 4B 上 ISO-AdamW 用约 2.2× 更少 training steps 达到最强 AdamW 的最终 aggregate accuracy，并继续提升。

代码实验在 DS-1.5B 上用 ArcherCodeR、DAPO-style recipe，评测 LiveCodeBench v5/v6。表 4：AdamW 平均 25.13，ISO-AdamW 26.20。延长 AdamW 到 330 steps 后，最强 5e-6 run 峰值 0.265 后下降，3e-6 run 到 0.256；ISO-AdamW 在 220-step budget 内峰值 0.268，且 0.256 在 step 130 就达到。

最醒目的数字来自 Qwen3-8B-Base。论文在 DeepMath-103K 上训练，global batch size 256；ISO-AdamW 学习率 7.5e-7，AdamW 用小模型 sweep 中最强的 2e-6，8B 上没有进一步调参。训练开始 max response length 是 8K，因为 ISO-AdamW 生成更长回答，step 80 后两者都提高到 16K；评测始终用 16K。

图 9 显示，ISO-AdamW 在 210 steps 达到 0.509，同样步数下 AdamW 是 0.487。为了排除 AdamW 只是没训够，作者把 AdamW 继续训 60 步，到 step 270 后提升到 0.495 并 plateau；而 ISO-AdamW 在 step 100 就达到同样的 0.495。这就是摘要里说的 2.7× fewer training steps。

这组数字之所以重要，不只是因为 ISO 更快。它指向一个更大的可能：reasoning model 的后训练瓶颈，可能不只在 reward design 或 rollout system，也在“我们让优化器在哪个坐标系里行动”。

成本和边界：这不是免费午餐

ISO 引入了额外结构操作。每次更新 U 和 V 后，需要 SVD-based polar retraction。论文在 Qwen3-4B-Base、8K context 的 RLVR profiling 中报告，ISO 相比 AdamW 每步 optimizer-update time 增加约 86 秒，但这只占 end-to-end RL step time 的约 7%。原因是 RLVR 的端到端时间往往被 rollout generation 等环节主导，不像预训练那样 optimizer compute 紧贴每一步 critical path。

这给了 ISO 一个现实空间：如果 rollout 很贵，优化器端多一点几何操作，可能被更少训练步数抵消，甚至在异步 RL 系统中被重叠掉。但这不等于 ISO 在所有场景都划算。论文自己也把 retraction scheduling、factor-state storage、alternative enforcement mechanisms 留作未来方向。

还有几个边界需要说清楚。

第一，论文证明的是所分析 RLVR 设置中的 spectral inheritance 和 ISO 的有效性，不是所有后训练都必须保谱。它也明确区分了 near-isospectrality 的描述事实和“优化偏好”的强断言：κspec≈1 表明 raw proximity 不能单独说明 RLVR 主动压制谱变化。

第二，ISO-AdamW 在 8B 上没有做更多超参搜索，这既是优点也是限制。优点是结果不是靠大规模调参堆出来；限制是我们还不知道一个充分 tuned 的 weight-space AdamW、其他谱保持 optimizer，或 Pion 这类并行工作，在相同预算下会怎样。

第三，ISO 的实现目前比较重。两套 factor variables、optimizer states、FP64 SVD retraction、分布式调度，都会给工程系统带来复杂度。论文说这些 overhead 在他们的 RLVR setting 中 manageable，但这仍然是从研究原型走向大规模生产时必须重新评估的部分。

这篇论文真正有价值的地方

我觉得 ISO 最值得关注的不是“又一个 optimizer 赢了 AdamW”。如果只这样读，会把它读小。

它更像是在给 RLVR 后训练补一层缺失的抽象：预训练学到的权重谱，可能是一个可继承的结构性资产；RLVR 要做的，不是把这个资产重写一遍，而是在它之上重新布置输入/输出方向，让已有尺度结构服务新的奖励目标。

这也解释了为什么论文同时做 offline merger 和 online optimizer。两者表面上是不同任务：一个是合并 experts，一个是训练 policy。但在 ISO 的视角里，它们共享同一个坐标系统。专家合并是在 fixed-spectrum coordinates 里组合多个 frame displacement；在线训练是在 fixed-spectrum coordinates 里把 reward gradient 写进 frame variables。

如果这个方向继续成立，RLVR optimization stack 可能会从“拿预训练 optimizer 继续跑”变成“围绕后训练动力学重新设计坐标、约束和系统”。这对 reasoning model 很关键。因为现在的核心瓶颈之一，已经不是模型完全不会推理，而是怎样用有限 rollout、有限训练步数、有限系统成本，把可验证 reward 更高效地写进一个已经很强的 base model。

ISO 给出的答案很简洁，也很可检验：不要默认 reward-driven adaptation 需要自由改写全部权重结构。先问清楚哪些结构可以继承，哪些变量必须移动。至少在这篇论文的证据里，答案是：谱留下，框架动起来。