研究检验 MoE 模型中按层、按任务阶段（提示/推理/响应）的专家路由统计能否指导 FFN 张量的分层混合精度量化。作者在 ik_llama.cpp 上为 Qwen-3.6-35B-A3B 构建路由捕获与剖析管线，用坐标下降调优位宽分配。结果显示路由引导的重分配在各质量档位均未超过均匀基线，激进预算下随机分配与路由引导表现相当，说明路由统计并非量化敏感度的可靠代理。

#moe #quantization

已过时译

大模型arXiv cs.LG4 天前

Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards

提出 GGPO，一种面向可验证奖励的离策略强化学习算法，通过最小化同一提示下响应的 KL 调整奖励的对数均值指数对比，避免学习者到行为策略的重要性权重，从而降低长响应的高方差。实验显示其在数学推理上优于 GRPO 和 AGRO，并能在策略陈旧度增大时保持性能。

#rl #llm

已过时译

大模型arXiv cs.LG4 天前

Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets

提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架：结合全局层选择与客户端特定的注意力头选择，依据本地数据分布生成定制子网络 Hydra-nets，在降低客户端资源需求的同时提升性能，是该场景下首个模型异构 FL 方案。

#federated-learning #llm

已过时译

大模型arXiv cs.LG4 天前

Interpreting Language Model Parameters

该论文提出对抗性参数分解（VPD）方法，将语言模型参数拆解为简单子组件，使网络在大量子组件被对抗性消融后仍保持输入输出行为，从而支持对参数级计算机制的电路分析，推进机械可解释性研究。

#interpretability #llm

已过时译

大模型arXiv cs.LG4 天前

TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。

#mamba #llm

已过时译

大模型arXiv cs.LG4 天前

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility

研究稀疏自编码器（SAE）训练所需的数据量，发现功能指标（如重构）在小数据预算下即可接近全量参考，但特征一一复现性随数据持续提升，且随机采样优于多样性采样。该工作揭示数据效率与目标匹配的重要性，为更廉价可靠的 SAE 研究提供依据。

#sparse-autoencoder #interpretability

已过时译

大模型arXiv cs.LG4 天前

Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?

研究指出，RLVR 在域外任务（如数学训练后 MMLU 提升）上的增益很大程度是答案格式变化而非能力提升。用公开答案提取器评分时，82% 的域外选择题增益在改用能读取文本或 \boxed{} 的提取器后消失：RL 只是把答案移进提取器优先查找的框里。该发现提醒评测结果依赖提取器，可用二次评分低成本验证。

#rlvr #evaluation

已过时译

1 2 3 4