AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM11 alignment10 multi-agent10 pretraining10 training10 fine-tuning9 post-training9 agent8

AI 答案

资料有限基于 10 条来源 · 引用可点击溯源

你只输入了「training」这一个关键词，现有资料无法确定你具体想了解训练的哪个方面（训练效率、训练数据、训练范式、隐私训练等）。下面按资料中与「训练」直接相关的几条，给出可确认的要点，供你选择方向。 1. 训练数据的重要性并非等同（概念漂移）

资料指出「所有训练数据同等相关」这一默认假设在实践中往往不成立，世界不断变化会给模型开发带来重大挑战3。
以 CLEAR 非平稳学习基准为例，物体视觉特征在 10 年跨度内显著演变（称为缓慢概念漂移），给物体分类模型带来挑战3。
在线学习/持续学习会不断用少量近期数据更新模型，这隐含地优先考虑近期数据，因为过去数据学到的知识会被后续更新逐渐抹去；但现实中不同数据的重要性并不相同3。

2. 端侧语言模型的隐私训练

Gboard 中的语言模型支持下一词预测、智能撰写、智能补全与建议、滑动输入、校对等功能4。
端侧部署相比服务器具有更低延迟和更好的使用隐私；直接用用户数据在设备上训练能提升实用性能，但保护训练数据隐私仍很重要4。
该工作回顾了从 2017 年联邦学习（FL）起步的多年研究进展，用以支撑 Gboard 语言模型的隐私训练4。

3. 更快训练的新架构

TurboMamba 定位为「更快推理、更快训练、更好 token 预测」的语言模型架构：一个全局 Mamba-3 模型在每个完成的 token 块上运行一次，并配有一个小型 Transformer5。

4. 摆脱配对跨模态数据的多模态训练

现有范式依赖海量配对多模态数据训练，但对齐数据标注成本高、难以跨模态组合扩展，正日益制约进展6。
MSP（模态自博弈）不依赖配对跨模态数据，而是在训练中用锚定-支撑的代理文本描述表征未见模态，作为语义桥梁6。

5. 强化学习训练与训练目标设计

MAI-Gym 是开源一体化平台，统一跨移动端、计算机和 Web 环境的 GUI 智能体评估、数据收集与在线 RL 训练，通过共享 rollout 流水线保证评估与训练行为一致，支持十项基准并可扩展至 20,000 个并行环境实例7。
在科研想法生成上，有工作提出集合级强化学习目标：模型单次生成 K 张结构化想法卡片，对整个集合联合评分，每个想法的质量按其与之前所写想法的距离加权，从而教会模型把新想法引导远离先前想法2。

6. 预训练中的读出层动态

发展性研究常通过追踪模型何时开始生成正确 token 来判断能力获得时间，但该预测要经过 unembedding 矩阵（读出层），而该矩阵本身在预训练期间仍在学习9。
模型隐藏状态可能在自身读出层能表达任务信息之前就已编码该信息，因此从输出读出的时间线会混淆「模型编码了什么」与「读出层表达了什么」9。

7. 训练范式的其他形态（供参考）

Spark-0 在预训练期间用触觉手套导出的图像空间接触图与冻结 3D 几何教师模型的特征共同监督视觉 token，这些目标在推理时被移除；同时一条触觉通路编码区域力历史与 3D taxel 状态以条件化动作专家8。
T2-Z 在训练中交替两个阶段：固定潜变量、学习跨环境通用动作条件动力学的世界模型优化阶段，以及冻结世界模型、优化条件潜变量的环境潜变量优化阶段10。
FlowBudget 关注的是无需训练的采样预算估计，属于推理侧而非训练侧1。

如果你能补充具体方向（例如「训练数据重要性」「端侧隐私训练」「RL 训练平台」），我可以进一步聚焦。

继续追问

概念漂移下如何给训练数据分配重要性权重？端侧联邦学习训练语言模型的隐私保护具体怎么做？集合级强化学习目标如何保证生成想法的多样性？

参考来源

10 条

1站内FlowBudget: Training-Free Sampling-Budget Estimation for Flow Matching ModelsarXiv:2610.20636v1 公告类型：新摘要：从连续流生成器（如 flow matching 模型）中采样需要数值 ODE 或 SDE 积分，这使得推理成本取决于函数评估次数（NFE）。在实践中，采样预算沿用自先前工作，或通过昂贵的 FID 对 NFE 的扫描来选取，使用 FID 评估图像生成质量，需要在多个预算下生成样本并进行评估。这使得采样预算的选择依赖于重复的经验评估。因此，我们提出一个与求解器设计和时间步分配互补的问题：对于固定的预训练模型和求解器，什么样的数值分辨率是足够的？我们提出 FLOWBUDGET，一种无需训练的、求解器相对arXiv cs.LGhttps://arxiv.org/abs/2610.20636 2站内用集合级强化学习训练模型生成多样化科研想法研究流水线的第一步是生成想法。大语言模型（LLM）正越来越多地被用于自动化这一步，但这类工作大多优化的是单个想法的质量，而忽视了多样性。在我们的工作中，我们研究基于文档的想法生成，重点关注提升 LLM 生成想法的多样性并确保其高质量。给定已有论文，模型必须提出一组想法，每个想法都高质量且彼此明显不同，同时还要扎根于输入文档。为优化这一点，我们提出使用集合级强化学习目标进行训练。在我们的设置中，模型在单次生成中写出 K 张基于源论文的结构化想法卡片，并对整个集合进行联合评分，其中每个想法的质量按其与之前所写想法的距离加权。这教会模型将每个新想法引导远离其前Hugging Face Papershttps://huggingface.co/papers/2610.22324 3站内Learning the importance of training data under concept drift我们周围世界不断变化的本质给 AI 模型的开发带来了重大挑战。通常，模型在纵向数据上训练，期望所使用的训练数据能准确代表模型未来可能接收到的输入。更普遍地说，所有训练数据同等相关这一默认假设在实践中往往不成立。例如，下图展示了 CLEAR 非平稳学习基准测试中的图像，它说明了物体的视觉特征在 10 年跨度内如何显著演变（我们将这一现象称为缓慢概念漂移），这给物体分类模型带来了挑战。其他方法，例如在线学习和持续学习，会不断用少量近期数据更新模型以保持其时效性。这隐含地优先考虑近期数据，因为从过去数据中学到的知识会被后续更新逐渐抹去。然而在现实世界中，不同Google AI Bloghttp://blog.research.google/2024/02/learning-importance-of-training-data.html 4站内Advances in private training for production on-device language models语言模型（LM）经过训练，可根据输入文本预测下一个词，是许多应用的关键技术 [1, 2]。在 Gboard 中，LM 被用于改善用户的输入体验，支持诸如下一词预测（NWP）、智能撰写、智能补全与建议、滑动输入以及校对等功能。将模型部署在用户设备上而非企业服务器上，具有更低的延迟和更好的模型使用隐私等优势。虽然直接利用用户数据在设备上训练模型能有效提升 NWP 和智能文本选择等应用的实用性能，但保护用于模型训练的用户数据的隐私仍然十分重要。在本文中，我们讨论多年研究进展如何为 Gboard 语言模型的隐私训练提供支持，从 2017 年联邦学习（FL）的概Google AI Bloghttp://blog.research.google/2024/02/advances-in-private-training-for.html 5站内TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory[Submitted on 14 Oct 2026] 标题： TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory 查看题为 TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory 的论文 PDF，作者为 Hanxin Zhang 查看 PDF HTML（实验性）摘要：我们提出 TurboMamba，一种用于更快推理、更快训练和更好 token 预测的语言模型架构。一个全局 Mamba-3 模型在每个完成的 token 块上运行一次。一个小型 TransformerarXiv cs.LGhttps://arxiv.org/abs/2610.20682 6站内MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal DataarXiv:2610.20965v1 公告类型：新摘要：大语言多模态模型通过扩展模型容量并在海量配对多模态数据上训练，已取得显著进展。然而，这一范式引入了一个根本性瓶颈：对齐的多模态数据集标注成本高昂，难以跨多样化的模态组合进行扩展，并且日益制约进一步的进展。我们提出模态自博弈（Modality Self-Play，MSP），一种基于代理介导的模态组合的多模态基础模型训练框架。MSP 不依赖配对的跨模态数据，而是在训练过程中使用锚定-支撑的代理文本描述来表征未见模态，作为语义桥梁。给定一个已观测模态（例如图像或音频），模型为互补的未见模态生成代理描述，arXiv cs.AIhttps://arxiv.org/abs/2610.20965 7站内MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer EnvironmentsarXiv:2610.20939v1 公告类型：新摘要：带有可验证奖励的在线强化学习（RL）已推动数学、编程和工具使用领域的快速进展，但将这一成功扩展到 GUI 智能体仍面临挑战，原因在于交互环境成本高昂且真实训练任务稀缺。我们推出 MAI-Gym，这是一个开源的一体化平台，统一了跨移动端、计算机和 Web 环境的 GUI 智能体评估、数据收集与在线 RL 训练。通过共享的 rollout 流水线，MAI-Gym 确保智能体在评估与训练中行为一致，支持十项成熟基准测试，并可扩展至 20,000 个并行环境实例。除可扩展的基础设施外，MAI-Gym 还能arXiv cs.AIhttps://arxiv.org/abs/2610.20939 8站内Spark-0 用触觉预训练提升机器人灵巧操作通用机器人策略受益于大规模视觉预训练，但在接触密集的灵巧操作中往往表现不佳，因为力、柔顺性和初期滑移难以从图像中观测到。我们提出 Spark-0，一个空间对齐的视觉-触觉-语言-动作（VTLA）模型，以两种互补的方式利用触觉。在预训练期间，由触觉手套导出的图像空间接触图，连同来自冻结的 3D 几何教师模型的特征，共同监督视觉 token；这些目标在推理时被移除。与此同时，一条触觉通路编码区域力历史和 3D taxel 状态，以对动作专家进行条件化。因此，单个检查点即可同时支持纯视觉部署和触觉条件化部署。为扩展这一监督，我们构建了 HumanTouch，一Hugging Face Papershttps://huggingface.co/papers/2610.22342 9站内Learning to Read Out: Unembedding Dynamics in Language Model PretrainingarXiv:2610.21025v1 公告类型：新摘要：语言模型何时获得某项能力？发展性研究通常通过追踪模型何时开始生成正确的 token 来回答这一问题。但这一预测要经过 unembedding 矩阵，即读出层（readout），而该矩阵本身在预训练期间仍处于学习之中。我们表明，模型的隐藏状态可以在其自身的读出层表达出任务信息之前就已编码该信息，因此从输出读取出的时间线将模型所编码的内容与其读出层所表达的内容混为一谈。为了直接追踪读出层，我们引入了参数轨迹交叉编码（parameter-trajectory crosscoding），它为每个检查点上每arXiv cs.CLhttps://arxiv.org/abs/2610.21025 10站内T2-Z：机器人世界模型的环境隐变量测试时优化预测世界如何对动作做出响应，所需的信息超出了可见范围：机器人必须考虑那些既无法直接观测、也未被明确指定的环境因素，从摩擦力和质量等物理属性，到人类定义的环境规则。我们提出 T2-Z，用于环境潜变量的测试时优化，它为机器人世界模型增加一个可学习的环境潜变量，以对世界预测进行条件化。这一紧凑的潜变量在没有任何关于存在哪些环境因素或其取值的监督下，捕捉潜在的环境变化。在训练过程中，T2-Z 在两个阶段之间交替：世界模型优化阶段，固定潜变量并学习跨环境的一般性动作条件动力学；以及环境潜变量优化阶段，冻结世界模型并优化条件潜变量，使潜变量结构纯粹通过世界预测而涌现Hugging Face Papershttps://huggingface.co/papers/2610.22364

AI 答案正在检索与综合…

站内相关条目

10 条 · 点击可看原文全文与中文译文

返回信息流

大模

FlowBudget: Training-Free Sampling-Budget Estimation for Flow Matching Models

FlowBudget 提出一种免训练的采样预算估计方法，用于流匹配模型。它通过无模拟插值探针估计单步离散误差系数，结合求解器阶数将数值容差映射为所需步数，从而避免传统依赖 FID-NFE 扫描的昂贵预算选择。在 SiT、FlowDCN、Rectified Flow 上验证有效，可降低推理调参成本。

大模型·arXiv cs.LG·4 天前

#flow-matching

大模

用集合级强化学习训练模型生成多样化科研想法

研究提出文档驱动的想法生成任务，要求模型基于论文产出高质量且彼此不同的想法集合。方法采用集合级强化学习目标，在一次生成中写出K个结构化想法卡片，并按与先前想法的距离加权质量联合打分，促使新想法远离已有想法。8B模型在无污染基准上的创意效用超过Claude Opus 4.8与GPT-6 Astra，专家评估与后者相当，且想法可执行性未下降。

大模型·Hugging Face Papers·4 天前

#llm

大模

Learning the importance of training data under concept drift

谷歌研究提出实例条件衰减时间尺度方法，为每个训练样本学习重要性分数，解决概念漂移下新旧数据相关性差异问题。在3900万张照片的十年基准上，相对准确率提升达15%，优于在线与持续学习。

大模型·Google AI Blog·4 天前

#concept-drift

部署

Advances in private training for production on-device language models

Google 分享 Gboard 端侧语言模型私有训练的进展：所有下一词预测模型均采用联邦学习并具备形式化差分隐私保证，覆盖 7+ 语言、15+ 国家，ε 低至 0.994，是已知最大规模用户级 DP 生产部署，对端侧 AI 隐私落地有标杆意义。

部署与算力·Google AI Blog·4 天前

#federated-learning

大模

TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。

大模型·arXiv cs.LG·4 天前

#mamba

大模

MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data

提出 MSP 模态自博弈训练框架，用代理文本描述作为语义桥梁，让多模态大模型无需成对跨模态数据即可实现零样本模态组合与推理，在多模态基准上达到领先或竞争性表现，降低了对昂贵对齐数据的依赖。

大模型·arXiv cs.AI·4 天前

#multimodal

MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments

MAI-Gym 是面向 GUI 智能体的开源一体化平台，统一移动端、桌面与网页环境的评测、数据采集和在线 RL 训练，支持万级并行环境与自动合成可验证任务。其训练的 9B 模型在 MobileWorld 与 OSWorld 上达开源同规模最优，且模拟应用训练可迁移到真机，显著降低 GUI 智能体训练成本。

Agent·arXiv cs.AI·4 天前

#gui-agent

具身

Spark-0 用触觉预训练提升机器人灵巧操作

Spark-0 是空间对齐的视觉-触觉-语言-动作模型，预训练时用触觉手套接触图与 3D 几何教师监督视觉 token，推理时可去掉；同时发布 1000 小时 HumanTouch 数据集与 SparkArena 基准。保留触觉监督使纯视觉成功率从 52.5% 升至 71.7%，说明触觉可作为可扩展的预训练监督信号。

具身智能·Hugging Face Papers·4 天前

#robotics

大模

Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

论文提出参数轨迹交叉编码方法，仅用检查点权重追踪语言模型预训练中反嵌入矩阵（读出层）的演化。发现Pythia预训练0.4-1.1%处读出层重组，而隐藏状态早已编码任务信息，说明行为时间线可能只反映读出层学会表达的时刻，而非模型真正习得能力的时刻。

大模型·arXiv cs.CL·4 天前

#interpretability

具身

T2-Z：机器人世界模型的环境隐变量测试时优化

T2-Z 为机器人世界模型引入可学习的环境隐变量，在测试时仅凭少量交互轨迹优化该隐变量，使模型适应未见过的摩擦、质量等环境因素。在 7 个仿真设置和 4 个真实任务中，物体预测误差从 15.20 降至 7.00，动作成功率从 33.73% 提升至 72.96%。

具身智能·Hugging Face Papers·4 天前

#robotics