AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM10 agent8 alignment8 fine-tuning8 multi-agent8 post-training8 pretraining8 training8

AI 答案

资料有限基于 10 条来源 · 引用可点击溯源

现有资料不足以系统回答「fine-tuning（微调）」这一主题——10 条资料中没有一篇以微调为核心议题，只能零散提取到与微调相关的片段。 资料中能确认的与微调相关的内容：

少样本 LoRA 微调会损害超出范围（OOS）拒绝能力：常驻虚拟助手越来越多地通过少样本微调（例如 LoRA）在设备端针对新的用户特定命令进行个性化，但这类适配几乎只评估它是否学会了新命令，而不评估助手是否仍能识别与其任何意图都不匹配的输入10。实验显示，朴素的少样本 LoRA 个性化会在五个公开意图分类基准上全部降低 OOS 拒绝的 AUROC（平均下降 0.055–0.258，每个基准五次随机种子），而范围内准确率保持不变10。
微调并非长上下文起草器的必要路径：在投机解码场景中，标准应对方式是构建长上下文起草器，方法包括训练或微调一个起草器，或使用目标检查点内置的多 token 预测头；但该文认为这没有必要，因为实际使用的起草器以目标模型为条件、读取目标模型在整个前缀上计算出的隐藏状态7。
两阶段迁移学习/训练方案在领域模型中被沿用：AIFL 通过两阶段迁移学习方案和确定性 LSTM 应对业务预报驱动下的技巧损失，KNOU-Flood 保留单层 LSTM 和两阶段训练，并改变其周围的信息（更长输入窗口 424 天、预见期感知的预报输入、引入 GraphCast 等）9。
小模型辅助大模型的相关背景（非微调本身）：多任务 LLM 规模从数十亿到数千亿参数，训练和推理昂贵低效，为每个下游任务维护独立 LLM 副本需要大量存储，且最强的多任务 LLM（如 FLAN-PaLM-540B）闭源、无法适配4。

资料未覆盖的部分：全参数微调与参数高效微调（PEFT）的方法体系、LoRA/Adapter/Prefix-Tuning 的原理对比、微调数据配比与灾难性遗忘的一般性结论、微调成本与显存估算等，均无资料支撑，不做推断。如需针对具体方向（如 LoRA 个性化副作用、领域模型两阶段训练）深入，可缩小问题范围。

继续追问

少样本 LoRA 个性化导致 OOS 拒绝能力下降的机制是什么，有哪些缓解方法？KNOU-Flood 的两阶段训练方案具体如何设计，与 AIFL 有何差异？在投机解码中不微调起草器、直接复用目标模型隐藏状态的做法，适用边界是什么？

参考来源

10 条

1站内3DCodeVerse 让编码智能体生成可验证3D代码我们提出 3DCodeVerse，一个研究生态系统，使编码智能体能够大规模创建可编辑、可验证的 3D 内容。3DCodeVerse 包含大规模、高质量的可执行 3D 代码数据集，一个用于空间推理与自动验证的编码 harness，以及面向 3D 编码的实践指导。首先，我们构建了 3DCodeVerse-2M，一个大规模、经过整理的可独立运行的 3D 可执行代码数据集。我们通过收集开源数据、转换专门表示形式，以及使用编码智能体生成新程序来构建该语料库。每个程序都与其在声明环境中执行所需的源文件和相关资产打包在一起，并附带可用的描述和验证记录。其次，我们开发了Hugging Face Papershttps://huggingface.co/papers/2610.22341 2站内CoDA：数据引擎与动作策略协同进化生成式仿真可以自动化机器人环境的构建，但物理上有效的环境未必对训练有用。难点在于识别出能够针对策略失败的环境，以及帮助策略克服这些失败的监督信号。我们提出 CoDA，一个让仿真数据引擎与动作策略通过共享的异构记忆协同演化的框架，该记忆涵盖环境构建、策略失败与学习进展。该记忆将来自视觉-语言评论器（vision-language critic）的经过验证的诊断编译为生成程序与训练程序，前者用于重现困难，后者用于帮助策略克服这些困难。我们进一步提出 Text2potential，将这些诊断转化为用于动作块价值学习的分阶段势函数（staged potentiaHugging Face Papershttps://huggingface.co/papers/2610.22362 3站内Health-specific embedding tools for dermatology and pathology致谢我们要感谢许多协作者，他们帮助使这项工作成为可能，包括 Yun Liu、Can Kirmizi、Fereshteh Mahvar、Bram Sterling、Arman Tajback、Kenneth Philbrik、Arnav Agharwal、Aurora Cheung、Andrew Sellergren、Boris Babenko、Basil Mustafa、Jan Freyberg、Terry Spitz、Yuan Liu、Pinal Bavishi、Ayush Jain、Amit Talreja、Rajeev Rikhye、Abbi WGoogle AI Bloghttp://blog.research.google/2024/03/health-specific-embedding-tools-for.html 4站内Cappy: Outperforming and boosting large multi-task language models with a small scorer由于仅使用指令来理解和解决各种任务的复杂性，多任务LLM的规模通常从数十亿参数到数千亿参数不等（例如，FLAN-11B、T0-11B 和 OPT-IML-175B）。因此，运行如此庞大的模型面临重大挑战，因为它们需要大量的计算能力，并对GPU和TPU的内存容量提出极高要求，使得其训练和推理既昂贵又低效。为每个下游任务维护一份独立的LLM副本需要大量的存储空间。此外，最强大的多任务LLM（例如FLAN-PaLM-540B）是闭源的，无法对其进行适配。然而，在实际应用中，利用单个多任务LLM以零样本方式管理所有可设想的任务仍然困难，尤其是在处理复杂任务、个性Google AI Bloghttp://blog.research.google/2024/03/cappy-outperforming-and-boosting-large.html 5站内ScreenAI: A visual language model for UI and visually-situated language understanding本项目是与 Maria Wang、Fedir Zubach、Hassan Mansoor、Vincent Etter、Victor Carbune、Jason Lin、Jindong Chen 和 Abhanshu Sharma 共同合作完成的成果。我们感谢 Fangyu Liu、Xi Chen、Efi Kokiopoulou、Jesse Berent、Gabriel Barcik、Lukas Zilka、Oriana Riva、Gang Li、Yang Li、Radu Soricut 和 Tania Bedrax-Weiss 提供的深刻反馈与讨论，以及Google AI Bloghttp://blog.research.google/2024/03/screenai-visual-language-model-for-ui.html 6站内Evo-DexBench: Benchmarking Generalization across Related Tasks for Dexterous ManipulationarXiv:2610.21180v1 公告类型：新摘要：通用灵巧操作要求策略能够仅凭少量目标演示，就将相关知识从相关任务迁移到新任务。现有基准测试往往提供过多的目标演示，同时对源任务与目标任务之间的差异缺乏控制。因此，它们无法清晰区分知识迁移与任务记忆。我们的核心洞见是 Core-Gen 原则。Core 任务是指共享功能交互并提供源知识的相关任务，而 Gen 任务则是同一功能族内仅有少量演示的新颖目标任务。这一设置检验策略能否复用功能交互知识。基于该原则，我们提出了 Evo-DexBench，它同时控制源任务相关性与目标任务暴露程度。该基准包含六个功能arXiv cs.ROhttps://arxiv.org/abs/2610.21180 7站内Long-Context Drafting Does Not Require Long-Context DraftersarXiv:2610.20865v1 公告类型：新摘要：投机解码将廉价的起草器与针对目标模型的并行验证配对。在超长上下文下，这种做法不再划算，因为一个需要对完整前缀进行注意力的起草器会继承目标模型依赖于上下文的成本，于是它本应提供的加速先是衰减，继而逆转。标准的应对方式是构建一个长上下文起草器，方法包括训练或微调一个起草器，或者使用目标检查点内置的多 token 预测头。我们认为这没有必要，因为实际使用的起草器是以目标模型为条件的，读取的是目标模型在整个前缀上计算出的隐藏状态，因此远端上下文无需起草器自身的注意力即可到达它，而验证会纠正它遗漏的内容。因arXiv cs.LGhttps://arxiv.org/abs/2610.20865 8站内Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets[Submitted on 14 Oct 2026] 标题： Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets 查看题为 Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets 的论文 PDF，作者为 Gwen Legate 及另外 2 位作者查看 PDF HTML（实验性）摘要：大arXiv cs.LGhttps://arxiv.org/abs/2610.20753 9站内KNOU-Flood: Advancing global streamflow forecasting with lead-aware probabilistic machine learningarXiv:2610.20640v1 公告类型：新摘要：全球径流预报为洪水防范提供支持，但基于再分析数据训练的数据驱动模型在由业务预报驱动时会损失技巧，且随预见期延长损失愈发明显。AIFL 通过两阶段迁移学习方案和确定性 LSTM 应对这一转变，但它将单一预报预见期输入整个输入窗口，且不提供不确定性信息。我们探究在不改变其循环核心的前提下，这一开放方案能被扩展到何种程度。KNOU-Flood 保留单层 LSTM 和两阶段训练，并改变其周围的信息：更长的输入窗口（424 天）、预见期感知的预报输入、在 ECMWF HRES 之外引入 GraphCast arXiv cs.LGhttps://arxiv.org/abs/2610.20640 10站内Does Personalization Break Trust? Open-Set Rejection Calibration Under Few-Shot On-Device Intent AdaptationarXiv:2610.20652v1 公告类型：新摘要：常驻虚拟助手越来越多地通过少样本微调（例如 LoRA）在设备端针对新的用户特定命令进行个性化，但这种适配几乎只评估它是否学会了新命令，而不评估助手是否仍能识别与其任何意图都不匹配的输入——即超出范围（OOS）拒绝问题。我们表明，朴素的少样本 LoRA 个性化会在五个公开意图分类基准测试中的每一个上降低 OOS 拒绝的 AUROC（ROC 曲线下面积）（平均下降 $0.055$--$0.258$，每个基准五次随机种子），而范围内准确率保持不变。一项评分器不变性检查表明，这一下降的一部分是标准置信度评arXiv cs.CLhttps://arxiv.org/abs/2610.20652

AI 答案正在检索与综合…

站内相关条目

10 条 · 点击可看原文全文与中文译文

返回信息流

3DCodeVerse 让编码智能体生成可验证3D代码

3DCodeVerse 是一个面向编码智能体的3D内容生成生态，包含200万条可执行3D代码数据集、多智能体DAG生成与验证框架，以及3D编码实践指南。它通过执行检查、空间测量和视觉反馈自动评估修正程序，微调后开源模型3D编码能力显著提升，其框架在人类评测中对Claude Design取得90%胜率。

Agent·Hugging Face Papers·4 天前

#agent

具身

CoDA：数据引擎与动作策略协同进化

CoDA让生成式仿真数据引擎与机器人动作策略通过共享异构记忆协同进化，用视觉语言评论器诊断策略失败并生成针对性训练程序，配合Text2potential提供稠密监督。在四类操作任务上分布外成功率从5.3%提升至27.6%，LIBERO-Pro上位置扰动成功率由25%升至84%。

具身智能·Hugging Face Papers·4 天前

#robotics

行业

Health-specific embedding tools for dermatology and pathology

Google Health 发布 Derm Foundation 与 Path Foundation 两个医学影像嵌入工具，可将皮肤科与数字病理图像转为数值向量，让研究者用少量数据快速训练下游模型，缓解影像专家短缺并降低 ML 开发门槛。

行业落地·Google AI Blog·4 天前

#medical-imaging

大模

Cappy: Outperforming and boosting large multi-task language models with a small scorer

Google Research 提出 Cappy，一个仅 3.6 亿参数的轻量评分器，基于 RoBERTa 持续预训练。它接收指令与候选回答并输出 0-1 正确性分数，可独立完成分类任务，也可作为辅助组件提升多任务大模型表现。无需微调大模型、无需反向传播、无需访问其参数，即可实现下游监督，兼容闭源 WebAPI 模型，显著降低存储与显存开销。

大模型·Google AI Blog·4 天前

#llm

大模

ScreenAI: A visual language model for UI and visually-situated language understanding

Google Research 发布 ScreenAI，一个 5B 参数的视觉语言模型，基于 PaLI 架构并采用 pix2struct 灵活分块策略，专门理解 UI 界面和信息图。通过自监督预训练与人工标注微调，在 WebSRC、MoTIF、ChartQA、DocVQA 等任务上达到同规模最优，并开源三个新数据集。

大模型·Google AI Blog·4 天前

#vlm

具身

Evo-DexBench: Benchmarking Generalization across Related Tasks for Dexterous Manipulation

Evo-DexBench 是面向灵巧操作策略泛化能力的新基准，基于 Core-Gen 原则控制源任务相关性与目标任务样本量，含 6 类功能族 30 个任务、1248 条多模态演示。实验显示最优方法平均成功率仅 38.5%，揭示现有方法难以迁移功能交互知识，为评估跨相关任务泛化提供标准化平台。

具身智能·arXiv cs.RO·4 天前

#robotics

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·4 天前

#speculative-decoding

大模

Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets

提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架：结合全局层选择与客户端特定的注意力头选择，依据本地数据分布生成定制子网络 Hydra-nets，在降低客户端资源需求的同时提升性能，是该场景下首个模型异构 FL 方案。

大模型·arXiv cs.LG·4 天前

#federated-learning

行业

KNOU-Flood: Advancing global streamflow forecasting with lead-aware probabilistic machine learning

KNOU-Flood 在 AIFL 开源配方基础上做受控扩展：保持单层 LSTM 与两阶段迁移学习，改用 424 天输入窗、lead-aware 预报输入、加入 GraphCast 作为第二预报源，并用 fair CRPS 训练隐噪声集成。在 2099 个流域上，LT1/LT10 中位 KGE' 达 0.65/0.48，优于基线，且揭示预报输入协议是 lead-time 衰减主因。

行业落地·arXiv cs.LG·4 天前

#streamflow-forecasting

大模

Does Personalization Break Trust? Open-Set Rejection Calibration Under Few-Shot On-Device Intent Adaptation

研究发现，设备端少样本LoRA个性化虽能学会新指令，却会削弱助手对范围外输入的拒识能力（AUROC平均下降0.055–0.258），部分源于置信度打分器失准，也与嵌入边界收缩相关。改用马氏距离打分无需重训即可在5个数据集中的3个恢复大部分性能且不损精度，对端侧助手可靠性有直接价值。

大模型·arXiv cs.CL·4 天前

#lora