Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets
中文摘要
由模型生成 · 人工抽检提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架：结合全局层选择与客户端特定的注意力头选择，依据本地数据分布生成定制子网络 Hydra-nets，在降低客户端资源需求的同时提升性能，是该场景下首个模型异构 FL 方案。
全文
已译中文[Submitted on 14 Oct 2026]
标题：
Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets
查看题为 Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets 的论文 PDF，作者为 Gwen Legate 及另外 2 位作者
查看 PDF
HTML（实验性）
摘要：
大语言模型（LLM）在海量数据上训练后，已在多种任务上展现出令人瞩目的性能，但未来的性能提升将需要越来越多的数据和算力。联邦学习（FL）支持在去中心化的私有数据上进行训练，但客户端的资源限制可能使训练变得不切实际，尤其是随着模型规模持续扩大。这些资源约束使得共享的服务器-客户端架构假设变得不切实际。模型异构联邦学习通过使模型规模适配客户端能力，提供了一种有前景的替代方案；然而，此前的工作局限于预训练场景，且关于子网络选择的结论未必适用于微调。此外，已有方法在构建客户端子网络时未考虑其各自独特的数据分布，从而错失了针对本地数据定制子网络架构的机会。受注意力头在层内定义的特定特征空间中表现出任务依赖性的证据启发，我们提出 Optimal Hydra——一个基于 Transformer 的异构联邦学习微调框架，它将全局层选择与客户端特定的注意力头选择相结合，并与本地数据分布对齐。Optimal Hydra 显式利用客户端数据来生成客户端特定的子网络，我们称之为 Hydra-nets。据我们所知，这是首个专为 LLM 微调量身定制的模型异构联邦学习方法。在三个数据集上的实验表明，相较于基线方法有显著提升，同时降低了本地资源需求。
提交历史
发件人：Gwendolyne Legate [
查看邮件
[v1]
2026年10月14日星期三 18:08:34 UTC（1,114 KB）
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。