大模
Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets
提出 Optimal Hydra,一种面向 LLM 微调的模型异构联邦学习框架:结合全局层选择与客户端特定的注意力头选择,依据本地数据分布生成定制子网络 Hydra-nets,在降低客户端资源需求的同时提升性能,是该场景下首个模型异构 FL 方案。
大模型·arXiv cs.LG·4 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
3 条 · 点击可看原文全文与中文译文
提出 Optimal Hydra,一种面向 LLM 微调的模型异构联邦学习框架:结合全局层选择与客户端特定的注意力头选择,依据本地数据分布生成定制子网络 Hydra-nets,在降低客户端资源需求的同时提升性能,是该场景下首个模型异构 FL 方案。
该论文研究可持续供能的移动机器人如何在固定闭合路径上优化速度轨迹,以在能量采集与信息获取之间取得最优权衡。作者将问题建模为周期最优控制问题,结合超线性推进成本与信息增益/衰减,基于信息论中的清晰度指标推导最优控制必要条件,并给出高速信息极限等性质,最后以切萨皮克湾盐度持续监测仿真验证。
该论文研究高维持续线性回归中显式与隐式正则化的最优强度,推导了固定步数梯度下降的泛化损失闭式解,证明最优步长随任务数近似以 ln T / T 衰减,并与最优 L2 正则等价,还给出对角正则矩阵下最优正则器为各向同性的充要条件。为持续学习系统的步长与正则设计提供理论指导。
现有资料不足以回答该问题。资料中只有 1 与联邦微调(Optimal Hydra)直接相关,但它只描述了方法与性能收益,没有列出除性能之外的评估维度;23 分别是移动机器人轨迹优化与高维持续线性回归的理论分析,与联邦微调的评估维度无关。 资料中能确认的部分:
也就是说,1 的摘要只体现了性能与客户端资源需求两个方向,并未给出系统性的评估维度清单(如通信开销、收敛性、公平性、鲁棒性等均未在资料中出现),因此无法据此归纳“通常还报告哪些评估维度”。