大模
L2G-SR: Learning to Guide LLM-based Symbolic Regression
L2G-SR 提出用学习到的结构验证器引导基于 LLM 的符号回归搜索,利用树编辑距离构建结构监督信号,弥补纯数值误差偏好近似解而非正确结构的问题。在 LLM-SRBench 上取得数值拟合、方程级准确率和 TED 的最优结果,展示了结构引导对 LLM 符号回归的价值。
大模型·arXiv cs.AI·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
2 条 · 点击可看原文全文与中文译文
L2G-SR 提出用学习到的结构验证器引导基于 LLM 的符号回归搜索,利用树编辑距离构建结构监督信号,弥补纯数值误差偏好近似解而非正确结构的问题。在 LLM-SRBench 上取得数值拟合、方程级准确率和 TED 的最优结果,展示了结构引导对 LLM 符号回归的价值。
该论文研究高维持续线性回归中显式与隐式正则化的最优强度,推导了固定步数梯度下降的泛化损失闭式解,证明最优步长随任务数近似以 ln T / T 衰减,并与最优 L2 正则等价,还给出对角正则矩阵下最优正则器为各向同性的充要条件。为持续学习系统的步长与正则设计提供理论指导。