AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 10 条来源 · 引用可点击溯源

现有资料不足以回答「LLM 价值对齐（RLHF/DPO）在现有资料中有无相关依据」这一问题——10 条资料中没有任何一条涉及 RLHF、DPO 或价值对齐主题。 可确认的部分：

资料覆盖的方向包括：LLM 引导的符号回归搜索1、本地 LLM 推理速度测试2、隐私检测基准3、面向 LLM 微调的模型异构联邦学习4、图结构编码与图推理5、审稿意见事实核查6、空间状态变化预测基准7、教师-学生模型的协作学习8、表格推理链9、金融量化研究中的 LLM 工作流10。
其中与「训练/对齐」最接近的仅是微调与训练相关条目：Optimal Hydra 讨论 LLM 微调的联邦学习框架4；QuasiLeak-Bench 提到在其训练集上微调的 4B 模型超越了提示词驱动模型3。但两者均未涉及 RLHF、DPO 或对齐目标。
与「价值/偏好」语义最接近的是 L2G-SR 中提到的「纯数值误差偏好近似解而非正确结构」1，但这里的「偏好」指搜索目标函数的设计倾向，与人类价值对齐无关。

结论： 无法基于现有资料给出 RLHF/DPO 或价值对齐的任何事实性依据，建议补充对齐方向的专门资料后再行检索。

继续追问

RLHF 与 DPO 在训练流程和显存开销上的主要差异是什么？现有资料中提到的 LLM 微调方案（如 Optimal Hydra[4]）能否与偏好优化结合？如何评估对齐后的模型是否出现能力退化（如推理基准[7]上的表现变化）？

参考来源

10 条

1站内L2G-SR: Learning to Guide LLM-based Symbolic RegressionL2G-SR 提出用学习到的结构验证器引导基于 LLM 的符号回归搜索，利用树编辑距离构建结构监督信号，弥补纯数值误差偏好近似解而非正确结构的问题。在 LLM-SRBench 上取得数值拟合、方程级准确率和 TED 的最优结果，展示了结构引导对 LLM 符号回归的价值。arXiv cs.AIhttps://arxiv.org/abs/2610.20685 2站内Llmspeed：购买硬件前先测本地LLM速度Llmspeed 是一个 Show HN 项目，让用户在购买硬件前先体验本地大模型的推理速度。它解决了选型时缺乏直观性能参考的问题，帮助工程师根据实际速度而非参数猜测来决策硬件采购。Hacker News (front page)https://llmspeed.dev/3站内QuasiLeak-Bench：策略条件下的准证据组隐私检测基准…ruth，一条逆向构建流水线首先选取弱准标识符，将其组合为经核实能够联合泄露目标属性的准证据组，并围绕这些证据生成文档，随后进行自动化质量控制。实验表明，现有隐私检测器迁移到 QuasiLeak-Bench 上表现很差，且可本地部署的基于 LLM 的检测器远远落后于专有模型，主要原因是它们完全遗漏了大多数准证据组。然而，一个在我们的训练集上微调的 4B 模型在留出文档上超越了最强的提示词驱动模型，表明该任务是可学习的。Hugging Face Papershttps://huggingface.co/papers/2610.21333 4站内Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架：结合全局层选择与客户端特定的注意力头选择，依据本地数据分布生成定制子网络 Hydra-nets，在降低客户端资源需求的同时提升性能，是该场景下首个模型异构 FL 方案。arXiv cs.LGhttps://arxiv.org/abs/2610.20753 5站内Talk like a graph: Encoding graphs for large language modelsGoogle Research 在 ICLR 2024 提出将图结构编码为文本以提升 LLM 图推理能力，并发布 GraphQA 基准。研究发现编码方式、任务类型和图结构会影响性能，选对编码方法可使 LLM 图任务表现提升高达 60%。Google AI Bloghttp://blog.research.google/2024/03/talk-like-graph-encoding-graphs-for.html 6站内PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews提出 ReviewFact 基准与 PremiseCheck 框架，用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提，再用廉价判定模型逐条对照论文核验，在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。arXiv cs.CLhttps://arxiv.org/abs/2610.21046 7站内Grid-Bench：评估LLM预测离散空间状态变化能力Grid-Bench是一个可执行基准，用二维至四维网格上的八类操作测试LLM能否根据初始状态、规则和事件历史预测最终空间状态。结果显示历史越长准确率下降越明显，且单事件表现相近的模型在长序列上差异巨大，为空间推理评估提供了可验证的量化方法。Hugging Face Papershttps://huggingface.co/papers/2610.22312 8站内Social learning: Collaborative learning with large language modelsGoogle Research 提出 LLM 社交学习框架，让教师模型通过自然语言指令或示例向学生模型传授知识，无需共享私有数据，在垃圾短信检测、小学数学和问答任务上验证有效性，并给出隐私量化方法。Google AI Bloghttp://blog.research.google/2024/03/social-learning-collaborative-learning.html 9站内Chain-of-table: Evolving tables in the reasoning chain for table understandingGoogle 提出 Chain-of-Table 框架，让 LLM 通过逐步生成表格操作（选列、聚合、排序等）迭代演化表格，形成可解释的推理链，解决表格结构难以被语言模型理解的问题，在 WikiTQ、TabFact、FeTaQA 上取得 SOTA。Google AI Bloghttp://blog.research.google/2024/03/chain-of-table-evolving-tables-in.html 10站内How Jump Trading is scaling quant research with ChatGPTJump Trading 利用 ChatGPT 扩展量化研究，通过长时间运行的 AI 工作流整合多数据源并保留人工审核，展示了 LLM 在金融量化领域的落地方式，值得关注 AI 与专业研究流程结合的工程实践。OpenAI Newshttps://openai.com/index/jump-trading

AI 答案正在检索与综合…

站内相关条目

10 条 · 点击可看原文全文与中文译文

返回信息流

大模

L2G-SR: Learning to Guide LLM-based Symbolic Regression

L2G-SR 提出用学习到的结构验证器引导基于 LLM 的符号回归搜索，利用树编辑距离构建结构监督信号，弥补纯数值误差偏好近似解而非正确结构的问题。在 LLM-SRBench 上取得数值拟合、方程级准确率和 TED 的最优结果，展示了结构引导对 LLM 符号回归的价值。

大模型·arXiv cs.AI·4 天前

#llm

部署

Llmspeed：购买硬件前先测本地LLM速度

Llmspeed 是一个 Show HN 项目，让用户在购买硬件前先体验本地大模型的推理速度。它解决了选型时缺乏直观性能参考的问题，帮助工程师根据实际速度而非参数猜测来决策硬件采购。

部署与算力·Hacker News (front page)·4 天前

#llm

大模

QuasiLeak-Bench：策略条件下的准证据组隐私检测基准

现有隐私基准多关注显式标识符或属性推断，忽略了孤立弱但联合可揭示隐私的准证据组。该工作提出 QuasiLeak-Bench，用逆向构建流水线生成可靠标注，评估检测器能否恢复完整准证据组并按披露策略标记违规。实验显示现有检测器迁移差、本地模型远落后于闭源模型，但微调 4B 模型可超越最强提示模型，表明任务可学习。

大模型·Hugging Face Papers·4 天前

#llm

大模

Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets

提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架：结合全局层选择与客户端特定的注意力头选择，依据本地数据分布生成定制子网络 Hydra-nets，在降低客户端资源需求的同时提升性能，是该场景下首个模型异构 FL 方案。

大模型·arXiv cs.LG·4 天前

#federated-learning

大模

Talk like a graph: Encoding graphs for large language models

Google Research 在 ICLR 2024 提出将图结构编码为文本以提升 LLM 图推理能力，并发布 GraphQA 基准。研究发现编码方式、任务类型和图结构会影响性能，选对编码方法可使 LLM 图任务表现提升高达 60%。

大模型·Google AI Blog·4 天前

#llm

行业

PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews

提出 ReviewFact 基准与 PremiseCheck 框架，用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提，再用廉价判定模型逐条对照论文核验，在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。

行业落地·arXiv cs.CL·4 天前

#fact-checking

大模

Grid-Bench：评估LLM预测离散空间状态变化能力

Grid-Bench是一个可执行基准，用二维至四维网格上的八类操作测试LLM能否根据初始状态、规则和事件历史预测最终空间状态。结果显示历史越长准确率下降越明显，且单事件表现相近的模型在长序列上差异巨大，为空间推理评估提供了可验证的量化方法。

大模型·Hugging Face Papers·4 天前

#llm

大模

Social learning: Collaborative learning with large language models

Google Research 提出 LLM 社交学习框架，让教师模型通过自然语言指令或示例向学生模型传授知识，无需共享私有数据，在垃圾短信检测、小学数学和问答任务上验证有效性，并给出隐私量化方法。

大模型·Google AI Blog·4 天前

#llm

大模

Chain-of-table: Evolving tables in the reasoning chain for table understanding

Google 提出 Chain-of-Table 框架，让 LLM 通过逐步生成表格操作（选列、聚合、排序等）迭代演化表格，形成可解释的推理链，解决表格结构难以被语言模型理解的问题，在 WikiTQ、TabFact、FeTaQA 上取得 SOTA。

大模型·Google AI Blog·4 天前

#llm

行业

How Jump Trading is scaling quant research with ChatGPT

Jump Trading 利用 ChatGPT 扩展量化研究，通过长时间运行的 AI 工作流整合多数据源并保留人工审核，展示了 LLM 在金融量化领域的落地方式，值得关注 AI 与专业研究流程结合的工程实践。

行业落地·OpenAI News·4 天前

#llm