Ag
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
AlphaDiana 是一个面向可验证推理任务的智能体评测系统,提供数据集、智能体、环境与评分器的模块化接口,可在保持原生控制循环的同时分别控制文件复用与记忆保留。研究发现,工具框架并不总能提升推理准确率,技能引导与历史记忆也未必可靠,需结合正确性评估行为与 token 消耗。
Agent·arXiv cs.AI·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
AlphaDiana 是一个面向可验证推理任务的智能体评测系统,提供数据集、智能体、环境与评分器的模块化接口,可在保持原生控制循环的同时分别控制文件复用与记忆保留。研究发现,工具框架并不总能提升推理准确率,技能引导与历史记忆也未必可靠,需结合正确性评估行为与 token 消耗。
现有资料不足以回答该问题。资料中仅有一篇系统类论文,未提供任何公开基准名称,也未给出固定工作流 Agent 与自主规划 Agent 之间 token 消耗差异的实测数据或对比结论。 资料中能确认的相关部分仅有:
也就是说,资料只表明「token 消耗应作为与正确性并列的评估维度」这一方法论取向1,但并未涉及固定工作流与自主规划两类 Agent 的 token 消耗对比,也没有列出任何公开基准或论文实测结果。