大模型arXiv cs.LG4 天前
Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States
该论文将注意力指数核展开为截断泰勒级数，把因果历史压缩为固定数量的循环状态，实现线性时间注意力。在 N=8192 时提速 20.8 倍，解码延迟恒定，精度随阶数指数提升但成本组合增长，最优为二阶 n=3。
每日自动追踪全球权威信源，模型生成中文摘要与有效期判断，人工抽检把关。 不追热点，只留经得起推敲的那一部分。
AI 与可被 AI 赋能的行业方向，每个领域独立成脉
共 1 条符合条件
该论文将注意力指数核展开为截断泰勒级数，把因果历史压缩为固定数量的循环状态，实现线性时间注意力。在 N=8192 时提速 20.8 倍，解码延迟恒定，精度随阶数指数提升但成本组合增长，最优为二阶 n=3。