斯坦福研究发现大模型演进迅速,44%的历史能力论断已失效
斯坦福大学研究人员测试了 50 项关于大语言模型的引用论断,发现其中 44% 已经失效,结论的平均有效寿命仅为 15.7 个月。关于模型“无法做到”的推理能力缺陷失效最快,而讨好用户等行为偏好则更为持久。研究指出同代模型间差异显著,呼吁将大模型实证研究界定为特定时间节点的观察而非普遍真理。
斯坦福大学研究人员测试了 50 项关于大语言模型的引用论断,发现其中 44% 已经失效,结论的平均有效寿命仅为 15.7 个月。关于模型“无法做到”的推理能力缺陷失效最快,而讨好用户等行为偏好则更为持久。研究指出同代模型间差异显著,呼吁将大模型实证研究界定为特定时间节点的观察而非普遍真理。
Hugging Face 推出长上下文状态追踪评测基准 StateBench,用于评估语言模型在长文档中跟踪实体状态变化的能力。该基准设 R-trivial、Aperiodic、Soluble 和 General finite 四个难度级别。
Elorian 联合 Mercor 发布视觉推理基准 DecoyCount,测试显示前沿模型准确率均低于 50%,其中最高的 GPT-6 Astra 为 43.17%。
Google Research 提出面向持续学习的 Sleep 框架,通过让大语言模型交替进行主动交互与离线巩固,将短期上下文记忆转化为稳定的长效参数。该架构包含模拟慢波睡眠的参数扩展与策略蒸馏记忆巩固,以及模拟快速眼动睡眠的随机 MoE 专家激活与做梦自我提升循环。
推荐理由:该方案通过模拟人脑睡眠时的记忆巩固与做梦机制,为解决大语言模型部署后的灾难性遗忘提供了可迁移的持续学习范式。
微软研究院研究员 Xinzhi Zhang 与合作者结合人类主导的 AI 智能体协作流程,成功证明了高维几何与概率论中历时 31 年的 KLS 猜想。该研究确立了对数凹分布的无量纲几何原理,证明最窄瓶颈割面与简单平坦割面之间的差距受通用常数控制且不依赖维度,移除了理解高维采样随机算法效率的重要理论障碍。
推荐理由:展示了人类引导智能体探索数学路径完成顶级猜想证明的协作范式,读者可据此理解前沿科研中人机配合的具体机制。