Google Research 提出 Sleep 框架:模拟睡眠机制实现大语言模型持续学习
Google Research 提出面向持续学习的 Sleep 框架,通过让大语言模型交替进行主动交互与离线巩固,将短期上下文记忆转化为稳定的长效参数。该架构包含模拟慢波睡眠的参数扩展与策略蒸馏记忆巩固,以及模拟快速眼动睡眠的随机 MoE 专家激活与做梦自我提升循环。
推荐理由:该方案通过模拟人脑睡眠时的记忆巩固与做梦机制,为解决大语言模型部署后的灾难性遗忘提供了可迁移的持续学习范式。
Google Research 提出面向持续学习的 Sleep 框架,通过让大语言模型交替进行主动交互与离线巩固,将短期上下文记忆转化为稳定的长效参数。该架构包含模拟慢波睡眠的参数扩展与策略蒸馏记忆巩固,以及模拟快速眼动睡眠的随机 MoE 专家激活与做梦自我提升循环。
推荐理由:该方案通过模拟人脑睡眠时的记忆巩固与做梦机制,为解决大语言模型部署后的灾难性遗忘提供了可迁移的持续学习范式。
微软研究院研究员 Xinzhi Zhang 与合作者结合人类主导的 AI 智能体协作流程,成功证明了高维几何与概率论中历时 31 年的 KLS 猜想。该研究确立了对数凹分布的无量纲几何原理,证明最窄瓶颈割面与简单平坦割面之间的差距受通用常数控制且不依赖维度,移除了理解高维采样随机算法效率的重要理论障碍。
推荐理由:展示了人类引导智能体探索数学路径完成顶级猜想证明的协作范式,读者可据此理解前沿科研中人机配合的具体机制。