Google Research·· 8 天前精选AI 评分61
Google Research 提出 Sleep 框架：模拟睡眠机制实现大语言模型持续学习
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出面向持续学习的 Sleep 框架，通过让大语言模型交替进行主动交互与离线巩固，将短期上下文记忆转化为稳定的长效参数。该架构包含模拟慢波睡眠的参数扩展与策略蒸馏记忆巩固，以及模拟快速眼动睡眠的随机 MoE 专家激活与做梦自我提升循环。
推荐理由
该方案通过模拟人脑睡眠时的记忆巩固与做梦机制，为解决大语言模型部署后的灾难性遗忘提供了可迁移的持续学习范式。
来源：Google Research · research.google