Google Research·· 5 天前AI 评分42
Google Research 提出 sleep framework：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep framework，通过交替活跃交互与离线记忆巩固，使 LLM 在持续学习中不断获取新知识并避免灾难性遗忘。该框架在睡眠阶段解锁 MoE 记忆块更新权重，支持保留长达 10M tokens 的上下文知识并提升复杂推理能力。 ```
来源：Google Research · research.google