跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

2 条精选近 30 天 2 条共收录 6 条

更新

数据与训练的精选

今天11月4日周三第 1–2 条
  1. Hugging Face Blog69

    IBM Research 提出 Palette:通过双角色与校验机制让 20B 小模型生成定制幻灯片

    IBM Research 提出了幻灯片生成方案 Palette,通过合成数据微调 20B 开源模型,使其能够遵循特定设计语言生成演示文稿。该方案将流程拆分为负责大纲布局的设计师与并行编写 pptxgenjs 代码的程序员两个角色,并通过包含几何检查器的 Harness 自动检测元素重叠并安全修复代码。

    推荐理由:原文将幻灯片生成拆解为规划与代码绘制两个角色,为借助小模型和校验修复机制生成结构化排版提供了可复用的工程思路。

10月28日周三
  1. Google Research61

    Google Research 提出 Sleep 框架:模拟睡眠机制实现大语言模型持续学习

    Google Research 提出面向持续学习的 Sleep 框架,通过让大语言模型交替进行主动交互与离线巩固,将短期上下文记忆转化为稳定的长效参数。该架构包含模拟慢波睡眠的参数扩展与策略蒸馏记忆巩固,以及模拟快速眼动睡眠的随机 MoE 专家激活与做梦自我提升循环。

    推荐理由:该方案通过模拟人脑睡眠时的记忆巩固与做梦机制,为解决大语言模型部署后的灾难性遗忘提供了可迁移的持续学习范式。