Berkeley D-Skill：通过技能蒸馏缩小教师-学生模型差距75-95%
【US】蒸馏别只更权重：Berkeley D-Skill，靠 skill 关教师—学生差距 75–95% 量级
反直觉：把教师能力灌给学生不一定要动学生权重——可先蒸成可复用 skill。现有错处：默认蒸馏=参数更新。作者改动：D-Skill，经 agent skill 蒸馏教师知识。硬数字：SpreadsheetBench Verified 关差距 **83.4–89.3%**；ALFWorld **84.6–94.6%**；chess **75.3–87.7%**。可迁移判断：**明川：小模型接手大模型工作流时优先试「skill 蒸馏」再开全量 FT。不要并进 #10 SSR，也不要并进 T2 CORD。**
该研究提出了一种新的知识蒸馏方法，通过分析教师和学生模型的交互，实现了高效的技能迁移，对AI领域的研究具有重要意义。
Berkeley D-Skill (arXiv:2610.28914)
“View PDF HTML (experimental) Abstract: Frontier language-model agents excel at complex tasks, but high inference costs make transferring the”
摘要：前沿语言模型代理在复杂任务上表现出色，但高昂的推理成本使得将它们的技能转移到更小的模型上变得至关重要。传统的知识蒸馏通过参数更新来实现这一点，需要访问学生的权重和额外的训练计算，同时在参数中隐式地编码转移的知识。我们引入了D-Skill，这是一个框架，它将教师视为一个黑盒，通过分析成对的角色输出并识别行为差异和一致性，将教师的行为优势蒸馏成可解释的自然语言技能。这些课程在离线状态下与任何兼容的技能更新后端合并，形成一个技能文档，在推理时提供给学生。D-Skill从固定的轨迹中完全离线构建技能，无需标签，无需在收集轨迹后进行任何进一步的环境交互或权重更新。在跨越多个师生对的SpreadsheetBench-Verified、ALFWorld和棋盘游戏的情况下，D-Skill缩小了75%-95%的师生差距，而无需接触模型权重。在单个离线遍历成对轨迹后，D-Skill优于单次epoch SFT基线，并且与多epoch SFT保持竞争力。在相同的模型家族下，生成的学生也比教师每项任务低5.7x-8.3x的推理成本。我们的结果表明，自然语言技能蒸馏提供了一种性能良好、可解释且高效的基于权重的技能转移的替代方案。
| 评论： | |
| 21页，4个图表，9个表格 | 主题： |
| 人工智能（cs.AI） | arXiv:2610.28914 [cs.AI] |
| (或 arXiv:2610.28914v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28914 通过DataCite发布的arXiv DOI（待注册） |
投稿历史
来自：Shuo Yuan [查看电子邮件]
[v1]
周二，20 Oct 2026 20:52:03 UTC（195 KB)
来源：Agent Control Flash News · arxiv.org
关联产品与深度拆解
Cursor Agent 架构全景拆解：从影子工作区到多文件推演引擎
全面剖析 Cursor 在 Agent 模式下的底层技术实现，解析影子分支隔离、LSP 上下文剪枝以及预测性补全的核心架构细节与工程实践经验。
Vercel v0 推出全新多 Agent 协作画布与实时全栈部署预览
动态速评：v0 正在从单一组件生成器演进为全栈应用搭建协作台，尤其是与 Neon/Postgres 的直连极大降低了全栈原型验证成本。