【US】蒸馏别只更权重：Berkeley D-Skill，靠 skill 关教师—学生差距 75–95% 量级

Edge-TTS Studio Audio·🎙 Voice: Yunxi (Studio Anchor)

Free for all listeners

Click to synthesize audio

00:00

AI Overview

View PDF HTML (experimental) Abstract: Frontier language-model agents excel at complex tasks, but high inference costs make transferring their capabilities to smaller models essential. Traditional knowledge distillation achieves this through parameter updates, requiring...

Curator's Note

该研究提出了一种新的知识蒸馏方法，通过分析教师和学生模型的交互，实现了高效的技能迁移，对AI领域的研究具有重要意义。

Primary Source

Academic Paper·arXiv:2610.28914

Berkeley D-Skill (arXiv:2610.28914)

“View PDF HTML (experimental) Abstract: Frontier language-model agents excel at complex tasks, but high inference costs make transferring the”

Body · Chinese Translation

查看PDF HTML（实验性）

摘要：前沿语言模型代理在复杂任务上表现出色，但高昂的推理成本使得将它们的技能转移到更小的模型上变得至关重要。传统的知识蒸馏通过参数更新来实现这一点，需要访问学生的权重和额外的训练计算，同时在参数中隐式地编码转移的知识。我们引入了D-Skill，这是一个框架，它将教师视为一个黑盒，通过分析成对的角色输出并识别行为差异和一致性，将教师的行为优势蒸馏成可解释的自然语言技能。这些课程在离线状态下与任何兼容的技能更新后端合并，形成一个技能文档，在推理时提供给学生。D-Skill从固定的轨迹中完全离线构建技能，无需标签，无需在收集轨迹后进行任何进一步的环境交互或权重更新。在跨越多个师生对的SpreadsheetBench-Verified、ALFWorld和棋盘游戏的情况下，D-Skill缩小了75%-95%的师生差距，而无需接触模型权重。在单个离线遍历成对轨迹后，D-Skill优于单次epoch SFT基线，并且与多epoch SFT保持竞争力。在相同的模型家族下，生成的学生也比教师每项任务低5.7x-8.3x的推理成本。我们的结果表明，自然语言技能蒸馏提供了一种性能良好、可解释且高效的基于权重的技能转移的替代方案。

	评论：
21页，4个图表，9个表格	主题：
人工智能（cs.AI）	arXiv:2610.28914 [cs.AI]
	(或 arXiv:2610.28914v1 [cs.AI] 用于此版本)
	https://doi.org/10.48550/arXiv.2610.28914 通过DataCite发布的arXiv DOI（待注册）

投稿历史

来自：Shuo Yuan [查看电子邮件]
[v1] 周二，20 Oct 2026 20:52:03 UTC（195 KB)