跳到正文
原文
新智元·· 2 小时前AI 评分40

NeurIPS 2026 | OASIS模型:注意力也能弃权,提升长上下文和低比特鲁棒性

NeurIPS’26 | 注意力也能弃权!改善长上下文、低比特鲁棒性

Edge-TTS 广播级有声
全员无门槛畅听
点击合成广播级音频
00:00
00:00
AI 导读

研究团队提出的OASIS模型,通过引入显式的null选项和token-to-depth null coupling,在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上,平均降低激活峰度和最大激活幅度,提升W8A8困惑度和W4A4 GSM8K Pass@1,并在低比特和长上下文评测中表现出色。

一手信源
学术论文·arXiv:2605.17887

NeurIPS 2026 | OASIS模型 (arXiv:2605.17887)

“新智元报道 增强模型的表达能力,可以让Transformer更灵活地读取和整合信息。Attention Residuals(AttnResidual)沿着这个方向,将注意力从token之间的信息交互扩展到网络深度,让每个子层学习选择哪些历史层输出。 但新增的选择能力也带来了新的问”

来源:新智元 · aiera.com.cn

关联产品与深度拆解

原创·站长/Quantara 团队·约 3 分钟深度解析

Cursor Agent 架构全景拆解:从影子工作区到多文件推演引擎

全面剖析 Cursor 在 Agent 模式下的底层技术实现,解析影子分支隔离、LSP 上下文剪枝以及预测性补全的核心架构细节与工程实践经验。

深入理解底层架构与行业变量阅读拆解 →
精选·Vercel Changelog·约 1 分钟深度解析

Vercel v0 推出全新多 Agent 协作画布与实时全栈部署预览

动态速评:v0 正在从单一组件生成器演进为全栈应用搭建协作台,尤其是与 Neon/Postgres 的直连极大降低了全栈原型验证成本。

深入理解底层架构与行业变量阅读拆解 →