新智元·· 3h agoAI Score40
NeurIPS’26 | 注意力也能弃权！改善长上下文、低比特鲁棒性
NeurIPS’26 | 注意力也能弃权！改善长上下文、低比特鲁棒性
Edge-TTS Studio Audio
Free for all listeners
Click to synthesize audio
00:00
00:00
AI Overview
研究团队提出的OASIS模型，通过引入显式的null选项和token-to-depth null coupling，在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上，平均降低激活峰度和最大激活幅度，提升W8A8困惑度和W4A4 GSM8K Pass@1，并在低比特和长上下文评测中表现出色。
Primary Source
Academic Paper·arXiv:2605.17887
NeurIPS 2026 | OASIS模型 (arXiv:2605.17887)
“新智元报道 增强模型的表达能力，可以让Transformer更灵活地读取和整合信息。Attention Residuals（AttnResidual）沿着这个方向，将注意力从token之间的信息交互扩展到网络深度，让每个子层学习选择哪些历史层输出。 但新增的选择能力也带来了新的问”
Source: 新智元 · aiera.com.cn
Related Products & Analysis
Original·站长/Quantara 团队·~3 min read
Cursor Agent 架构全景拆解：从影子工作区到多文件推演引擎
全面剖析 Cursor 在 Agent 模式下的底层技术实现，解析影子分支隔离、LSP 上下文剪枝以及预测性补全的核心架构细节与工程实践经验。
Underlying architectures & industry dynamicsRead Analysis →
Curated·Vercel Changelog·~1 min read
Vercel v0 推出全新多 Agent 协作画布与实时全栈部署预览
动态速评：v0 正在从单一组件生成器演进为全栈应用搭建协作台，尤其是与 Neon/Postgres 的直连极大降低了全栈原型验证成本。
Underlying architectures & industry dynamicsRead Analysis →