热点事件持续更新
NeurIPS'26 | 注意力也能弃权!提升长上下文和低比特鲁棒性
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
NeurIPS 2026会议中,研究团队提出的OASIS模型通过引入显式的null选项和token-to-depth null coupling,在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上实现了激活峰度和最大激活幅度的平均降低,同时提升了W8A8困惑度和W4A4 GSM8K Pass@1。该模型在低比特和长上下文评测中表现出色。
AI 根据报道生成 · 1 小时前更新
最新进展10月24日 08:56
OASIS模型在NeurIPS 2026会议中被提出,通过创新的方法提升了长上下文和低比特鲁棒性。报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- 新智元NeurIPS 2026 | OASIS模型:注意力也能弃权,提升长上下文和低比特鲁棒性
研究团队提出的OASIS模型,通过引入显式的null选项和token-to-depth null coupling,在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上,平均降低激活峰度和最大激活幅度,提升W8A8困惑度和W4A4 GSM8K Pass@1,并在低比特和长上下文评测中表现出色。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。