Skip to content
Hot StoryDeveloping

NeurIPS'26 | 注意力也能弃权!提升长上下文和低比特鲁棒性

1 reports1 sourcesUpdated 2 小时前

Understanding the Event

AI Digest

NeurIPS 2026会议中,研究团队提出的OASIS模型通过引入显式的null选项和token-to-depth null coupling,在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上实现了激活峰度和最大激活幅度的平均降低,同时提升了W8A8困惑度和W4A4 GSM8K Pass@1。该模型在低比特和长上下文评测中表现出色。

Generated by AI from coverage · Updated 2 小时前

Coverage Timeline

Explore different perspectives across coverage.

Oct 24
  1. 新智元
    NeurIPS 2026 | OASIS模型:注意力也能弃权,提升长上下文和低比特鲁棒性

    研究团队提出的OASIS模型,通过引入显式的null选项和token-to-depth null coupling,在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上,平均降低激活峰度和最大激活幅度,提升W8A8困惑度和W4A4 GSM8K Pass@1,并在低比特和长上下文评测中表现出色。

Story Heat Trend

当前热度 9·可比范围峰值 10(10月24日 09:00)·近 24 小时可比范围变化 –

02.557.51010月24日09:0010月24日10:0010月24日10:0010月24日11:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。