Hot StoryDeveloping
NeurIPS'26 | 注意力也能弃权!提升长上下文和低比特鲁棒性
1 reports1 sourcesUpdated 2 小时前
Understanding the Event
AI Digest
NeurIPS 2026会议中,研究团队提出的OASIS模型通过引入显式的null选项和token-to-depth null coupling,在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上实现了激活峰度和最大激活幅度的平均降低,同时提升了W8A8困惑度和W4A4 GSM8K Pass@1。该模型在低比特和长上下文评测中表现出色。
Generated by AI from coverage · Updated 2 小时前
Latest Update10月24日 08:56
OASIS模型在NeurIPS 2026会议中被提出,通过创新的方法提升了长上下文和低比特鲁棒性。Coverage Timeline
Explore different perspectives across coverage.
Oct 24
- 新智元NeurIPS 2026 | OASIS模型:注意力也能弃权,提升长上下文和低比特鲁棒性
研究团队提出的OASIS模型,通过引入显式的null选项和token-to-depth null coupling,在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4模型上,平均降低激活峰度和最大激活幅度,提升W8A8困惑度和W4A4 GSM8K Pass@1,并在低比特和长上下文评测中表现出色。
Story Heat Trend
当前热度 9·可比范围峰值 10(10月24日 09:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。