Skip to content
Hot StoryDeveloping

ARC-AGI-3基准测试:模型自主构建和改进harness能力有限

1 reports1 sourcesUpdated 3 小时前

Understanding the Event

AI Digest

在最新的ARC-AGI-3基准测试中,研究揭示模型在自主构建harness和可靠适应之间存在显著差距。尽管自治搭 harness相对容易,但经过两轮修订后,对held-out RHAE均值的提升仅为+2.80。这一发现与早先报道的模型在自主构建和改进harness方面的能力有所不同。

Generated by AI from coverage · Updated 3 小时前

Coverage Timeline

Explore different perspectives across coverage.

Oct 24
  1. Agent Control Flash News
    ARC-AGI-3 基准测试:Amazon Jens Lehmann 等研究揭示自主构建 harness 与可靠适应之间的差距

    自治搭 harness 容易,两轮修订对 held-out RHAE 均值仅 +2.80。

Story Heat Trend

还没有足够的连续观测数据,暂不绘制趋势。