TURTLE AI工具使用基准发布

斯坦福大学提出的新工具使用基准TURTLE，旨在提升AI助手工具使用能力。该基准可演化、自调，解决了现有工具使用基准的饱和问题，并通过人工改题或领域专用集进行优化。最新报道显示，难任务占比提升了165%，同时强调了工具agent回归集需要具备「难度自调」流水线，并禁止每年更新一次静态题目。早先报道称固定工具使用基准会饱和，信号消失，现有错处靠人工改题或领域专用集。后续报道称TURTLE能够有效提升AI助手工具使用能力。

Generated by AI from coverage · Updated 2 小时前

还没有足够的连续观测数据，暂不绘制趋势。