Gemini：如何确定足够多的评分者数量以构建更可靠的AI基准

Google Research的Gemini项目研究了在可重复的机器学习评估中，评分者数量与评价项目数量的权衡。研究发现，常用的1至5个评分者的标准通常不足以捕捉人类意见的细微差别，通常需要超过10个评分者才能获得可靠结果。此外，研究还发现，通过优化评分者与项目之间的比例，可以在约1000个总标注的适度预算下实现高度可重复的结果。