#评测/基准

#评测/基准

今日 12 条

4月22日星期二周二

o3 和 o4-mini 在 ARC-AGI 评测中的表现分析
2025年4月22日ARC Prize模型评测/基准模型发布评分 45

4月20日星期日周日

"LLM-as-Judge 无法拯救产品——修复你的流程才是关键"
2025年4月20日Eugene Yan观点教程/实践评测/基准评分 42

4月9日星期三周三

Mistral AI 提出使用 LLM 作为评判者评估 RAG 系统
2025年4月9日Mistral AI模型论文/研究 Agent评分 57

3月24日星期一周一

AI产品开发指南：关键原则与实践
2025年3月24日Hamel Husain观点产品更新 Agent评分 70
Pass@k vs Pass^k：理解智能体可靠性
2025年3月24日Philipp Schmid (Hugging Face)论文教程/实践评测/基准评分 45
ARC Prize 发布 ARC-AGI-2 评测基准，推动高效通用 AI 系统发展
推荐理由：ARC Prize 发布了新的 AGI 评测基准 ARC-AGI-2，旨在推动高效通用 AI 系统的发展，并激励研究人员探索新的 AI 智能体。
2025年3月24日ARC Prize模型论文/研究评测/基准精选评分 85

3月16日星期日周日

Answer.AI 推出 WebGPU Puzzles，助力 GPU 编程学习
2025年3月16日Answer.AI教程教程/实践开源/仓库评分 35

3月13日星期四周四

ASCII Smuggler 更新：高级数据走私技术（Sneaky Bits）
2025年3月13日Embrace The Red论文安全/对齐开源/仓库评分 42

3月12日星期三周三

ARC Prize 建议美国制定 AI 行动计划的基准评估策略
2025年3月12日ARC Prize观点评测/基准政策/监管评分 42

2月25日星期二周二

OpenAI发布Deep Research系统卡：评估AI在复杂任务中的表现和安全性
推荐理由：Deep Research System Card介绍了Deep Research模型在复杂研究任务和安全性评估方面的进展，对AI安全领域有重要意义。
2025年2月25日OpenAI Deployment Safety模型论文/研究 Agent精选评分 62

2月14日星期五周五

ARC Prize Side Quest - Snakebench：SnakeBench评测挑战，o3-mini和DeepSeek夺冠
2025年2月14日ARC Prize模型评测/基准模型发布评分 35

1月7日星期二周二

Devin：一款承诺颠覆软件开发的人工智能工程师
2025年1月7日Answer.AI产品产品更新评测/基准评分 40

11月17日星期日周日

《数学在机器学习研究中的角色演变：从主导到辅助》
2024年11月17日The Gradient论文论文/研究现象/趋势评分 45

11月11日星期一周一

ARC Prize 2024 竞赛代码提交截止
2024年11月11日ARC Prize模型模型发布开源/仓库评分 35

11月3日星期日周日

《构建机器学习系统：2024年机器学习会议精华总结》
2024年11月3日Eugene Yan教程教程/实践现象/趋势评分 40

10月29日星期二周二

使用 LLM 作为评判员进行评估：完整指南
2024年10月29日Hamel Husain教程教程/实践评测/基准评分 42

10月27日星期日周日

AlignEval：打造轻松、有趣且自动化的LLM评估应用
2024年10月27日Eugene Yan产品产品更新开源/仓库评分 40

10月16日星期三周三

Anthropic 探索使用字典学习特征作为分类器
2024年10月16日Transformer Circuits论文论文/研究开源/仓库评分 30

9月22日星期日周日

Weights & Biases LLM-Evaluator Hackathon 比赛回顾
2024年9月22日Eugene Yan产品开源/仓库评测/基准评分 27

9月13日星期五周五

OpenAI o1 模型在 ARC-AGI-Pub 评测中的表现分析
推荐理由：原文详细介绍了 OpenAI o1 模型的推理能力和在 ARC-AGI-Pub 评测中的表现，读者可以了解该模型在推理和效率方面的最新进展。
2024年9月13日ARC Prize模型论文/研究 Agent精选评分 85

9月10日星期二周二

LLM 聊天机器人：缺失的目标感
2024年9月10日The Gradient观点现象/趋势教程/实践评分 45

9月6日星期五周五

Claude 模型更新：2024年8月可解释性评估进展
2024年9月6日Transformer Circuits模型模型发布评测/基准评分 30

8月30日星期五周五

ARC Prize 2024 中 ARC-AGI 世界纪录提升 13%
2024年8月30日ARC Prize模型模型发布评测/基准评分 37

8月18日星期日周日

评估 LLM-evaluators 的有效性：LLM 作为裁判
2024年8月18日Eugene Yan论文论文/研究 Agent评分 67

8月2日星期五周五

ARC Prize Daily Puzzle：结合Wordle和AI智商测试的每日谜题挑战
2024年8月2日ARC Prize模型模型发布评测/基准评分 20
ARC Prize Daily Puzzle：每日AI智力挑战游戏
2024年8月2日ARC Prize产品教程/实践开源/仓库评分 20
ARC Prize 社区通讯 - Chollet 在 AGI-24 上的演讲 + Zuck、Llama 和 ARC 在 Llamathon 上的表现
2024年8月2日ARC Prize模型模型发布评测/基准评分 35

7月19日星期五周五

MindsAI 在 ARC-AGI 中打破 40% 障碍，刷新世界纪录
2024年7月19日ARC Prize论文评测/基准模型发布评分 35

7月7日星期日周日

大型语言模型中的外显幻觉现象研究
2024年7月7日Lilian Weng论文论文/研究 Agent评分 70

7月5日星期五周五

ARC-AGI 公开评测平台助力黑客松，社区活跃度显著提升
2024年7月5日ARC Prize模型模型发布评测/基准评分 25

6月27日星期四周四

ARC Prize 发布 ARC-AGI 公开评测基准
推荐理由：ARC Prize 引入了新的公开评测基准，为 AGI 研究提供了新的比较和实验平台，读者可以关注其发展趋势和影响。
2024年6月27日ARC Prize模型评测/基准现象/趋势精选评分 70

6月21日星期五周五

ARC-AGI 私有评测数据集新世界纪录：39%
2024年6月21日ARC Prize模型模型发布评测/基准评分 40

6月12日星期三周三

ARC Prize竞赛启动，聚焦AGI研究进展
2024年6月12日ARC Prize模型行业动态评测/基准评分 57

5月31日星期五周五

Netflix PRS 2024 - 应用大语言模型于推荐体验
2024年5月31日Eugene Yan产品产品更新模型发布评分 32

4月26日星期五周五

Anthropic 解释性团队更新：2024年4月进展
2024年4月26日Transformer Circuits论文模型发布开源/仓库评分 40

3月21日星期四周四

Anthropic Circuits 更新 — 2024年3月
2024年3月21日Transformer Circuits论文模型发布开源/仓库评分 32

2月28日星期三周三

"Chatbot Arena 的模型排名：从人类偏好到模型路由"
2024年2月28日Chip Huyen (阮秋玄)论文模型发布评测/基准评分 45

12月7日星期四周四

Sarvam AI 获得里程碑式 4100 万美元 A 轮融资，推动印度生成式 AI 发展
2023年12月7日Sarvam AI行业行业动态开源/仓库评分 45

11月5日星期日周日

FIB 数据集上基于域外数据预训练的幻觉检测微调
2023年11月5日Eugene Yan论文论文/研究开源/仓库评分 40

10月15日星期日周日

AI工程师峰会2023观察：LLM部署挑战与RAG发展趋势
2023年10月15日Eugene Yan观点行业动态现象/趋势评分 52