电路追踪：揭示语言模型中的计算图
推荐理由：该研究提出了电路追踪方法，通过分析语言模型中的计算图来揭示其内部机制，对理解语言模型的工作原理具有重要意义。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 101–108 条 · 共 108 条3月27日星期四周四
2月25日星期二周二
OpenAI发布Deep Research系统卡：评估AI在复杂任务中的表现和安全性
推荐理由：Deep Research System Card介绍了Deep Research模型在复杂研究任务和安全性评估方面的进展，对AI安全领域有重要意义。
1月29日星期三周三
DeepSeek的R1-Zero和R1系统在ARC-AGI-1基准上表现出色
推荐理由：DeepSeek的R1-Zero和R1系统在ARC-AGI-1基准上表现出色，为AI推理系统的发展提供了新的思路。
10月24日星期四周四
Sarvam AI 发布印度语言大语言模型 Sarvam-1
推荐理由：Sarvam AI 发布了针对印度语言的 LLM Sarvam-1，该模型在性能和效率方面表现出色，为印度语言模型的发展提供了新的思路。
10月10日星期二周二
多模态与大型多模态模型（LMMs）研究进展
推荐理由：本文深入探讨了多模态系统和大型多模态模型（LMMs）的研究进展，为读者提供了对这一领域的全面了解。
8月16日星期三周三
LLM 研究中的十大挑战
推荐理由：文章探讨了大型语言模型（LLM）研究中的十大挑战，包括幻觉、上下文学习、多模态、新架构、GPU替代品等，对LLM的发展趋势有重要参考价值。
6月27日星期一周一
Transformer模型可解释性研究：Softmax Linear Units激活函数
推荐理由：该研究提出了一种新的激活函数SoLU，旨在提高Transformer模型的可解释性，通过实验验证了其在保持性能的同时提高了模型中可解释神经元的比例。
7月11日星期四周四
从零开始构建稀疏网络：更快训练而不损失性能
推荐理由：原文提出了稀疏学习的概念和算法，读者可以了解其在训练神经网络中的应用和效果。
