Open challenges in LLM research
Editorial Pick: 文章探讨了大型语言模型（LLM）研究中的十大挑战，包括幻觉、上下文学习、多模态、新架构、GPU替代品等，对LLM的发展趋势有重要参考价值。
Research Papers
All TopicsNotable AI papers and academic breakthroughs: architecture innovations, empirical measurements, and theoretical advances.
328 featured itemsRelated TopicsReasoning & LogicSafety & AlignmentData & Training
Latest Featured
Items 321–328 of 3288月16日星期三周三
12月24日星期六周六
Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese
Editorial Pick: 该研究提出了针对中文的CLIP模型，并展示了其在跨模态检索任务上的优越性能，对中文多模态表示学习和视觉表示学习具有重要意义。
11月14日星期一周一
OFA: Towards Building a One-For-All Model
Editorial Pick: 原文提出了一个名为 OFA 的新型多模态预训练模型，并开源了预训练和微调模型，读者可以了解其能力变化和开放入口，判断其对现有工作流的影响。
6月27日星期一周一
Softmax Linear Units
Editorial Pick: 该研究提出了一种新的激活函数SoLU，旨在提高Transformer模型的可解释性，通过实验验证了其在保持性能的同时提高了模型中可解释神经元的比例。
1月3日星期一周一
The Illustrated Retrieval Transformer
Editorial Pick: 原文详细介绍了 RETRO 模型的架构和工作原理，读者可以了解检索增强语言模型如何提高性能。
7月11日星期四周四
Sparse Networks from Scratch: Faster Training without Losing Performance
Editorial Pick: 原文提出了稀疏学习的概念和算法，读者可以了解其在训练神经网络中的应用和效果。
1月31日星期四周四
Generalized Language Models
Editorial Pick: 本文详细介绍了多种语言模型及其在自然语言处理任务中的应用，对理解语言模型的发展具有重要意义。
6月26日星期二周二
Reinforcement Learning Progress
Editorial Pick: OpenAI 使用 PPO 算法训练 Dota 智能体取得突破，展示了深度强化学习在复杂决策问题上的潜力。