解释 MoE LLMs 中专家角色在个性化中的作用

研究人员提出了一种个性化 MoE LLMs 的方法，通过将每个 token 路由到少量专家，减少了多义性并实现了个性化功能的定位。该方法在大型个性化数据集上对三个开源 MoE LLMs 进行了适配，并通过学习可解释的个性化潜向量来识别编码不同个性化特征的专家。个性化 MoE LLMs 在性能上与密集型 LLMs 竞争，同时激活的参数比例更少，且在相同模型家族中，个性化潜向量与非个性化模型共享更少。