Anthropic 交叉编码器模型差异分析：揭示特征竞争与可解释性

Anthropic 研究团队发现，在交叉编码器模型差异分析中，模型独有的特征往往更复杂且难以解释。通过实验，他们提出了一种缓解策略，通过引入少量共享特征并降低稀疏性惩罚，使独有特征更易于理解和单一语义。这种方法在真实模型中成功隔离了可解释特征，捕捉了模型间行为差异。