Modular Manifolds：神经网络权重矩阵约束新方法

Thinking Machines Lab 提出了一种神经网络权重矩阵约束新方法，通过将权重矩阵约束在子流形上，以保持其健康状态。该方法有助于优化算法设计，提高学习速度，并使矩阵行为更可预测。此外，该方法还可能促进对鲁棒性的 Lipschitz 保证。