Drift Contract:结合谱更新实现深度鲁棒的局部学习算法
局部学习通过各层独立的辅助损失避免了全局反向传播,具备天然的结构并行优势,但长期受困于深度增加时的精度衰减和超参数脆弱性。该研究首次将类似 Muon 的谱更新几何(包含动量正交化与谱步长缩放)应用于逐层局部更新。在 CIFAR-10 MLP 基准测试中,该方法在深度 12 至 48 层、宽度 128 至 2048 的范围内,仅需单一固定步长即可取得最优表现,显著提升了局部学习对网络深度的鲁棒性。
局部学习通过各层独立的辅助损失避免了全局反向传播,具备天然的结构并行优势,但长期受困于深度增加时的精度衰减和超参数脆弱性。该研究首次将类似 Muon 的谱更新几何(包含动量正交化与谱步长缩放)应用于逐层局部更新。在 CIFAR-10 MLP 基准测试中,该方法在深度 12 至 48 层、宽度 128 至 2048 的范围内,仅需单一固定步长即可取得最优表现,显著提升了局部学习对网络深度的鲁棒性。