基于lp正则化的大语言模型LoRA自动秩分配方法
低秩适应（LoRA）已成为大语言模型中广泛应用的参数高效微调方法，但如何确定各适应矩阵的秩仍是核心挑战。针对现有自适应秩分配方法多依赖人工设计重要性评分的问题，该研究提出了lp-LoRA方法。该方法基于信号处理中经典的稀疏诱导技术，利用0
DC AI 热点
全部 AI 动态
9月25日2026-09-25
9月24日2026-09-24
基于Wasserstein倾斜流图的免仿真强化学习微调方法WTF
该研究针对预训练流式生成模型的下游奖励微调问题，提出了一种名为Wasserstein倾斜流的新框架。传统方法多将其表述为基于KL散度正则化的奖励倾斜分布采样，而本研究构建了直接基于预训练漂移的最优传输正则化项。与传统的重加权基分布不同，该目标直接将单个样本输运至高奖励区域，使其等价于一种确定性过程，从而实现了免仿真的强化学习模型优化。