DCAI
DC AI 热点

全部 AI 动态

9月25日2026-09-25
arXiv 机器学习✦ 精选AI 评分 68/10012:00

基于lp正则化的大语言模型LoRA自动秩分配方法

低秩适应(LoRA)已成为大语言模型中广泛应用的参数高效微调方法,但如何确定各适应矩阵的秩仍是核心挑战。针对现有自适应秩分配方法多依赖人工设计重要性评分的问题,该研究提出了lp-LoRA方法。该方法基于信号处理中经典的稀疏诱导技术,利用0

阅读原文 ↗推荐理由:提出了一种基于lp正则化的LoRA自动秩分配新方案,改进了大模型参数高效微调的优化理论与实现。# 大模型# LoRA# 微调# 模型架构# 稀疏正则化