发帖
雷达卡
6个问题讲清楚LoRA微调
举例说明什么是LoRA
假设大模型原始权重矩阵(W) 是 ：
全量微调需要更新全部5×4=20个参数
假设微调后的参数是：
其中增量权重矩阵可以进行LoRA 低秩分解：
△W=A·B
(A) 有 5×2=10 个参数。
(B) 有 2×4=8 个参数。
LoRA 总参数：1 0 + 8 = 1 8 个
结论：通过LoRA 微调，调参对象从W变为A、B, 使得参数量从20个减少为18个，这是简化 的例子。在
实际案例中，参数量可以减少为0.01%~3%左右。
LoRA 开山论文：2021 年 Microsoft Research 提出，首次提出了通过低秩矩阵分解的方式来进行部分
参数微调，极大推动了 AI 技术在多行业的广泛落地应用：LoRA: Low-Rank Adaptation of Large
Language Models
为什么需要LoRA
它的目标是解决大模型微调中的两大痛点
资源消耗太大 训练效率低下
大型语言模型动辄几亿甚至几千亿参数，全参数 ...
京公网安备 11010802022788号
