前言

低秩适应（LoRA，Low-Rank Adaptation ）是参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）领域的重要技术之一。它打破传统全量微调的局限，只对模型中少量参数进行调整，就能让模型在特定任务上表现出色，大大降低了大模型在不同任务适配过程中的资源门槛。本节主要介绍：

1）矩阵中的秩和低秩矩阵相乘的有效性
2）利用低秩矩阵相乘，LoRA 的微调策略设计
3）LoRA如何选取秩 r 大小，微调矩阵 和原权重矩阵 之间关系

1，矩阵中的秩

1.1，低秩矩阵相乘的秩上限

秩的定义：矩阵中线性无关的行或列的最大数量

直观理解：矩阵的"信息密度"或"表达能力"。例如一个3×3的单位矩阵，秩为3，因为它有3个线性无关的向量

两矩阵相乘的秩：

假设矩阵 A 是一个m×r的低秩矩阵（秩为 r），矩阵 B 是一个r×n的低秩矩阵（秩为 r），则它们的乘积 C=A×B 是一个m×n的矩阵。根据线性代数的性质，乘积矩阵 C 的秩不超过 A 和 B 的秩的最小值，即rank(C) ≤ min(rank(A), rank(B)) = r。

而满秩矩阵的秩等于其行数或列数，如m×n满秩矩阵的秩为min(m,n)。若r < min(m,n)，则 C 的秩必然小于满秩矩阵的秩，因此无法精确等价于满秩矩阵。

1.2，低秩矩阵相乘的有效性

问题： 两低秩矩阵相乘，是否可以近似于一个满秩矩阵的表示效果？

结论：低秩近似具有有效性，但无法完全等价。

但在很多任务中，矩阵的 “核心信息” 往往集中在低秩分量中。如：

• • 图像、文本等数据的特征矩阵中，大部分有价值的信息可通过低秩矩阵捕捉，冗余信息（高秩分量）对结果影响较小；
• • 大模型的权重更新矩阵，微调时的 ，本身具有 “低秩特性”，所以模型适应新任务时，权重的变化不需要满秩矩阵来描述，核心变化可通过低秩矩阵近似。

因此，用两个低秩矩阵 A×B（秩为 r）近似满秩矩阵 W 时，只要 r 选择得当，比如 r 远小于 W 的维度但能覆盖核心变化，就能以极小的误差逼近 W 的效果，同时大幅减少参数数量（从m×n降至m×r + r×n）。

小结：

受限于秩的数学性质，两个低秩矩阵相乘无法精确表示满秩矩阵，但在实际任务中，通过合理选择低秩维度 r，能够以较小的误差逼近满秩矩阵的核心信息，满足模型微调等场景的需求。这也是低秩适应技术在大模型优化中广泛应用的核心原因。

2，LoRA微调策略

• • 传统的全量微调策略

预训练好的模型，其权重矩阵为 ，维度是 。全量微调的目标是学习一个参数更新量，使得模型在新的任务数据上表现更好，即优化后的权重矩阵为 。但全量微调时， 的参数量和一样庞大，计算成本极高。

此外，大模型权重更新具有“低内在秩”的特征，并非所有的参数都需要调整，更新方向集中在少数主要成分上。因此LoRA通过低秩分解来模拟参数的改变量。

• • LoRA 权重更新量分解

假设参数更新矩阵 可以分解为两个低秩矩阵 A 和 B乘积。即 A 的维度为，B的维度为，其中r远小于d（r≪d） 。这样，权重更新量，最终优化后的权重矩阵变为。

更进一步，对于输入向量 ，传统线性层输出为 ，使用 LoRA 后输出变为 。这里，AB 就像是在原有模型基础上添加的一个 “调节项”，通过训练低秩矩阵A 和 B，让这个调节项能够捕捉到新任务的关键信息，同时不改变原模型的主体结构和知识。

从参数量对比，原来直接更新的参数量是，而采用 LoRA 后， A 和 B 的总参数量为 ，当 r 取值较小时，参数量大幅减少。

在实际训练过程中，固定预训练权重 ，仅对 A 和 B进行训练，通过反向传播算法计算损失函数对 A 和 B的梯度，进而更新它们的参数，使模型在新任务上的性能不断提升 。

图1，LoRA 微调训练示意图。

3，LoRA微调相关问题

3.1，模型中那部分参数应该使用LoRA

表1，对自注意力中不同的参数进行微调的效果。

在大模型的自注意力层，可训练的参数有四个 ，通过变化矩阵的秩 r，保持可微调的参数总量为18M，分别在两个任务上进行测试。从实验结果上看，当r=4时，仅对 矩阵微调后效果最优，当r=2时，对四个矩阵微调，效果最优。

部分原因： 自注意力计算过程中，查询矩阵 用于计算输入序列每个位置的查询向量，它决定了当前位置对其他位置信息的关注程度；值矩阵 则用于生成值向量，这些值向量是注意力机制最终输出的重要组成部分。

结论：

仅对查询矩阵 和值矩阵进 行 LoRA 微调，模型在下游任务中的表现与全量微调效果相近，而计算成本却大幅降低。相比之下，若仅对单个参数进行 LoRA 微调，模型性能提升不明显，这进一步验证了 LoRA 在自注意力模块特定矩阵应用的有效性和针对性 。

3.2，微调矩阵的秩如何选取

表2，秩大小对准确率的影响。

在两种不同的任务上，分别设置三组对照实验，矩阵的秩从 1到64。实验发现在参数矩阵 ，进行LoRA微调，即使矩阵的秩 r=1也取得了和大秩矩阵 r=64 一样的效果。表明在可微调的参数矩阵中，存在内在秩“intrinsic rank”的假设，表明较小的秩也可以充分的表示模型中突出信息，增大矩阵秩 r 并没有覆盖到矩阵中有用的信息。

如果将秩r=8的矩阵和r=64的矩阵投影到子空间，发现两个矩阵，在顶1个奇异向量的子空间相似度显著，而第二个及以后迅速下降，说明权重更新的最核心方向具有高度的一致性。更进一步说明，低秩矩阵已经能覆盖微调任务的“核心维度”，不断增加秩，并不能显著的拓展有效子空间，反而引入冗余噪声。

结论： 在参数 上进行微调，使用较小的秩，可使可训练参数最少，同时效果最优。

3.3，微调矩阵和权重矩阵W的关系

表3，微调矩阵和权重矩阵存在一定的放大关系。

我们通过计算 将 W 投影到 的 r 维子空间中，得到实验结果，总结有以下结论。

• • 相关性更强：LoRA 中的微调矩阵 与预训练权重矩阵 W 的相关性显著高于随机矩阵，说明 并非随机扰动，而是针对性地作用于 W 中已有的特征。
• • 方向特异性：不重复 W 中已突出的主要特征方向，而是放大 W 中被忽略但对下游任务重要的方向，实现 “精准增强”。
• • 显著放大效应：当低秩维度 r 较小时（如 r=4），对目标方向的放大倍数极大（6.91/0.32约 21.5 倍），且随 r 增大（如 r=64）放大效应减弱，体现了低秩设计的高效性。

4，总结

相比于全量的参数微调，使用LoRA 进行模型微调，主要有以下的优势。

• • 多任务服务：一个基础模型 + 多个LoRA适配器。实现基础模型的共享。
• • 快速迭代：新任务只需训练少量参数，就可以达到理想的效果。
• • 存储优化：LoRA权重仅需几MB到几十MB.
• • 推理无开销：可合并权重，保持原始推理速度。

微调方式	参数量	显存占用	训练速度	存储开销
全参数微调	100%	高	慢	每个任务完整模型
LoRA微调	0.01%~1%	极低	快	基础模型 + 小量LoRA权重

普通人如何抓住AI大模型的风口？

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

AI大模型开发工程师对AI大模型需要了解到什么程度呢？我们先看一下招聘需求：

知道人家要什么能力，一切就好办了！我整理了AI大模型开发工程师需要掌握的知识如下：

大模型基础知识

你得知道市面上的大模型产品生态和产品线；还要了解Llama、Qwen等开源大模型与OpenAI等闭源模型的能力差异；以及了解开源模型的二次开发优势，以及闭源模型的商业化限制，等等。

了解这些技术的目的在于建立与算法工程师的共通语言，确保能够沟通项目需求，同时具备管理AI项目进展、合理分配项目资源、把握和控制项目成本的能力。

产品经理还需要有业务sense，这其实就又回到了产品人的看家本领上。我们知道先阶段AI的局限性还非常大，模型生成的内容不理想甚至错误的情况屡见不鲜。因此AI产品经理看技术，更多的是从技术边界、成本等角度出发，选择合适的技术方案来实现需求，甚至用业务来补足技术的短板。

AI Agent

现阶段，AI Agent的发展可谓是百花齐放，甚至有人说，Agent就是未来应用该有的样子，所以这个LLM的重要分支，必须要掌握。

Agent，中文名为“智能体”，由控制端（Brain）、感知端（Perception）和行动端（Action）组成，是一种能够在特定环境中自主行动、感知环境、做出决策并与其他Agent或人类进行交互的计算机程序或实体。简单来说就是给大模型这个大脑装上“记忆”、装上“手”和“脚”，让它自动完成工作。

Agent的核心特性

自主性： 能够独立做出决策，不依赖人类的直接控制。

适应性： 能够根据环境的变化调整其行为。

交互性： 能够与人类或其他系统进行有效沟通和交互。

对于大模型开发工程师来说，学习Agent更多的是理解它的设计理念和工作方式。零代码的大模型应用开发平台也有很多，比如dify、coze，拿来做一个小项目，你就会发现，其实并不难。

AI 应用项目开发流程

如果产品形态和开发模式都和过去不一样了，那还画啥原型？怎么排项目周期？这将深刻影响产品经理这个岗位本身的价值构成，所以每个AI产品经理都必须要了解它。

看着都是新词，其实接触起来，也不难。

从0到1的大模型系统学习籽料

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师（吴文俊奖得主）

给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

• 基础篇，包括了大模型的基本情况，核心原理，带你认识了解大模型提示词，Transformer架构，预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门AI大模型
• 进阶篇，你将掌握RAG，Langchain、Agent的核心原理和应用，学习如何微调大模型，让大模型更适合自己的行业需求，私有化部署大模型，让自己的数据更加安全
• 项目实战篇，会手把手一步步带着大家练习企业级落地项目，比如电商行业的智能客服、智能销售项目，教育行业的智慧校园、智能辅导项目等等

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

AI时代，企业最需要的是既懂技术、又有实战经验的复合型人才，**当前人工智能岗位需求多，薪资高，前景好。**在职场里，选对赛道就能赢在起跑线。抓住AI这个风口，相信下一个人生赢家就是你！机会，永远留给有准备的人。

如何获取？

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】