ele 智慧骑士——QWen2.5 + llamafactory + lora微调
文章目录
比赛信息概述
阿里云–天池大赛 举办的 ELE AI算法大赛“赛道二:智慧骑士—消防隐患识别”
背景概述
蓝骑士在履约配送的过程中,会经过大街小巷以及楼梯拐角,是很好的发现隐患的眼睛。但在隐患上报的链路中,存在几个卡点:一是蓝骑士上传信息的真实性及准确性,二是上报行为能不能得到最快的奖励反馈。借助AI的实施识别功能,可以有效解决以上两个卡点,一方面可以将更真实有效的隐患信息传达给监管部门,另一方面也能对蓝骑士进行即时奖励,鼓励其上报隐患的积极行为。
比赛主题
对“消防隐患随手拍”项目中的拍摄照片内容进行识别,实时判断照片内场景是否存在消防安全隐患以及隐患的危险程度。根据楼道中是否存在大量堆积物,堆积物是否可燃以及是否有起火风险将隐患分为无隐患、低风险、中等风险、高风险。
- 高风险:楼道中出现电动车、电瓶、飞线充电等可能起火的元素。
- 中风险:楼道中存在大量堆积物严重影响通行或堆放大量纸箱、木质家具等能造成火势蔓延的堵塞物。
- 低风险:存在楼道堆物现象但不严重。
- 无风险:楼道干净,无堆放物品。
- 非楼道:一些与楼道无关的图片。
细则:
- 高风险场景需要有过道中停放电动自行车、给电瓶充电、楼道中飞线充电等一项行为或多项行为。
- 中风险场景需要至少满足以下两个条件之一:①楼道内堆积众多堆积物已经严重影响通行。②楼道的堆积物中有明显可见的纸箱、木质或布质的家具、泡沫箱等可燃物品。
- 低风险场景主要为楼道中有物品摆放但基本不影响通行,数量较少或靠边有序摆放。
比赛过程
本次的参赛是我第一次参加大模型方面的比赛,虽然没有进入到复赛,但是中间的一些过程也是值得记录一下。主要使用的是 LLaMa Factory 微调sft Qwen2.5-VL-7B 的模型训练方式,并在 Autodl 云端GPU算力资源的租用平台上进行,使用的是两张 L20 ,cuda版本使用12.4
数据集分析
| 榜单 | 训练集 | 无风险 | 低风险 | 中风险 | 高风险 | 非楼道 | |
|---|---|---|---|---|---|---|---|
| A | 3366 | 1996 | 636 | 460 | 106 | 167 | |
| B | 727 |
因为A榜训练集数据中,有一张图像无法使用识别,所以我们将其剔除,总数为3365。观察数据集,我们分析得到以下特征:
- 可以很明显地看出,A榜的训练集中包含大量的“无风险”图像,占据比例接近60%,而“高风险”和“非楼道”数据量较少,只占3%和 5%,不同类别的数据量差距很大。
- 照片的大小和清晰度不一致,拍摄角度不同,并且部分图片也存在横屏拍摄的情况,这对数据处理产生了很大的困扰。照片大小 >1MB 324张、100kB~1MB 2471张、 <100kB 570张;
- 仔细观察不同类别的图像,得到:
- 多宫格图片一律是“非楼道”
- 图片中有明显人物特征,一般是“非楼道”
- 存在电动车放在楼梯口外,认定为“无风险”情况——合理
- “高风险”、“非楼道”自己看来人为容易识别,但是部分“无风险”、“低风险”、“高风险”识别起来有一定的模糊性
- 消防物品被误认为堆积物
比赛思路
- 在比赛的初始阶段,首先在autodl上租用服务器,部署了Qwen2.5-VL-7B-Instruct开源大模型,使用lammafactory进行lora微调,并再swanlab上查看训练过程。初始prompt采用赛题要求,预测后只输出分类结果,最终得分较低。
- 修改prompt,添加了一些额外限制条件,效果有所提升,但是没有显著性突破;
- 尝试采用全量微调,训练时间太长了,烧钱,效果也不是很好,没有显著提升;
- 尝试修改参数,是否能够提升: lammafactory l微调参数列表
learning_rate—— 学习率num_train_epochs—— 训练轮次lr_scheduler_type—— 学习率曲线batch-size—— GPU每轮处理数据量top-k—— 用于控制生成时候选 token 集合大小的参数seed—— 随机种子temperature—— 用于调整生成文本的随机性max_length—— 文本最大长度
其中,batch-size调整后效果有所提升,最终采用batch-size = 8learning_rate=3.5e-5num_train_epochs = 7(取第三次训练结果)
- 思考直接将图片数据投给
Qwen2.5模型,是不是不妥,于是使用通过API调用aliyun百炼大模型,对图像数据进行简要描述和标记,包括:电动车、纸箱、木板、人物特征等位置框图,同时生成其文字描述。将文字描述和处理后的图像(画框后),再次投喂给Qwen2.5模型,效果反而下降了。 得出结论:新生成的描述可能对模型的判断造成了干扰,导致效果下降,不要过多的输入信息。 - 此时,开始思考数据集是否是有问题,尝试对数据集进行详细分析:
- 对不同类别间进行了相似度分析,发现数据中有很多人为无法明确区分类别的图片可能相似度很高,但是属于不同类别;
- 针对该问题,对数据进行半人为去重,将不同类别中相似度大于某一阈值的图像提取出来,人为判断,删去不合理的分类图像;
- 继续训练,效果变化不显著。
- 思考数据集不同类别之间,数据量差距较大,对数据进行翻转、旋转、裁剪、加噪、随机改变 HSV、随机调整RGB三通道(该方法可能导致部分图像产生严重过曝失真,最终未采用)等,不采用擦除、掩码等方法因其可能会导致图像确实重要信息(例如,电动车等),最后采用混合增强,对“低风险”、“中风险”、“高风险”、“非楼道”等进行了不同程度的数据增强,比例分别为1:3:8:5,将图片数量占比调整相对均衡。加入训练后,效果有所提升,但是还是没有显著突破
- 最终结果
- A榜 44/1012
- B榜 56/1012
Qwen2.5-VL-7B-Instruct
Qwen2.5-VL源码地址:https://github.com/QwenLM/Qwen2.5-VL
Blog地址:https://qwenlm.github.io/zh/blog/qwen2.5-vl/
模型地址:https://modelscope.cn/collections/Qwen25-VL-58fbb5d31f1d47
创新架构设计:采用大语言模型(LLM)、视觉编码器(ViT)和视觉 - 语言融合模块三模块架构。其中 LLM 基于 Qwen2.5 语言模型预训练权重,引入多模态旋转位置编码(MRoPE)对齐时间、空间与文本模态;视觉编码器是重新设计的动态分辨率 ViT,通过窗口注意力机制和二维旋转位置编码(2D-RoPE)降低计算复杂度;视觉 - 语言融合模块采用多层感知机(MLP)压缩视觉特征序列,提升与 LLM 的交互效率。
动态帧率训练与绝对时间编码:通过时间戳对齐实现长视频理解和秒级事件定位,让模型能够学习时间的节奏,更好地处理视频内容。
- 感知更丰富的世界:Qwen2.5-VL 不仅擅长识别常见物体,如花、鸟、鱼和昆虫,还能够分析图像中的文本、图表、图标、图形和布局。
- Agent:Qwen2.5-VL 直接作为一个视觉 Agent,可以推理并动态地使用工具,初步具备了使用电脑和使用手机的能力。
- 理解长视频和捕捉事件:Qwen2.5-VL 能够理解超过 1 小时的视频,并且这次它具备了通过精准定位相关视频片段来捕捉事件的新能力。
- 视觉定位:Qwen2.5-VL 可以通过生成 bounding boxes 或者 points 来准确定位图像中的物体,并能够为坐标和属性提供稳定的 JSON 输出。
- 结构化输出:对于发票、表单、表格等数据,Qwen2.5-VL 支持其内容的结构化输出,惠及金融、商业等领域的应用。
LLaMa Factory
官网 LLaMa Factory
GitHub https://github.com/hiyouga/LLaMA-Factory
LLaMA Factory,全称Large Language Model Factory,即大型语言模型工厂,是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调,框架特性包括:
- 模型种类:LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
- 训练算法:(增量)预训练、(多模态)指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
- 运算精度:16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
- 优化算法:GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA。
- 加速算子:FlashAttention-2 和 Unsloth。
- 推理引擎:Transformers 和 vLLM。
- 实验监控:LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等等。
微调方式
大模型的训练过程通常由两个关键阶段构成:预训练与微调,预训练(Pre-training)生成通用模型→微调(Fine-tuning)适配具体需求。通用模型在面对特定任务时,往往需要进行进一步的调整和优化,在特定任务的数据集上进行深入训练,对模型权重进行精细调整,能够有效提升模型在特定任务上的表现。
全量微调(Full Parameter Fine-tuning)
全量微调是指在 QWen2.5-VL 的预训练模型基础上,针对特定任务或领域数据,调整模型的所有参数(包括文本编码器、图像编码器、跨模态注意力层及解码器等核心组件),以实现深度适配。
核心特点:
- 适配性强:由于调整所有参数,模型能充分学习特定任务中视觉与语言的关联规律,在数据量充足时效果最优。
- 数据要求高:需大规模、高质量的跨模态标注数据,通常要求十万级以上样本,且需覆盖任务场景的各类边缘情况。
- 成本较高:QWen2.5-VL 参数量较大(主流版本通常为数十亿至百亿级),全量微调需大量 GPU 资源(如 A100/H100 集群),且训练周期长(数天至数周)。
有监督微调(SFT,Supervised Fine-tuning)
SFT 是微调的基础形式,本质是通过人工标注的任务导向数据(即 “输入 - 输出” 成对样本),引导模型学习特定任务的输出规范,是 QWen2.5-VL 从 “通用能力” 转向 “任务能力” 的核心步骤(全量微调与下文的 LoRA 微调,本质上都属于 SFT 的不同参数调整策略)。
本次比赛中,使用QWen2.5-VL 的预训练阶段已掌握通用的图文理解能力(如 “描述图像内容” 可以识别出 是否是楼道、电动车、人体、纸箱等关键物品信息及其大致位置),但不能很准确的应用于赛题。SFT 通过提供 “标准样本”,让模型学习任务的输出模板、专业术语和逻辑优先级。
QWen2.5-VL 的 SFT 数据特点:
需包含视觉输入(图像、视频帧等)和目标文本输出,例如:
图文问答:输入 “图像 + 问题(如‘图中产品的保修期是多久?’)”,输出 “标准回答(如‘该产品保修期为 2 年,覆盖非人为损坏故障’)”;
图像指令生成:输入 “图像 + 指令(如‘用电商平台风格描述此连衣裙’)”,输出 “符合要求的文案(如‘夏季新款碎花连衣裙,收腰设计,面料透气,适合 160-175cm 身高穿着’)”。
数据需体现任务的 “特殊性”:例如教育场景中,需标注 “儿童绘本图像 + 适合 3-6 岁儿童的简化讲解文本”,而非通用的复杂描述。
与全量微调的关系:
全量微调是 SFT 的 “全参数版本”,而 SFT 更强调 “有监督数据驱动” 这一核心逻辑,后续的参数高效微调(如 LoRA)也属于 SFT 的范畴,只是参数调整范围不同。
LoRA(Low-Rank Adaptation)微调
LoRA 是参数高效微调(PEFT)的主流技术之一,核心是通过冻结预训练模型的大部分参数,仅在模型的关键层(如注意力层)插入少量可训练的 “低秩矩阵”,实现以低成本适配特定任务的目标。
核心优势:
- 轻量化:仅训练少量参数(通常为原模型参数量的 1%-10%),例如 QWen2.5-VL 的百亿级参模型,LoRA 微调可能仅需训练数百万至数亿参数,大幅降低 GPU 资源需求(单张 A100 即可支持中小型任务训练)。
- 兼顾效果与效率:通过低秩矩阵捕捉任务特定的 “视觉 - 语言关联模式”,在数据量适中(万级至十万级样本)的场景下,效果接近全量微调,且训练周期短(数小时至数天),适合中小团队或快速验证场景。
- 灵活部署:训练完成后,可将 LoRA 参数与预训练模型权重合并,生成独立的任务模型,也可保留原模型并动态加载 LoRA 参数(如根据不同任务切换电商、教育等场景的 LoRA 模块)。
由于涉及视觉与语言模态的交互,LoRA 微调需重点关注跨模态层的参数调整:优先在图像编码器与文本解码器的注意力交互层插入低秩矩阵,强化特定任务中 “图像特征→文本输出” 的映射;结合 QWen2.5-VL 的开源工具链(如官方提供的 PEFT 接口),可快速配置 LoRA 的秩参数(Rank,通常设为 8-32),平衡训练效率与效果。
参考链接
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)