医图论文 AAAI‘25 | 面向生物医学的多模态大语言模型及其像素级洞察力

程序员笑武

1202人浏览 · 2025-01-17 21:01:48

程序员笑武 · 2025-01-17 21:01:48 发布

论文信息

题目：Towards a Multimodal Large Language Model with Pixel-Level Insight for Biomedicine

面向生物医学的多模态大语言模型及其像素级洞察力

源码：https://github.com/ShawnHuang497/MedPLIB

论文创新点

像素级别理解：作者提出了一种具有像素级别理解能力的多模态大语言模型MedPLIB，支持视觉问答（VQA）、任意像素级别的提示（点、边界框和自由形状）以及像素级别的定位。
混合专家（MoE）多阶段训练策略：作者提出了一种新颖的混合专家（MoE）多阶段训练策略，将MoE分为视觉-语言专家模型和像素定位专家模型的独立训练阶段，然后使用MoE进行微调。
McCoVQA数据集：为了解决数据稀缺问题，作者引入了医学复杂视觉问答数据集（McCoVQA），该数据集包含用于复杂医学影像问答和图像区域理解的8种模态，共有310k对问答数据。
灵活的输入输出：MedPLIB具有灵活的输入和输出，支持多种任务，包括图像级别的视觉语言任务和像素级别的问答任务。

摘要

近年来，多模态大语言模型（MLLM）取得了显著进展，展示了开发智能生物医学助手的可行性。然而，当前的生物医学MLLM主要集中在图像级别的理解，并将交互限制在文本命令上，从而限制了其能力边界和使用灵活性。在本文中，作者介绍了一种新颖的端到端多模态大语言模型，名为MedPLIB，该模型具有像素级别的理解能力。令人兴奋的是，它支持视觉问答（VQA）、任意像素级别的提示（点、边界框和自由形状）以及像素级别的定位。作者提出了一种新颖的混合专家（MoE）多阶段训练策略，该策略将MoE分为视觉-语言专家模型和像素定位专家模型的独立训练阶段，然后使用MoE进行微调。这种策略有效地协调了多任务学习，同时保持了推理时的计算成本与单一专家模型相当。为了推动生物医学MLLM的研究，作者引入了医学复杂视觉问答数据集（McCoVQA），该数据集包含用于复杂医学影像问答和图像区域理解的8种模态。实验结果表明，MedPLIB在多个医学视觉语言任务中取得了最先进的成果。更重要的是，在像素定位任务的零样本评估中，MedPLIB在mDice指标上分别领先最佳的小模型和大模型19.7和15.6。

关键词

多模态大语言模型，像素级别理解，医学视觉问答，混合专家，端到端训练

方法

架构

MedPLIB的整体框架由三个结构层组成：编码器、MoE LLM和解码器，如图2所示。

编码器

编码器模块旨在将所有类型的输入（图像、文本、视觉提示）编码为统一的特征空间。

视觉塔和像素编码器

给定输入图像，作者利用预训练的CLIP视觉编码器CLIP-ViT-L/336作为视觉塔，提取特征，其中，是视觉塔的隐藏大小。然后将其投影为，其中是MoE LLM中的隐藏大小。类似地，作者使用预训练的视觉Transformer（ViT）和医学适配器层作为像素编码器，获取像素特征，其中表示像素解码器中的隐藏大小。

视觉提示编码器

该模块旨在使用用户指定的感兴趣区域[框、点、自由形状]作为输入，适当地提示LLM。受SEEM的启发，作者定义了一个视觉采样器，将所有类型的非文本查询转换为位于相同视觉嵌入空间中的视觉提示。假设感兴趣区域输入为，采样像素数为，视觉提示特征可以格式化为，其中和分别是随机采样函数和线性函数。

文本提示嵌入

受LLaVA的启发，作者扩展了标记器的词汇表，添加了“”和“”标记，以更好地集成视觉和文本提示，同时区分它们的类型。假设输入文本通过文本提示嵌入层处理为文本特征，其中是嵌入文本长度。然后使用“”和“”的嵌入来封装视觉提示。这些嵌入随后嵌入到文本特征序列中的指定位置，得到，其中。

最后，作者将和连接起来，得到编码器模块的输出，其中。

大语言模型与MoE

对于给定的输入，普通前馈层的操作可以抽象为，其中是固定参数，表示训练阶段的参数更新。

为了更好地适应不同粒度的任务，如像素定位任务和视觉问答任务，作者在前馈网络（FFN）中引入了MoE。考虑视觉-语言专家为，定位专家为。MoE层的前向过程可以表示为：

其中表示MoE层中的路由网络，是可训练参数。和是超参数。和，其中，。因此，中的每个标记由概率最高的专家处理，并根据路由器的概率计算加权和。

解码器

对于文本，作者使用线性层作为解码器，类似于常见的语言模型。对于像素级别的定位解码，作者遵循LISA。作者提取与“”标记对应的最后一层嵌入，并利用T-投影器获得。最后，作者使用SAM-Med掩码解码器获得预测掩码。该过程可以表示为。

多阶段训练

如图3所示，作者提出了多阶段训练策略。

阶段I - 对齐

遵循LLaVA-Med和LLaVA，作者在此阶段仅考虑文本响应的交叉熵损失。

阶段II - 识别

作者将视觉-语言MLLM训练为基础模型，创建一个擅长医学知识和医学影像理解的MLLM。在此阶段，作者处理复杂的视觉-语言任务，如视觉知识多选题、复杂的医学问答和基于区域的视觉问答。具体来说，作者使用大量问答对微调除视觉塔外的所有模块。因此，作者获得了一个丰富的医学影像知识的MLLM，其中FFN可以指定为。与阶段I类似，训练目标是最小化损失。

阶段III - 定位

为了增强模型的像素定位能力，作者在此阶段专注于训练定位专家。作者使用从阶段II获得的模型作为初始模型。然后，作者使用专门针对FFN层、像素解码器和T-投影器的McCoVQA-G数据集进行训练。最终，作者获得了一个具备像素定位知识的MLLM，其中FFN指定为。在此阶段，作者使用二元交叉熵和Dice损失进行像素定位损失，并使用进行与“”标记相关的文本响应。

阶段IV - 适应

完成阶段II和阶段III后，作者获得了、和其他模块的参数。然后，作者混合所有可用数据并解冻所有参数，通过专家混合进行微调。使用路由器，标记被分配给不同的专家进行协作处理。这种方法不仅保持了最小的计算开销，还保留了每个专家的独特先验知识。在混合训练期间，优化目标可以表示为：

其中、、是平衡不同目标的超参数。

McCoVQA数据集

大模型越来越多地用于生成高质量数据，解决数据稀缺问题。然而，在医学影像中，用于详细问答交互的开源数据集仍然有限。这些对于需要进行详细医学分析并与患者互动的智能生物医学助手至关重要。作者提出了一种创建此类详细交互数据的新策略。McCoVQA通过人类和AI助手的协作努力生成，源自大规模生物医学图像分割数据集。如图4所示，生成过程可以分为三个步骤：

I. 根据图像的掩码手动生成每个图像的实例级元信息。作者从SA-Med2D-20M中随机抽取了100k带有实例掩码的生物医学图像。然后，作者通过添加额外细节来丰富图像，编译元信息，包括模态、扫描区域、方向和对象实例。

II. 作者使用AI助手获取图像的全局描述，调整提示以生成每种模态500个数据点，并手动审查质量。只有当所有数据点都符合质量标准时，作者才会最终确定提示。

III. 利用步骤II中获得的元信息和全局描述，使用AI助手生成像素级别的对话。在此步骤中，作者使用复杂指令生成多样化的数据，手动多次优化提示，以确保质量。

McCoVQA数据集可以分为三个子集：McCoVQA-C（McCoVQA-Complex）、McCoVQA-R（McCoVQA-Region）和McCoVQA-G（McCoVQA-Grounding），分别用于复杂VQA、区域VQA和像素定位。复杂VQA和区域VQA通过上述管道构建。McCoVQA-G通过指定问题模板结合掩码类别标签生成。总体而言，McCoVQA-C、McCoVQA-R和McCoVQA-G的训练集数量分别为80k、126k和100k。此外，它们对应的测试集数量分别为1477、2633和2344。有关McCoVQA数据集的更多信息，请参阅附录。

实验

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述