论文信息

题目：FocalUNETR: A Focal Transformer for Boundary-Aware Prostate Segmentation Using CT Images

FocalUNETR: CT图像分割的基于边界感知的焦点Transformer

源码：https://github.com/ChengyinLee/FocalUNETR

论文创新点

1. 焦点变换器模型（Focal Transformer）：作者开发了一种新型的焦点变换器模型（FocalUNETR），专门用于基于CT的前列腺分割。这种模型利用**焦点自注意力（Focal Self-Attention）**机制，有效地捕获局部和全局的视觉依赖性，提高了特征提取的效率和效果。

2. 边界感知的辅助任务：为了解决CT图像中前列腺边界不清晰的问题，作者设计了一个辅助的边界感知轮廓回归任务。这个任务通过引入高斯核生成边界敏感的标签，辅助主分割任务，增强了模型对于边界不清晰问题的泛化能力。

3. 多任务学习策略：作者采用了多任务学习策略，将主分割任务和辅助边界回归任务结合起来，通过调整损失函数中各个任务的权重，优化了整体的分割性能。

摘要

基于计算机断层扫描（CT）的精确前列腺分割对于治疗计划至关重要，但由于CT软组织对比度差导致的前列腺边界不清晰，以及基于卷积神经网络的模型在捕获长距离全局上下文方面的局限性，这一任务充满挑战。在本文中，作者提出了一种新颖的基于焦点变换器的图像分割架构，有效地从CT图像中提取局部视觉特征和全局上下文。此外，作者设计了一个辅助的边界诱导标签回归任务，与主要的前列腺分割任务相结合，以解决CT图像中边界不清晰的问题。实验结果表明，这种设计显著提高了基于CT的前列腺分割任务的质量，与其他竞争方法相比，在私有和公共CT图像数据集上都取得了更高的Dice相似系数、更低的Hausdorff距离和平均对称表面距离。作者的代码可在链接中找到。

关键字

焦点变换器 · 前列腺分割 · 计算机断层扫描 · 边界感知

2 方法

2.1 FocalUNETR

作者的FocalUNETR架构（图1）遵循类似于[6,20]的多尺度设计，使作者能够在不同阶段获得层次化的特征图。

输入医学图像首先被分割成一系列维度为的标记，其中H、W分别表示空间高度和宽度，C表示通道数。然后，这些标记被投影到维度为D的嵌入空间中，使用分辨率为的补丁。SA在两个焦点级别[24]上计算：细粒度和粗粒度，如图2A所示。焦点SA在局部关注细粒度标记，而总结标记在全球范围内被关注（减少计算成本）。作者在窗口级别执行焦点SA，其中具有空间大小H′′×W′′和d通道的特征图x被划分为大小为sw×sw的窗口网格。对于每个窗口，作者使用焦点SA提取其周围环境。对于窗口级焦点SA[24]，有三个术语。焦点级别L是作者提取焦点SA的标记的粒度级别数。作者提供了一个示例，如图2B所示，说明了使用两个焦点级别（细和粗）来捕获局部和全局上下文之间的交互，以实现前列腺分割的最佳边界匹配。

焦点窗口大小sl w是作者在级别上获得总结标记的子窗口大小。焦点区域大小sl r是在级别l处关注的区域中水平和垂直子窗口的数量。焦点SA模块分为两个主要步骤：子窗口池化和注意力计算。在子窗口池化步骤中，输入特征图被划分为大小为的子窗口网格，然后通过一个简单的线性层flp对子窗口进行空间池化。不同级别的池化特征图xl提供了细粒度和粗粒度的丰富信息，其中，而。在获得池化特征图xlL 1后，作者使用三个线性投影层fq、fk和fv计算第一级别的查询以及所有级别的键和值：

对于第i个窗口内的查询Qi ∈ Rd×sw×sw，作者从Kl和Vl中提取的键和值，其中查询所在的窗口，然后从所有L中收集键和值以获得和，其中。最后，添加相对位置偏置以通过

计算焦点SA，其中B = {Bl}L 1是可学习的相对位置偏置[24]。编码器使用2×2的补丁大小，特征维度为2×2×1 = 4（即，单个输入通道CT）和D维嵌入空间。编码器的整体架构包括四个阶段的焦点变换器块，在每个阶段之间应用补丁合并层以将分辨率降低2倍。作者使用基于FCN的解码器（图1A），通过跳跃连接在每个分辨率处连接到编码器，构建了作者的CT基前列腺分割任务的“U形”架构。编码器的输出与处理过的输入体积特征连接，并输入到残差块中。最后，应用一个1×1的卷积层，带有合适的激活函数，如Softmax，以获得所需的基于类别的概率。

2.2 辅助任务

对于主要任务的掩模预测（如图1A所示），使用Dice损失和交叉熵损失的组合来评估预测掩模和真实掩模在像素级别的一致性。分割头的目标函数由下式给出：，其中ˆpi代表来自主要任务的预测概率，G代表真实掩模，两者都是基于输入图像i。预测概率，，是通过将FocalUNETR模型应用于输入CT图像从主任务中获得的。为了解决基于CT的前列腺分割中不清晰边界的挑战，引入了一个辅助任务来预测边界感知轮廓以协助主要的前列腺分割任务。这个辅助任务是通过在最后阶段提取的特征图后附加另一个卷积头来实现的（见图1B）。边界感知轮廓，或诱导的边界敏感标签，是通过考虑前列腺掩模边界附近的像素来生成的。为此，使用固定标准差σ（在这种特定情况下，例如，σ = 1.6）[7,11,13]的高斯核将轮廓点及其周围像素公式化为高斯分布。得到的轮廓是一个以Heatsum函数形式的热图[11]。作者预测这个热图，通过最小化均方误差而不是将其视为单像素边界分割问题来训练回归任务。给定来自输入图像i的分割掩模的轮廓GC_i和重建的输出概率，作者使用以下损失函数：KaTeX parse error: Expected 'EOF', got '}' at position 15: Lreg = \\frac1}̲{N} \\sum\_{i}|…其中N是每个批次的总图像数。这个辅助任务与主分割任务同时训练。采用多任务学习方法，通过辅助边界预测任务来规范主分割任务。总体损失函数是Lseg和Lreg的组合：λλ，其中λ1和λ2是超参数，它们权衡掩模预测损失和轮廓回归损失对总体损失的贡献。通过尝试不同的设置确定λ1 = λ2 = 0.5的最佳设置。

3 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】