https://learn2reg.github.io/

https://www.kaggle.com/adalca/learn2reg

https://github.com/learn2reg/tutorials2019

Unsupervised deep learning image registration: Beyond the cranial vault

  • 通过Moving+变换模型->重采样器
  • 将重采样器作用在moving上生成warped
  • 通过warped和Fixed计算图像相似度
  • 将图像相似度通过优化器更新变换模型参数
  • 迭代更新

Sunnybrook Cardiac Data心脏数据：心脏影响MRI

45个MR图像

训练集、验证集、测试机都是15个

图像尺寸256x256x~10x20层voxels

2D slices 配准

两个不同的时间点

同样的扫描和切片位置

形变配准

  • 3D
  • B样条B-splines
  • 基于块 Patch-based
  • 全卷积Fully convolutional
  • 弯曲能量损失Bending energy penalty
  • 3x3x3 convolutions
  • 2x2x2 avg.pooling
  • 32 kernels/nodes per layer

  • 转置卷积的b样条配准
  • 每个DL包中都有(除了b样条核）

正则化

弯曲能量损失P=\frac{1}{V}\int_0^X\int_0^Y\int_0^Z[(\frac{\partial^2T }{\partial x^2})^2+(\frac{\partial^2T }{\partial y^2})^2+(\frac{\partial^2T }{\partial z^2})^2+2(\frac{\partial^2T }{\partial xy})^2+2(\frac{\partial^2T }{\partial xz})^2+2(\frac{\partial^2T }{\partial yz})^2]dx dy dz

全局图像配准

  • 仿射配准affine registration
  • 不同的输入尺寸different size input
  • 3x3x3卷积3x3x3 convolutions
  • 2x2x2平均池化层2x2x2 avg.Pooling
  • 每一层32个核32 kernels per layer

Multi-stage image registration

在DIRLab数据上的评估 Evaluation on DIRLab data

  • 吸气-呼气胸部CT
  • 评价:人工标注表示的TRE
  • 从粗到精的图像配准:

第1步：5.12（4.64）mm

第2步：3.40（4.17）mm

第3步：2.64（4.32）mm

Direct calcium scoring

用于实时自动心血管疾病(CVD)风险分类For real-time automatic cardiovascular disease (CVD) risk categorization

图像组配准框架Group-wise image registration framwork

从心脏CT创建一个atlas图像Creating an atlas-image from cardiac CT

 

配准速度

目前基于深度学习图像配准速度较快：

  • 心脏Cardiac MR(256x256)2D->~10ms
  • 心脏Cardiac MR(256x256x10)3D单步->~30ms
  • 胸部Chest MR(resampled 110^3 - 220^3)->~0.43s

Take-home messages

  • 目前还没有一个放之四海而皆准的解决方案
  • 训练需要一些时间，但推理很快
  • 推理时间主要受GPU I/O-time的限制
  • 本机分辨率对gpu显存的要求很高
  • 需要大量的训练数据，但训练是无监督的
  • 使用现有的DL库构建块很容易实现
  • 传统的图像配准技术可以很好地应用于无监督深度学习图像配准
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

cover

工业物联网时序数据库选型指南：Apache IoTDB 技术架构与实战解析

avatar 魔乐社区
cover

面向未来的工业大数据架构：时序数据库（TSDB）选型避坑指南和国产化思考

avatar 魔乐社区
cover

基于springboot框架会议室预约网站管理系统设计与实现

avatar 魔乐社区