超声nerf:超声成像的神经辐射场
原文链接

摘要：

我们提出了一种物理增强的内隐神经表征(INR)用于超声成像，从重叠的超声扫描中学习组织特性。我们提出的方法利用基于光线跟踪的神经渲染进行新的视图合成。最近的出版物表明，INR模型可以从一组二维超声帧编码三维场景的表示。然而，这些模型未能考虑到超声成像固有的外观和几何形状的依赖于视图的变化。在我们的工作中，我们讨论了场景中依赖于方向的变化，并展示了受物理学启发的渲染提高了超声图像合成的保真度。特别地，我们实验证明，我们提出的方法生成几何上准确的b模式图像的区域，由于视图依赖的差异，超声图像的模糊表示。我们使用模拟b模式的肝脏超声扫描进行实验，并获得了由机械臂跟踪的脊柱幻影的超声扫描。实验证实，我们的方法生成的超声框架能够从以前未见过的视图中产生一致的体积组合。据我们所知，所提出的工作是第一个使用INR解决依赖于视图的超声图像合成。

关键词:

超声，神经辐射场，隐式神经表征
Keywords: ultrasound, neural radiance fields, implicit neural representation

1. Introduction

大多数超声机器每次只能提供解剖学的单一横截面试图，超声医师通过广泛的培训和临床经验，将这些二维扫描图融合到他们头脑中的三维模型中。但是超声成像的各向异性导致了难度的增加。加之病人体内特定区域的图像取决于探针的位置，所以脑海中的三维模型会不断地更新，而同一个区域的图像可能也会有矛盾的信息。虽然专业的医师可以毫不费力的完成这些，但是这些人工视觉分析是很昂贵的，而且比较容易出错。

作者提出的方法主要是利用从不同视角扫描的二维超声图像学习解剖学的三维结构。
NeRF最近相关：

• 动态场景Park et al., 2021
• 大尺度场景Rematas et al., 2022
• 场景概括 (Yu et al., 2021)
• iNeRF：将三维模型表示为一个神经网络，为6DoF姿势估计提供了参考，这有可能在超声跟踪中有所应用。(Yen-Chen et al., 2021)

在本文中，我们提出了一种以NeRF为例的隐式神经表示，它有助于从新的角度合成b型图像。我们的贡献如下:

• 一种通过从多次超声扫描中学习场景的视线相关的外观和几何形状来合成精确B型图像的方法;
• 一个基于射线追踪模型的物理声音渲染公式，该模型考虑各向同性组织特征对超声很重要;
• 开源数据集1，包括多个跟踪的2D超声扫描，具有高度准确的姿态注释和不同的视点。

在我们的实验中，我们使用了合成的肝脏和脊柱幻影数据。我们定量和定性地评估我们的方法。特别地，我们解释了学习几何的缺点，而没有考虑基于我们背后的物理的渲染。据我们所知，本文提出了一种新的超声的隐式神经表示，首次考虑了超声的各向异性特征。

2. Related Work

Ang Nan Gu, Purang Abolmaesumi, Christina Luong和Kwang Moo Yi。用神经场表示三维超声。《深度学习医学成像》，2022年。
Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ra-mamoorthi, and Ren Ng. NeRF, volume 65. Springer International Publishing, 2022.ISBN 9783030584528.
↑在介绍NeRF的开放性工作中，作者提出了一个框架，将场景的神经表征和完全可分化的体积渲染结合起来。该网络将一个5D向量（空间位置x和观察方向d）映射到体积密度σ和辐射度c

（1）中的体积渲染积分沿着射线累积了一个辐射场，因此每个采样位置都会对一个像素的最终颜色做出贡献。每个样本的输入是由透射系数T(t)控制的（2）。最后，渲染的像素值与使用的光度损失的图像中的值进行比较。
基于NeRF的方法在医学成像的各个领域的成果：

• MedNeRF提出了一个基于NeRF重建X射线的CT投影
• EndoN-eRF采用NeRF进行手术场景的三维重建
• 使用NeRF重建脊柱，作者证明了NeRF可以呈现高质量的超声图像。

但是他们在应用NeRF时没有考虑尊重超声物理学的体积渲染方法。为了解决这一缺陷，作者重新制定了渲染步骤，以包括基本的超声物理学，并将其纳入NeRF框架。

3 Method

3.1 背景：超声物理学

3.2 超声NeRF

图2展示了作者在单帧情况下的框架，这个方法遵循原始NeRF的两个组成部分：一个神经网络（图2a）和体积渲染（图2b）

3.3 超声波体积渲染

4. Experiments & Results

数据：获得了两种类型的数据：合成和幻影B型图像
对于这两个数据集，作者以不同的、恒定的垂直角和倾斜角记录了采集方向的扫频（图1b）。作者对涵盖训练集中不存在的视图的6次扫描进行了测试。

定量结果：表1列出了对新型视图合成质量的的评价，以SSIM来衡量合成和参考测试数据的质量。为了分析渲染的效果，我们将Ultra-NeRF与没有渲染的隐式神经表示模型进行了比较。通过渲染，我们在幻影数据上取得了更好或者相似的效果（倾斜视图的，垂直视图的），而没有渲染的方法在我们的合成数据集上取得了更高的SSIM值（）
定性结果：图3显示了用Ultra-NeRF生成的合成B型图像的例子，而图4则显示了渲染的意义。我们通过比较使用Ultra-NeRF生成的超声图像的体积和不使用渲染功能来评估新视图的质量。作者使用ImFusion的复合算法对容积进行复合。

5. Discussion & Conclusion

作者在本文中提出了Ultra-NeRF，一种从一组二维超声图像中获得三维超声的容积INR。与之前的方法不同，作者的方法考虑了超声的各向异性特征，并以遵循超声物理学的方式来解决超声的体积渲染。实验证明，Ultra-NeRF将关于观察方向的信息纳入到容积INR中，这使得超声帧的合成与视图有关，从而产生高质量的B型图像。在图5所示的参数空间中对呈现的B型图进行分解，进一步说明了Ultra-NeRF可以识别导致观察到的强度差异的组织特征。例如，它通过对反射率较高的区域进行回归，正确确定了强反射结构（肋骨），因此产生了声影。
作者提出了一种物理上合理的渲染方法，然而，要进一步实现更真实的B型渲染，需要解决射线的相互作用和菲涅尔效应。如图3所示，尽管该方法学习了准确地几何图形，但它不允许渲染复杂的超声人工制品，如混响。为了改善渲染效果，未来的工作可能涉及使用深度学习技术来建立一个反映基本背散射模式的点扩散函数。另一个潜在的研究领域是正则化；对参数空间的分解是受限的，因此结果高度依赖于初始网络配置。


这是第一项通过解决专门为超声设计的渲染方法来探索隐性神经表征在医学上的潜力的工作。因此，它支持在整合隐性三维超声代表方面取得进展。

Appendix A. Network Structure
全连接网络，多层感知器（MLP），由8层256个神经元组成。Adam优化器优化网络的权重。损失是渲染图像和真实B型图像之间的SSIM和L2的加权和，由参数控制。在实验中，使用

Appendix B. Data

B.1. Synthetic data

我们使用ImFusion从CT图像中模拟了肝脏的B模式图像。每个扫描都由二维超声图像和各自的跟踪信息组成。我们的合成数据集由七个扫描组成∶六个采集角度倾斜，一个采集角度垂直于采集方向（图1b)。每个扫描由200张二维超声图像组成﹐并有各自的跟踪信息。倾斜的扫描在坡度和方向上有所不同。因此﹐从不同的观察角度和方向观察一个器官。我们的图像包含了因在探针方向不同的肋骨之间进行扫描而造成的闭塞现象。我们用四个倾斜的扫描进行训练，共800帧，我们用三个扫描进行测试∶一个垂直的和两个倾斜的，共600张图像。

B.2. Phantom data

我们获得了一个腰椎的模型数据﹐以明胶为基础的模型。我们使用一个机器人操纵器(KUKA LBR iwa 7 R800）)和线性探头来获得超声扫频。探头的位置是用机器人跟踪的。我们使用ImFusion3获取实时图像和跟踪信息。我们用探针在平行矢状面方向扫描了我们的模型。收集的数据包括13次扫描﹐每次150帧︰六对倾斜扫描和一次垂直扫描。每对扫描的轨迹倾斜扫描的定义是，用于训练的数据完全覆盖测试数据中可见的组织。为了保持每次扫描的图像间距恒定﹐并通过训练数据覆盖整个测试区域，我们将每次扫描的测试帧数减少到100帧。扫描占据了两个腰椎的面积。与合成数据类似﹐探针的斜率和方向在扫描对之间是不同的。因此，根据观察方向的不同，脊柱突会遮盖不同的区域(图1)。我们用四个倾斜的扫描对进行训练，共1200个，用三个扫描对进行测试，共300个图像。