Nature：为高维度医学成像设计可临床转化的人工(2)

最后，较新的机器学习训练范式，如联邦学习，可能有助于规避许多与数据共享相关的障碍。Kaissis等人审查了联邦学习的原则、安全风险和实施挑战。这种方法的主要特点是在每个机构都训练本地算法副本，唯一共享的信息是神经网络在训练过程中学习到的特征。在预定的时间间隔内，从每个机构的算法中学到的信息（训练的权重）被集中起来并重新分配，高效地从一个大型的多中心数据集中学习，而不需要传输或分享任何医学成像数据。这有助于快速训练算法，从胸部计算机断层扫描中检测COVID-19的特征。

尽管在医学成像领域已经有了联合学习的成功示范，但在将这些方法用于常规临床使用时，仍然存在大量技术挑战。特别是在高维成像机器学习系统的背景下，从多个参与中心传输和更新训练的权重而引入的网络延迟，成为训练更大神经网络的基本速率限制步骤。研究人员还必须确保训练后的权重在参与机构之间的传输是安全和加密的，这进一步增加了网络延迟。此外，在设计研究时，如果不能访问源数据，策划数据集的质量和一致性可能极具挑战性。许多概念上类似的联合学习框架仍然假定对源数据有一定程度的访问。

现代临床机器学习中使用的神经网络架构，主要来自于那些针对大型照片或视频识别任务28进行优化的架构。即使在细粒度分类的其他挑战性任务中，这些架构也非常稳健，其中类具有微妙的类内差异（狗的品种），而不是具有高类间差异的明显不同对象（飞机与狗）。通过对大型数据集（例如ImageNet）进行充分的预训练，这些 "现成 "架构的性能优于为其量身定做的细粒度分类器。其中许多架构可用于流行的机器学习框架，如TensorFlow和Pytorch。最重要的是，这些框架通常为各种不同的神经网络架构提供ImageNet预训练权重，使研究人员能够迅速将它们重新用于专门的医学成像任务。

不幸的是，绝大多数的临床成像方式都不是简单的静态 "图像"。例如，超声心动图是一种心脏的二维（2D）超声影像。这些 "视频 "可以从多个不同的视角拍摄，从而可以对心脏进行更全面的评估。CT和MRI扫描可以被认为是一堆二维图像，必须按图像顺序进行分析，否则医生有可能错过器官之间沿某一轴线的有价值的关系。

因此，这些 "成像 "模式更类似于视频。将其作为图像拆开分析，可能会导致空间或时间背景的丢失。例如，将视频每一帧作为独立的图像进行分析处理，会导致每一帧视频之间时间信息的丢失。在利用超声心动图、CT和MRI扫描的各种任务中，基于视频的神经网络算法比其 2D 算法有相当大的改进，但集成多个不同的视图平面带来了额外的维度，很难将其纳入当前框架。

与广泛的基于图像的预训练网络库不同，对视频算法的支持仍然有限。对部署新架构感兴趣的研究人员可能需要自己在大型公开的视频数据集（如Kinetics和UCF101（中佛罗里达大学101--动作识别数据集））上执行预训练步骤。此外，视频网络的训练计算成本可能要高几个数量级。虽然使用大型自然景物数据集进行预训练是开发临床成像机器学习系统的一个公认的策略，但不能保证性能的提升。关于预训练的性能改进的报告很常见，特别是在使用较小的数据集时，但随着训练数据集的增加，其优势会逐渐减少。

在2018年美国国家卫生研究院的路线图中，缺乏特定于医学成像的架构被认为是一项关键挑战。我们进一步延伸，提出训练这些架构的方法，对这些系统将转化为现实方面发挥着重要作用。我们认为，下一代的高维医学成像AI 将需要对更丰富、更有背景意义的目标进行训练，而不是简单的分类标签。

如今，大多数医学成像 AI 系统专注于从正常背景下诊断少数疾病。典型的方法是在训练这些算法时分配一个数字标签（疾病：1；正常：0）。这与临床受训人员学习从成像扫描中诊断不同的疾病的方式有很大不同。为了提供更多的 "医学知识"，而不是简单地对自然图像或视频进行预训练，Taleb等人提出了一系列使用大型无标签医学成像数据集的新型自我监督预训练技术，旨在协助开发基于3D医学成像的人工智能系统。

文章来源：《临床放射学杂志》 网址: http://www.lcfsxzzzz.cn/zonghexinwen/2022/0206/526.html