Nature：为高维度医学成像设计可临床转化的人工(3)

神经网络首先通过执行一组 "代理任务 "来学习 "描述 "作为输入的成像扫描。例如，通过让网络像拼图一样 "重新组合 "输入的扫描数据，它们可以被训练成 "理解 "在各种病理和生理状态下哪些解剖结构是相互一致的。将成像扫描的数据与放射学报告配对是另一个有趣的策略，基于胸部X射线的人工智能系统取得了相当大的成功。

本着提供更细微的临床背景并将更多的 "知识 "嵌入神经网络的精神，报告中的文本通过最先进的自然语言机器学习算法进行处理，随后训练视觉网络，以更好地理解让各种疾病 "不同"的原因。然而，最重要的是，他们表明使用这种方法可以将特定下游分类任务的标记数据量减少多达两个数量级。因此，未标记的成像研究，无论是单独的还是结合成对的文本报告，都可以作为有效预训练的基础。随后，对较小的高质量基础实况数据样本进行微调，以完成特定的监督学习任务。

尽管这些步骤有助于调整现有的神经网络架构，使其适用于医学成像，但为特定任务设计新的架构需要专业知识。模型架构类似于大脑，而训练后的权重（训练中优化的数学函数）类似于思维。进化搜索算法的进展利用机器学习方法来发现为特定任务定制的新架构，从而产生比人类构建的架构更高效和更高性能的架构。这些都为成像模式特定架构的发展提供了一个独特的契机。

训练深度学习算法依靠图形处理单元（GPU）来执行大规模的并行矩阵乘法运算。云计算 "随用随付 "的GPU资源和具有高内存容量的消费级GPU的可用性，都有助于降低对开发医学成像机器学习系统感兴趣的研究人员的准入门槛。尽管有了这些进展，但在大型视频数据集上训练复杂的现代网络架构需要多个GPU连续运行数周。

临床研究小组应该注意，虽然在相对便宜的计算机上训练单一模型可能是可行的，但要找到最佳性能的正确设置组合，几乎总是需要使用专门的硬件和计算集群来在合理的时间范围内返回结果。强大的抽象层（例如，Pytorch Lightning）还允许研究小组建立内部标准，以模块化的形式构建其代码。采用这样的模块化方法，神经网络架构和数据集可以很容易地被替换，有助于快速将过去为临床成像模式设计的系统重新用于新的用例。这种方法也有助于通过以新的方式集成子组件来扩展这些系统的功能。

随着医疗人工智能系统从 "诊断 "转向更多的 "预后 "应用，时间到事件的预测（而不是简单的二进制预测）将在临床环境中发现更多的相关性。时间-事件分析的特点是能够预测作为时间函数的事件概率，而二分类器只能提供一个预定时间的预测。与二元分类器不同的是，时间-事件分析考虑到了数据的删减，以考虑到那些失去随访或在观察时间范围内没有经历相关事件的人。生存分析在临床研究中很常见，也是制定循证实践指南的核心。

用基于图像和视频的机器学习来扩展传统的生存模型，可以对组织切片或医学成像扫描中的特征的预后价值提供强有力的洞察力。例如，将Cox比例损失函数的扩展整合到传统的神经网络架构中，使得仅从组织病理学切片中预测癌症结果成为可能。我们不主张使用此类视觉网络来规定如何进行护理，而是主张将其用作标记临床医生遗漏晚期恶性肿瘤特征的病例的方法。

纳入时间-事件分析在临床上将越来越重要，因为在疾病不稳定或早期阶段具有的可检测特征，在一定时间后可能会迅速发展。

例如，可诊断为黄斑变性的视网膜特征往往需要数年时间才能表现出来。具有初期疾病特征的患者可能会被标记为“正常”，这让神经网络试图预测未来发生黄斑变性并发症的风险。纳入生存和审查的概念可能有助于训练系统更好地将正常人与那些轻度、中度和正在快速发展中的疾病个体分开。同样，训练视觉网络进行时间-事件分析可能会在用于肺癌筛查，有助于根据预期的侵略性扩散潜力进行风险分层。这种转化工作的关键是要有强大的、经过充分验证的Cox回归的深度学习扩展。在过去的几年里，已经描述了大量Cox模型的深度学习实现。Kvamme等人提出了一系列的Cox模型的比例和非比例扩展，过去还描述了更多的生存方法的实现，如DeepSurv和DeepHit46（图2）。

文章来源：《临床放射学杂志》 网址: http://www.lcfsxzzzz.cn/zonghexinwen/2022/0206/526.html