Eur Urol Open Sci. 2021 May; 27: 33–42.

Published online 2021 Mar 21. doi: 10.1016/j.euros.2021.02.007

PMCID: PMC8317850

PMID: 34337515

Can a Dinosaur Think? Implementation of Artificial Intelligence in Extracorporeal Shock Wave Lithotripsy

Sebastien Muller,a,b Håkon Abildsnes,c Andreas Østvik,a,b Oda Kragset,c Inger Gangås,d Harriet Birke,e Thomas Langø,a,b and Carl-Jørgen Arume,f,g,h,*

Author information Article notes Copyright and License information Disclaimer

Go to:

Abstract

背景 体外冲击波碎石术 (ESWL) 正在被更昂贵和侵入性的内窥镜治疗所取代。开发人工智能 (AI) 增强型 ESWL，并研究机器学习可以提高 ESWL 功效的潜力。  设计、设置和参与者 二维超声视频是在 ESWL 治疗期间从带有视频采集器的在线超声设备中捕获。一名观察者将 11 位患者的 23 212 张图像标注为对焦或离焦。中位命中率是通过引导在患者水平上计算的。具有 U-Net 架构的卷积神经网络在 57 幅超声图像上进行训练，这些图像描绘了来自同一患者的肾结石，并由第二位观察者进行了注释。在第一个观察者注释的超声图像上测试了 U-Net。使用九名患者的训练集、一名患者的验证集和一名患者的测试集进行交叉验证。结果测量和统计分析 计算了描述分类器性能的经典指标，以及对算法如何影响冲击波命中率的估计。结果 标准 ESWL 的中位命中率为 55.2%（95% 置信区间 [CI] 43.2–67.3%）。U-Net 的性能指标是准确度 63.9%、灵敏度 56.0%、特异性 74.7%、阳性预测值 75.3%、阴性预测值 55.2%、Youden's J 统计 30.7%、无信息率 58.0% 和 Cohen's κ 0.2931。该算法将错误总数减少了 67.1%。主要限制是这是一项仅涉及 11 名患者的概念验证研究。结论 我们计算出的 ESWL 命中率为 55.2%（95% CI 43.2–67.3%），支持早期研究的结果。我们已经证明，仅对 11 名患者进行训练的机器学习算法将命中率提高到 75.3%，并将失误减少了 67.1%。当 U-Net 在更多和更高质量的注释上进行训练时，可以期待更好的结果。 

总结 肾结石可以通过冲击波来治疗。肾脏的超声扫描用于引导机器发出冲击波，但冲击波仍可能漏掉结石。我们使用人工智能来提高击中正在处理的石头的准确性。关键词：体外冲击波碎石术，肾结石，人工智能，机器学习，神经网络  

Introduction .

  尿石症是一种越来越常见的疾病，给患者和医疗保健都带来了沉重的负担。尿石症的患病率在全球范围内各不相同，从 4% 到 20%。自 1980 年 Chaussy 等人报道体外冲击波碎石术 (ESWL) 治疗尿石症以来，它已成为最常用的治疗方案。冲击波碎石的能力是 ESWL 的基础，其功效取决于冲击波撞击结石的能力。ESWL、经皮肾镜取石术 (PCNL) 和输尿管肾镜检查/逆行肾内手术 (URS/RIRS) 是有症状的尿石症的主要治疗选择 。其中，ESWL 是侵入性最小、并发症最少的方法。一项为期 20 年的全球研究发现，URS/RIRS 的总治疗份额增加了 17%，PCNL 保持不变，ESWL 减少了 14.5%。另一项调查尿石症治疗文献趋势的研究表明，关于 URS/RIRS 和 PCNL 的论文分别增加了 171% 和 279%，而关于 ESWL 的论文减少了 17%。ESWL 功效的提高应该会降低再治疗率、手术室时间、麻醉需求、内窥镜设备的使用和并发症发生率，从而显着降低医疗保健成本。自计算机诞生以来，人们一直希望设计能够与人类智能竞争的计算机。这是通过模仿人类认知功能来实现的，这一概念被称为人工智能 (AI)。机器学习 (ML) 是一种通过经验学习的人工智能 [12]。已经开发并测试了几种用于跟踪尿路结石的非机器学习算法，但没有一种算法在临床实践中得到广泛采用。已经证明，ML 算法在图像分析方面的表现优于临床医生 。在监督学习中，算法被赋予标记数据，例如有结石和没有结石的肾脏的超声图像，以训练它区分“结石”图像和“无结石”图像。受生物神经回路启发的流行 ML 算法包括人工神经网络 (NN)（图 1A）。NN 中的第一层称为输入层，其作用是将原始输入数据分发到下一层 。输出层将输入修改为整个网络的最终输出，在我们的示例中决定图像是否包含泌尿系结石。在输入层和输出层之间有“隐藏”层，这些层由权重组成，可以教授处理复杂问题。连接和层的结构定义了 NN 的架构。

Fig. 1

(A) 简单神经网络架构示例，包括具有两个节点的输入层、具有三个节点的隐藏层和具有两个节点的输出层。使用 Inkscape 创建。(B) 描述过度拟合的图。训练过程中训练误差不断减小，如果模型训练时间足够长，最终误差为零。当过拟合开始时，验证错误将开始增加，因为模型的泛化能力越来越差。最佳停止时间是验证曲线上的最低点。基于 Tretyakov的图表。(C) 来自 Yani 等人知识共享署名 3.0 许可）的图像显示最大池化和平均池化对输入进行下采样。在最大池化中，输入被分成几部分，每个部分的最高值给出输出。在平均池化中，每个部分的平均值给出了输出。NN 训练通常使用优化器来实现，该优化器旨在通过反向传播来最小化损失函数。损失函数的作用是衡量算法对给定数据建模的能力（例如，识别肾结石），其值用于更新网络权重以最小化误差。为了研究 NN 的普遍性，应该使用与用于训练的数据不同的数据对其进行验证。在训练期间监控验证损失：随着网络的改进，验证误差随着训练误差而减小。然而，训练过程中的一个常见问题是过度拟合（图 1B），这通常是模型记忆训练数据的结果 [19]。结果是一个模型没有学习可泛化的特征，通常通过验证损失的发散来识别。为了防止这种情况，采用了不同的训练策略，例如提前停止和正则化。更重要的是，在训练过程之后需要并使用第三个独立数据集，通常称为测试集。测试集用于衡量网络解决不可见独立数据任务的能力。卷积神经网络 (CNN) 是复杂图像分析的首选 [20]。构建 CNN 是为了首先识别低复杂度的特征，然后在更深的层中找到更高复杂度的特征 [20]。卷积操作识别输入的基本特征（例如，线或圆）并给出称为特征图的输出。池化操作然后对特征图进行下采样（降低分辨率）以减少后续操作中对计算能力的需求。最常用的两种池化操作是最大池化和平均池化，如图 1C 所示。当算法对图像进行分割时，它会将其划分为语义对象 [20]，例如确定图像的哪一部分描绘了泌尿系结石 [16]。已经为分割目的构建了不同的 CNN，其中一个例子是 U-Net [20]。U-Net 的第一个阶段是下采样，其中卷积层识别图像特征，而最大池化算子对特征图进行下采样。在最后一个阶段，即上采样，特征图通过上采样算子进行上采样，并与来自下采样阶段的对称特征图的副本相结合 [20]。通过这些交叉连接，可以保留高分辨率特征，如图 2 所示。

Fig. 2

Ronneberger 等人 创建的原始 U-Net 架构。蓝色矩形代表特征图，而白色矩形代表通过交叉连接复制的特征图。箭头表示算子（深蓝色和浅蓝色 = 卷积；灰色 = 交叉连接；红色 = 最大池化；绿色 = 上采样）。

Patients and methods 2.

分析二维超声图像以估计操作员控制的 ESWL 的命中率并测试 U-Net 性能。为了获得图像，将帧采集器连接到 ESWL 机器（PiezoLith 3000，Richard Wolf GmbH，Knittlingen，Germany），用于在 ESWL 期间捕获在线实时超声图像。每个视频的长度为 30 分钟，随机选择 5 分钟的视频序列进行注释。注释者提取超声样本以将每个帧标记为当结石处于焦点区域 (FZ) 时“聚焦”或当结石不在 FZ 中时“失焦”（图 3A）。这个过程是使用注释工具进行的（图 3B）。由于结石通常在 FZ 内或 FZ 外连续超过两个帧，因此通过仅标记帧间隔的过渡点来简化注释过程。例如，如果第一帧被标记为对焦，并且在第十帧中发生了离焦的过渡，那么从开始到第十帧的所有帧都被归类为对焦。

Fig. 3

(A) 模型报告结石位于焦点的框架示例，因为 ≥50% 的预测结石（红色）在焦点区域（黄色）内。(B) 注释工具的屏幕截图。带有十字准线的超声视频显示在右侧，滑块用于浏览帧。要注释帧，注释者单击“选择要注释的帧”并选择将帧标记为“焦点”或“失焦”。如果结石在此帧中处于焦点，则注释者然后继续视频并停止标记结石失焦的第一帧。这两个标签之间的帧会自动标记为“焦点”。绿色和红色矩形代表注释者标记的帧。在注释过程中，我们发现一些结石在超声图像中不可见，并且这些患者（病例 1、3 和 9）未包括在操作员控制的 ESWL 的命中率分析中。总共直接注释了 731 帧，导致总共 23 212 帧。由于超声设备每秒捕获15 帧，我们最终得到了 26 分钟的带注释的超声视频，代表每位患者的平均时间为 3.2 分钟。此外，第二个注释者在任意框架中为所有患者描绘了肾脏和肾结石。这导致了来自总共 57 张图像的肾脏和肾结石的二元掩码。为了在肾结石分割中测试标准的 U-Net 卷积网络，它使用描绘的图像进行训练。为了训练和验证网络，我们提供了肾脏和肾结石的注释。标记肾脏为算法提供了一个参考点或有关结石应该在哪里的上下文信息，因为在整个治疗过程中，肾结石大致保持在肾脏内部的相同位置。我们进行了基于患者的交叉验证。通过对来自 9 名患者的帧进行训练并在来自一名患者的帧上进行验证，总共创建了 11 个模型。在这 11 个模型中，有 8 个在相同的 23 212 个帧上进行了测试，这些帧在 8 名患者中标注为“对焦”或“失焦”。调查的第一个结果是操作员控制 ESWL ，以 90 脉冲/分钟的速度连续发射的命中率。命中率是指撞击结石的冲击波的百分比，在本研究中定义为超过 50% 的结石在 FZ 中的击球。为了计算这个，我们需要知道在一定数量的帧中结石聚焦的帧数。每个帧由一名观察者手动分配一个 0（失焦）或 1（焦点）标签，标签的总和给出了结石在 FZ 中的帧数。使用 R 环境进行统计编程 (www.r-project.org)，使用偏差校正和加速自举法估计每个患者的中位命中率，具有 95% 的置信区间 (CI)，以评估超出样本的结果的稳健性估计。通过在 SPSS 中生成直方图、箱线图和正态 Q-Q 图，并通过执行 Shapiro-Wilk 检验和峰态和偏度分析来检查患者的命中率分布。手动执行拟合优度的 χ2 检验以确定命中率是否均匀分布并最终决定合并是否合适。p 值 <0.05 被认为具有统计显着性，并且会导致拒绝命中率分布均匀的零假设。如果合并合适，则在帧级别计算 95% CI 的中位命中率，如果合并不合适，则在患者级别计算。95% CI 的总体中位命中率是通过偏差校正和加速引导估计的。

  为了估计 U-Net 算法的性能，将数据输入 R 以创建混淆矩阵（表 1），其中的基本事实是注释数据。算法未检测到石头的帧不包含在混淆矩阵中。然后使用 R 来计算分类模型性能的经典指标：准确性、敏感性、特异性、阳性预测值 (PPV)、阴性预测值 (NPV)、流行率、检出率、检测流行率、平衡准确度、Youden's J 统计量、无信息率和 Cohen 的 κ。表 2 中提供了对这些值的解释。然后，我们通过将标注为焦点的帧数除以真阳性数来估计 U-Net 控制的 ESWL 相对于操作员控制的 ESWL 的治疗时间。通过将相对处理时间乘以真阴性数，再除以注释为失焦的帧数，我们估计了 U-Net 将如何影响错误数。给定 90/min 的冲击波速率，计算操作员控制的 ESWL 和 U-Net 控制的 ESWL 的每分钟命中数。通过对 R 中 5000 个帧样本进行偏差校正和加速引导，计算每位患者的中位命中率和 95% CI（表 3）。表格1 在混淆矩阵中组织的混淆矩阵设计和测试数据（注释为聚焦或失焦的图像）

AI = artificial intelligence; TP = true positive; FP = false positive; FN = false negative; TN = true negative.

Table 2

描述分类器性能的最重要统计数据概述

Table 3

通过自举法估计的每位患者的操作员控制的体外冲击波碎石术的中位命中率

CI = confidence interval.

经区域伦理委员会评估后，获得使用从患者记录下载的匿名超声视频的书面许可（参考编号 2014/2261）。

Results 3.

患者的命中率呈正态分布，如图 4A-D 所示。这得到了偏度 (z = −0.005) 和峰度 (z = 1.73) 的分析以及 Shapiro-Wilk 检验 (p > 0.05) 的支持。然后手动执行 χ2 拟合优度检验，然后在 R 中进行控制。通过将该患者的总帧数乘以合并平均命中率 (50.12%) 来计算每个患者的预期命中率。具有七个自由度的 χ2 值为 927.4，p 值 <0.05，这意味着患者之间均匀分布的原假设被拒绝，因此不应合并数据。通过对 R 中 3000 个样本的 8 名患者的中位命中率进行引导，我们发现中位命中率为 55.2%（标准差 18.6%，95% CI 43.2–67.3%）。我们选择在 95% 的收敛分析的基础上使用 3000 个样本进行引导，如图 4D 所示。

Open in a separate window

Fig. 4

(A) 操作员控制的体外冲击波碎石术 (ESWL) 的命中率直方图。该分布类似于正态分布，尽管具有一定程度的峰度。然而，峰态 z 值在统计上并不显着。(B) 操作员控制的 ESWL（x 轴）的命中率（y 轴）的箱线图，显示与正态分布一致的近似对称分布。患者 10 和 11 是异常值。(C) 操作员控制的 ESWL 命中率的正常 Q-Q 图。这些点靠近线，这通常表示正态分布。尽管如此，点如何围绕线组织似乎存在一种趋势，这表明分布实际上可能并不正常。(D) 命中率第 95 个百分位的收敛。随着引导迭代次数的增加，两个连续值之间的相对差异趋于零。只能从原来的 8 个样本中提取 6435 个不同的样本。这限制了我们可以引导的样本数量，因为增加引导样本的数量会增加多次提取相同样本的可能性。为了找到最佳的 bootstrap 样本数量，我们探索了需要多少个 bootstrap 样本才能稳定第 95 个百分位数。这显示在图表中，x 轴上是自举样本的数量，y 轴上是第 95 个百分位数的变化。很明显，在2000-3000个样本的bootstrapping后变化<1%，表明bootstrap样本的最佳数量是2000-3000。

该算法无法在 20.6% 的帧中找到石头，因此它们没有包含在分析中。对于剩余的 18 440 帧，计算了预测的石头区域和 FZ 之间的重叠程度。≥50% 的重叠被认为是“焦点”。使用注释器作为基本事实将测试结果组织在 R 中的混淆矩阵中，并计算性能（表 1）。该算法发现 58.0%（普遍性）的帧有焦点结石（表 4）。该算法的准确率为 63.9%，这意味着它正确地将 63.9% 的帧分类为“对焦”或“失焦”。在结石聚焦的帧中，算法能够将大约一半归类为“聚焦”，因为灵敏度为 56.0%。该算法更擅长对“失焦”的结石进行分类，特异性为 74.7%。PPV（算法正确分类为“对焦”的帧数）为 75.3%，NPV（算法正确分类为“失焦”的帧数）为 55.2%。请注意，如果碎石机根据算法发射冲击波，则 PPV 对应于命中率。检出率为 32.5%，而检出率要高得多，为 43.1%，表明存在大量误报（当石头实际上“失焦”时，AI 将帧分类为“对焦”）。Youden's J 统计量为 30.7%（标准：>0），Cohen's κ 为 0.2931（标准：>0），无信息率为 58.0%（低于准确率），算法性能优于随机猜测是否结石在焦点内或焦点外，表明它可以正确跟踪超声图像中的肾结石。相对于操作者控制的 ESWL，治疗时间为 1.94 (11 633/5 987)，而误操作率为操作者控制的 ESWL 的 32.9% ([1.94 × 1961]/[23 212 – 11 633])。操作员控制的 ESWL 每分钟击石 45 次 (90/min × 11 633/23 212)，而 U-Net 控制的 ESWL 每分钟击石 23 次 (90/min × 5987/23 212)。

Table 4

在注释为对焦或离焦的超声图像上测试时，U-Net 模型的计算性能统计数据

Discussion 4.

研究结果表明，优化 ESWL 命中率有很大的潜力，因为我们估计使用 U-Net 神经网络控制 ESWL 和缺失冲击波的总数可以将操作员控制的命中率从 55.2% 提高到 75.3%，最终使手术对患者更安全。估计命中率的方式有几个限制和弱点。首先，注释者（一名医学生）在超声图像解释方面缺乏经验；其次，由于图像分辨率低，很难确定石头的确切边界，这是我们在注释过程中遇到的一个重要问题。由于探头-扫描仪系统本身的质量以及在冲击波发射期间探头必须缩回，因此分辨率较低。未来的解决方案可能是将介入前计算机断层扫描 (CT) 图像与超声图像配准，这可能会使注释者更容易通过建议结石相对于肾脏的位置来进行正确的注释。  另一个问题是我们采样的超声图像来自治疗的前 5 分钟。在治疗过程中，结石逐渐破碎，因此变得更难识别（对于透视也是如此），因此我们使用的样本不能代表整个治疗过程。然而，当结宝变得难以识别时，它与我们的分析无关，因为注释者无法确定结宝是否在焦点上。患者之间的估计命中率呈正态分布，表明它们具有代表性。我们将冲击波击中定义为结石和 FZ 之间 50% 的重叠可能不是最佳的，因为边缘击中也可能导致碎裂，从而导致对击中率的低估。当我们排除患者 1、3 和 9 时，可能会引入偏差，因为他们的结石在超声上缺乏可见性。对于操作员控制的 ESWL，操作员也无法通过超声定位他们的结石，因此需要定期进行透视。因此，操作员对结宝实时位置的控制较少，并且可能会花更多的时间失焦。如果忽略这些患者的图像，操作员控制的命中率可能会被高估。该算法的训练和性能测试也有一些局限性和弱点。该算法在没有由第二个没有经验的观察者注释的十字准线的数据上进行了训练和验证。因此，训练集可能包含假阳性结石，限制了算法正确学习结石追踪的潜力。一些训练和验证注释是对难以识别结石的超声图像（包括患者 1、3 和 9）进行的，增加了假阳性结石的概率。

该算法仅对来自 11 名患者的 57 张图像进行了训练。训练集显然不足以优化算法功效，如果包括更多患者并且有经验的放射科医生使用 CT 提供准确的注释，则该算法具有显着的改进潜力。与估计操作员控制的命中率一样，重叠估计也是性能测试中的一个问题。测试集由一名医学生注释，他通过对结石和 FZ 重叠的半主观视觉评估来评估结石是否在焦点上。相比之下，该算法是在描绘结石的图像上进行训练的。当手工标记结石边缘时，计算机软件可以比人类视觉评估重叠更准确地计算结石和 FZ 重叠。因此，尽管测试集注释器和算法可能在测试集图像中的结石位置上完全一致，但他们可能会估计不同程度的石头-FZ 重叠，从而导致对结石是否在焦点上的分歧。这尤其与 FZ 内接近 50% 的结宝有关。在这些情况下，即使重叠估计的微小差异也可能影响“聚焦”与“聚焦”的决定。这导致描述算法性能的指标存在更多不确定性。   使用两个不同的没有经验的注释器有一些额外的弱点。该算法首先了解其中一个注释者将什么解释为结石，然后根据另一个注释者将什么解释为结石进行测试。这里的一个问题是观察者间的可变性，我们证实这一点很重要：两个注释器的比较显示不匹配率为 37.5%。这意味着该算法永远不会在测试集上完美运行，因为训练集和测试集的注释者在石头边界的定义上存在分歧。事实上，考虑观察者间的可变性而不是只使用一个观察者增强了我们的指标的信心，表明该算法具有结石跟踪能力。 如果该算法在识别结石方面变得优于测试集注释器，则指标将低估算法的性能。为了查看算法的表现是否明显优于暗示的指标，我们目视检查了几个算法预测结石的超声视频，并在训练集中使用的相同类型的注释上测试了训练算法。在查看结果后，该算法明显优于测试集注释的想法被拒绝了。 我们讨论了处理算法未检测到结石的帧，就像算法报告结石“失焦”一样。除了灵敏度降低（51.2%）外，这将导致所有 AI 性能参数的改进。最值得注意的是，我们看到准确度提高到 67.0%，特异性提高到 83.0%，Youden's J 统计量提高到 34.2%。以这种方式分析数据的论点是，未检测到的结石不会被射中，从而降低了治疗并发症的风险。话虽如此，我们选择不这样做，因为我们无法控制算法未检测到石头的帧是否有石头，这会导致算法的跟踪能力被高估。此外，它不会影响PPV，PPV可以说是分析项目当前状态下算法性能时最重要的参数。 我们能够确定三项研究，估计 ESWL 命中率在 40% 到 60% 之间。与其他研究相比，估计的 55.2% 的命中率处于较高的范围内，但广泛的 95% CI (43.2-67.3%) 与他们的观察结果非常吻合。命中率和小样本量的不同定义限制了这些研究的普遍性。 迄今为止，还没有关于用于在超声图像中定位泌尿系结石以进行 ESWL 治疗的 ML 算法的出版物。Singla 等人尝试在使用 RetinaNet 进行 ESWL 治疗期间使用透视定位尿路结石，并使用不同的 ML 算法实现了 70% ± 10% 的精度。

我们的算法可以通过在结石失焦时停止碎石机发射冲击波来实现。还可以添加类似于 Singla 等人 使用的算法来创建一个同时使用超声和透视的方法，这可能会进一步提高对结石追踪能力。已经表明，60-90 的治疗脉冲率产生最佳的无石率，但应该注意的是，该率是基于对不同恒定率的测试，无论结石是否在焦点区域内。当前的 ESWL 治疗程序每次治疗使用大约 3000-4000 次脉冲，命中率为 50%，导致大约 2000 次命中。算法控制的 ESWL 可能只需要 2000 次冲击波，从而减少治疗时间。事实上，可以增加冲击波率，这样当结石穿过焦点区域时，它就可以被多次击中。我们小组先前未发表的研究结果表明，结石在呼气结束时相对静止（图 5）。在算法控制的 ESWL 中可以更好地利用这一生理事实，当结石在每次呼气结束时静止在焦点区域内时，冲击波以更高的速率发射。该算法考虑了整个肾脏图像，而不仅仅是结石本身，因此算法控制的 ESWL 的另一个潜在好处是，当结石经常在两个超声上变得不清楚时，可以在治疗过程的后期保持命中率和透视。在该算法在临床实践中实施之前，应该对更多和更高质量的注释进行训练和测试，最好由泌尿放射科医生使用预处理 CT 的信息进行训练和测试。训练集的标注也应该在几个不同的机构进行，以提高 ML 算法的泛化能力。

Fig. 5Kragset  的图表展示了一个呼吸周期中泌尿系结石的三维运动。每个点代表结石在特定时间点的位置。当点之间的线很长时，运动就很大。呼气结束时的点彼此非常接近，这意味着结石几乎静止不动——这是瞄准结石的最佳时间间隔。

Conclusions 5.

估计操作员控制的 ESWL 命中率为 55.2%（95% CI 43.2–67.3%），这意味着大约一半的冲击波没有击中石头。算法控制的 ESWL 将命中率提高到约 75.3%，并使漏石的冲击波总数减少了约 67.1%。结果表明，在更好的注释上训练和测试的 U-Net 神经网络将能够提高 ESWL 的功效。