深度学习在牙颌面畸形诊疗中的应用及研究进展

    牙颌面畸形是由先天或后天因素引起的颌骨大小、形态、结构发育异常，以及颌骨之间的位置异常，表现为咬合关系错乱、口颌系统功能障碍与面部外形异常，需要正颌外科与正畸联合治疗。由于牙颌面畸形复杂多样，准确的临床诊断和精确的手术设计在治疗中至关重要。
    随着数字化正颌外科的发展，三维头影测量、虚拟手术设计以及术后面形预测等数字化诊疗手段逐步用于临床，提高了牙颌面畸形治疗的效果及精确性，但同时也存在着一定问题。在三维头影测量方面，解剖标志点的定位仍需人工完成，费时费力。在正颌手术虚拟设计方面，骨的移动、牙列模型的配准等仍需要人工完成，手术设计依赖医师大量的临床经验；同时缺乏准确的术后面形可视化预测方法，容易引起医患纠纷。
    近年来，深度学习（deep learning，DL）以其对复杂数据的处理能力，在医学影像图像识别、辅助诊断、术后预后预测等方面展示了巨大潜力。深度学习为解决牙颌面畸形的临床问题开拓了新的思路，许多学者在头影测量、诊断、治疗设计等方面进行了大量研究。本文对深度学习在牙颌面畸形诊疗中的应用及研究进展做一综述。
    1.深度学习-医学交叉研究的发展
    深度学习是计算机学科的一个研究方向，是机器学习方法的最新子类。深度学习是指通过分析大量数据，使计算机获得其内在规律与表示层次，使机器能像人脑一样具有分析学习与识别数据的能力。其与传统机器学习的区别在于建立模拟人脑神经网络结构进行学习分析的人工神经网络（artificial neural networks,ANN）。神经网络根据研究对象分为：标准神经网络（standard neural network,SNN）、卷积神经网络（convolutional neural networks,CNN）和循环神经网络（recurrent neural network,RNN）；根据训练方式分为非监督学习与监督学习。
    CNN在涉及图像处理的医学领域如医学影像学、病理学等领域广泛应用。深度学习技术最早用于提高影像质量，模型任务聚焦在自动分割、重建等。相关的CNN模型也不断发展，Zheng等利用U形卷积神经网络实现上、下颌骨自动分割。影像自动分割使影像分析更加快捷，为进一步实现自动识别、定位、诊断创造条件；如Wu等利用深度学习辅助内镜检查，筛查食管和胃等部位的疾病。
    深度学习辅助临床诊断的应用集中在对胃癌、肝癌、乳腺癌等癌症的诊断以及对糖尿病、心血管疾病的治疗和风险评估。除了基于医学影像进行的图像处理、临床诊断筛查外，深度学习还用于治疗方案制定、临床风险评估和药物研发管理中；如Bird等利用深度学习技术获取结肠癌放疗方案，Hooshmand等使用深度学习技术寻找治疗COVID-19的潜在药物。
    2.深度学习在三维头影测量及牙颌面畸形诊断中的应用
    头影测量是通过在头影图像中标注一系列标志点，测量距离、角度、比例等数值，通过与临床标准值的比对，从而辅助牙颌面畸形诊断。目前二维头影自动测量技术已经相对完善，其中表现优异的模型是Hwang等通过YOLOV3深度学习方法，设置1028个训练集，283个测试集，完成对80个标志点（2个垂直参考点、46个硬组织标志点和32个软组织标志点）的自动定位。
    目前多个研究成果已经转化为智能头影测量软件或平台，例如CellmatiQ（Hamburg,德国）、CephX（ORCAAI,Herzliya,以色列）、Web-Ceph（Gyeonggi-do,韩国）、Uceph（华西，中国）等，推动了数字化正颌外科的发展。但二维头影测量只能兼顾2个维度，常造成信息丢失，对于面部不对称患者，二维头影测量的缺陷更加显现。而此时，基于CT/CBCT三维重建图像的三维头影测量应运而生，通过实现3个维度上的全方位观测，更加准确地辅助牙颌面畸形的诊断。
    2.1三维图像解剖标志点定位
    CBCT因为辐射和成本较低常用于颅颌面扫描，但因为图像存在显著噪声、成像伪影，导致较难实现对图像标志点进行数字化定位。Chen等利用3DfasterR-CNN快速进行预先区域划分，在此基础上，通过MS-UNet利用热图回归在高分辨率的图像中实现了标志点位置的优化。该模型达到了平均26.2s处理一个样本，精度可达（0.89±0.64）mm。
    Yankun等则提出了利用树状结构储存各个标记点的方法，通过低分辨率图像初步判断区域，再次使用高分辨率图像判断标记点的具体位置，训练数据集包括49例患者，模型定点误差为（1.75±0.91）mm。Zhang等指出由于标志点多位于被分割颌骨的边缘，需要同时关注标志点定位和颌骨分割任务。
    通过使用全卷积神经网络（fully convolutional network，FCN）先学习位移图，捕获在CBCT中的空间上下文信息；并利用该位移图作为指导信息，进一步发展了一个多任务FCN用于颌骨分割和标志点自动定位。在对107个对象的实验评估中，该方法优于目前颌骨分割和标志点定位两个领域的最先进的方法。
    2.2颌骨与牙的分割
    颌骨与牙的分割是临床上三维模型重建的重要步骤，只有将颌骨和牙从影像中精确分割，才能保证解剖结构标注的准确性。Lee等利用卷积神经网络，通过多级训练方式并利用空间dropout层正则化模型，提高了对颌骨及牙的分割性能。Wang等以4名经验丰富的医师的分割结果为基准，通过MS-D网络进行自动分割，训练结果显示颌骨的Dice系数达到0.934±0.019，牙的Dice系数达到0.945±0.021；与医师的分割结果相比，颌骨的表面误差为（0.39±0.093）mm，牙的表面误差为（0.204±0.061）mm，取得了较好的结果。
    2.3CT与光学牙模配准
    激光扫描获取的光学牙模数据对牙列形态的记录比CT更精确，CT与光学牙模配准的目的，一方面是构建更精确的牙列-颌骨模型，以保证三维测量的精确度；另一方面，也能保证虚拟手术设计中重建咬合关系的精确性。为了简化配准过程，Zhang等提出了一种基于特征的等曲率主配准算法，通过计算点云数据的各点曲率，然后用哈希映射点与对应曲率的关系，对在等曲率范围内的点进行比较，大大简化了初始的配准过程。
    在深度学习方面，Chung等通过深度姿态回归神经网络（deep pose regression neural networks）对CT和光学牙模实现三维配准，标志点误差平均为1.8mm，由扫描模型上10个标志点的欧几里得距离所评估；表面误差平均为5.11mm，该误差较标志点误差偏大的原因是表面误差不仅覆盖了模型关键位置的10个标志点，还包含多余的基座、牙槽等部位。该评估结果比现今最好的方法的误差降低了33.09%，体现了使用深度学习方法配准CT和光学牙模的可能性。
    2.4正中矢状面校准
    正中矢状面是进行测量分析、手术设计最重要的头颅参考平面。为使正中矢状面得以校准，朱玉佳等利用80例由专家标注的颜面数据作为训练集，训练并建立多视图堆叠沙漏神经网络（MSHCNN）；并结合赋权普氏分析算法，实现三维颜面正中矢状平面的构建。Dalvit Carvalhoda Silva等通过卷积神经网络与几何矩，使CT图像两侧对称，正中矢状面得以校准。195个头颅图像通过该模型进行验证，在冠状面和横断面上校正的准确度均高于99%，体现了该方法的可靠性。
    2.5辅助牙颌面畸形诊断
    头影测量往往需要耗费大量时间，并且使用较复杂的软件。通过深度学习对图像数据进行处理，可在一定程度上方便诊疗。Kim等设计了基于投票机制的集合模型与基于粗微调和同步微调的同步多通道模型，通过训练3个特定方向的二维视图，得到图像间的相互关联性，以此替代原始三维数据，显著降低了计算成本，起到很好的分类骨性错的效果。
    Murata等提出一个并行CNN模型，其中的每个CNN处理一个方向的图像，然后将每个CNN输出的特征向量连接，并保存为包含一个患者所有图像信息的特征向量。输入多层感知器中，得到患者对应的正畸治疗需求指数等级，在CNN模型和MLP模型的基础上，准确性提高了11%。
    3.深度学习在牙颌面畸形治疗设计、预测中的应用
    深度学习在牙颌面畸形治疗的手术设计上同样起着巨大作用。为了预测患者在正颌手术的骨骼变化，Ma等基于机器学习方法，使用一个12层级联神经网络。该网络分为2个模型，第一个模型从三维体素的二维小块图像（Patch）中获取标志点，第二个模型用于预测术后骨骼变化，最终的预测结果在标志点水平的精确度为5.4mm。
    Knoops等通过监督学习下的机器学习框架，以健康人群以及正颌手术患者的面部立体摄影（3DMD）图像作为输入值，对该神经网络进行训练，实现对诊断和治疗效果的预测。测试结果显示，在诊断方面，敏感度为95.5%，特异度为95.2%；在模拟治疗效果方面，平均误差为（1.1±0.3）mm。这些研究展示了深度学习技术在牙颌面畸形手术设计方面减少人力参与的可能性。
    针对牙颌面畸形患者颌面骨的手术设计，Xiao等利用点云数据进行几何深度学习（geometric deep learning），通过校正畸形骨的形状，生成患者个体化正常颌面骨模型。该研究提供了扩大数据集的新思路，同时验证了运用点云数据的可行性和准确性。在制定正畸治疗方案时，Li等使用多层感知器人工神经网络（multilayer perceptron artificial neural networks），预测正颌－正畸联合治疗中相关决策，包括是否拔牙、拔牙模式以及支抗模式。在是否拔牙决策中，该网络模型的预测结果准确率达94%，敏感度为94.6%，特异度为93.8%；拔牙模式的准确率为84.2%，支抗模式的准确率为92.8%，展现了深度学习技术在牙颌面畸形治疗决策领域运用的巨大潜力。
    为了提高深度学习的准确率，Kim等在分析头影测量图像与正颌手术的选择之间的关系时，分析了CNN中Res-Net结构不同层数（18、34、50和101）对测试集准确率的影响，准确率分别为93.80%、93.60%、91.13%和91.33%，18层的Res-Net准确率上优于另外3个Res-Net。由此可见，一味增加神经网络的层数，无法提高结果的准确率。
    牙颌面畸形手术设计中的面部形态变化也是重要的参考因素，但是目前的设计软件仅可以实现骨结构的模拟，而软组织结构的模拟尚不准确，需要依靠医师的经验去判断。通过深度学习发现软组织与硬组织之间的联系，则有助于实现软组织结构的模拟。Ma等通过运用FC-Net，学习术前与术后已配对好的面部相应点的变化，结果优于成本更高的有限元模型（finite element modeling，FEM）。TerHorst等使用深度学习模型与质量张量模型（mass tensor model，MTM），对面下1/3区域的软组织变化进行预测。结果显示，在平均绝对误差方面，深度学习模型[（1.0±0.6）mm]略优于MTM[（1.5±0.5）mm]，在临床可接受的误差范围之内。
    4.实现牙颌面畸形智能化诊疗的必要性与可行性
    牙颌面畸形在人群中的发病率约为5%，患者常伴有咬合功能障碍及面部畸形，严重影响身心健康。患者畸形复杂多样，医学数据量大，因而医师劳动强度大，人力和时间成本高。同时，患者对治疗效果要求较高，使得牙颌面畸形诊疗方案复杂，并且方案设计的准确性依赖医师的大量临床经验。对智能化诊疗的探索，有望解决上述问题，有利于医师诊疗方案的设计和手术辅助，从而获得最佳治疗效果。智能化诊疗方案采用更加直观的方式，将患者的术后预测展现给患者，方便医患沟通，为患者提供个性化、数字化诊疗服务。
    总之，过去10年来，深度学习技术的飞速发展，为我们带来无限可能。随着硬件设备的发展以及计算机辅助设计（CAD）、计算机辅助制作技术（CAM）的不断完善，牙颌面畸形治疗呈现出临床数据三维化、诊疗手段数字化、精准化的趋势。相信在未来，随着深度学习算法的不断优化，数据识别和处理能力的进一步提高，计算机科学与医学的深度合作将更加紧密，有望改变传统的医学模式，提供更便捷、更精准、更个性化的诊疗。