医学影像学杂志怎样写论文（关于医学影像的论(3)

国家药监局医疗器械技术审评中心发布的《深度学习辅助决策医疗器械软件审评要点》（以下简称《审评要点》）中提到：“从发展驱动要素角度讲，深度学习实为基于海量数据和高算力的黑盒算法。本审评要点重点关注软件的数据质量控制、算法泛化能力、临床使用风险，临床使用风险应当考虑数据质量控制、算法泛化能力的直接影响，以及算力所用计算资源（即运行环境）失效的间接影响。”可见数据质量控制在新一代人工智能医疗产品的开发中发挥着重要作用。

在新一代人工智能医疗软件的开发中，数据扮演着生产原材料的角色，因此对于生产原材料的质量需要严格把关。《审评要点》中提到：“数据收集应当考虑数据来源的合规性和多样性、目标疾病流行病学特征、数据质量控制要求。数据来源应当在合规性基础上保证数据多样性，以提高算法泛化能力，如尽可能来自多家、不同地域、不同层级的代表性临床机构，尽可能来自多种、不同采集参数的采集设备。”也就是说在获得数据的时候，既要考虑到数据的来源，也需要完整记录数据相关的信息。

研发人员要根据产品功能定义的内容，来确定该产品所需数据的完整性应包含的具体内容。而产品功能的定义要参照目前公认的临床指南、专家共识、检查规范等业界规范标准进行设定。

在功能设计的时候，要保证功能的实现符合目前临床的常规操作流程。例如：一款医疗器械软件的功能定义为确定病灶位置，而病灶位置以及外观属性是可以通过影像数据准确判断的，医生在临床诊断时，无需其他辅助信息单纯获取影像数据即可。如果该软件功能定义为判断病灶良恶性，而临床上良恶性是通过病理结果确定的，则完整的数据至少应包括影像+病理报告。同时，如果是分类问题，每一类的数据量应当符合相应算法的最低要求。

预实验确保标注质量

数据标注是人类借助计算机等工具，对各种类型的数据包括文本、图片、语音、视频等，完成分类、画框、注释、标记并打上说明其某种属性的标签的工作。整个加工过程都应该在严格的质控下进行。除了在招募医生时应有较高的招募标准外，在招募完成后，还要对医生重新进行标注能力的评估和考核。

建议由医学专家组对参与考核的医生进行标注规范培训，之后由医学专家组统一制作一批具有正确答案的标注数据作为考试库数据。在筛选医生时，根据病种类型选择相应比例的考试题，测试应保证覆盖产品功能中要分辨的每一类病例。

在医生资质测试考核中，不仅要检测医生对病例判读的准确性，还要考察该医生两次诊断的一致性。标注关注的重点是一致性，也就是说同一病例由不同标注者或同一标注者进行两次观测，其结果在误差允许范围内是一致的。评价一致性程度的方法很多，比如说Kappa值、Kendal l一致性系数、组内相关系数（ICC）等。对于不同的数据类型和标注，需要选择合适的评价。

通过标注资格筛选考试的医生，可以认为其专业水平达到项目的要求。但是在实际标注中，无论是现场集中标注还是远程在线标注，标注人员的工作状态都有可能会出现波动。所以需要对医生每天的标注状态进行实时监测，以保证数据标注的质量不会出现大幅度波动。监测主要有以下几种：

第一，标注时间监测。在培训测试阶段，可以通过记录测试过程中医生对于每一个病例的标注时间，建立每一位标注者的标注时间分布。在实际标注阶段，可以通过不断比对每一个病例的标注时间、该时间在该标注人员标注时间分布中的位置来判断标注的状态。若标注时间多次出现过长或过短的情况，则需要对标注人员的状态和数据的质量同时进行评估。

第二，标注一致性监测。在标注过程中，引入部分病例，让同一名标注人员进行二次标注，并计算同一个人两次标注之间的一致性，以确保标注人员的标注一致性水准始终能够达到项目的要求，保证整体标注的一致性。

第三，标注准确率监测。在标注过程中，引入部分医学专家提供的带有标准标注答案的病例，计算标注人员对于带标准答案病例标注的准确性，用以评估标注人员的实时状态。

由于开发深度学习类产品所需的数据标注量极大，标注过程的时长、费用都会十分高，因此控制标注过程的质量以及设计合理的标注方法和流程，能够控制标注成本，大大降低由于设计不合理造成的返工和成本增加。

为了避免在大量数据标注后才发现问题，推荐进行小批量标注预实验，用以检验方案的可行性。即在大批次数据标注之前，先选取少量病例数进行标注预实验，以检验标注培训效果和标注医生水平，检验标注方案和标注策略是否可行，为确立最终的标注策略提供数据分布以及标注质量评定的参考，同时预估标注耗时和成本。标注预实验阶段，应选取超量的医生（与最终实际标注相比）进行重复标注，以便评价不同标注质量控制和标注医生的能力。如果在小样本测试中发现多名医生标注一致率不高等问题，则应当重新回顾产品需求的设计和功能定义，确定该问题是否可以通过该种标注形式来达到预期效果。

文章来源：《医学影像学杂志》 网址: http://www.yxyxxbjb.cn/zonghexinwen/2022/1213/508.html