医学影像是通过扫描照射方式所获得的人体器官内部组织影像，包括CT图像、MRI图像以及超声成像等。随着医疗技术的发展，医学影像在疾病诊断、评估治疗等方面发挥着重要作用。医学影像检索指从已有的医学影像数据中找到与输入的影像最相似或最相关的影像集，该方法对于疾病的辅助诊断和治疗具有重要意义。传统的医学影像检索方法只能抽取单尺度的图像数据特征，目前的深度哈希检索方法能学习复杂的特征表征，但医学影像的多模态性和有限的样本量影响了检索准确性和有效性。

近日，国家生物信息中心赵文明团队开发了深度注意力融合哈希模型的医学影像检索方法DAFH（Deep Attention Fusion Hashing Model，简称DAFH），并以“Deep Attention Fusion Hashing (DAFH) Model for Medical Image Retrieval”为题在学术期刊Bioengineering 在线发表。

DAFH通过使用多模态的医学影像数据进行训练，并使用三元网络模型融合注意力特征和中间层特征，提高医学影像的检索性能。DAFH收集了公共癌症影像归档库（The Cancer Imaging Archive，TCIA）中913个病人10种不同癌症类型的535,948张医学影像数据，通过对影像数据进行格式转化、数据清洗，获得高质量的医学影像数据，并进行图像数据增强。DAFH使用EfficientNet为骨干网，提取初步图像特征，同时使用卷积注意力模块（Convolutional Block Attention Module, CBAM）提取图像的空间特征信息和中间层特征，并进行特征融合，最后将这些连续的图像特征映射成哈希码，实现基于深度哈希算法的影像检索方法。该模型的前10次平均准确率均值MAP@10在哈希码长度为16，32和48时，分别达到0.711，0.754和0.762，均高于已有的医学影像检索方法。首次检索平均准确率均值MAP@1在32哈希码长度时可达到0.745。混淆矩阵分析显示，DAFH在肺腺癌,导管腺癌, 宫颈鳞癌和腺癌上具有很高的MAP@1检索准确率，可以达到85%以上。

DAFH已整合应用至赵文明团队于2023年10月发布的医学影像归档库OBIA中。用户上传一张医学影像图片，即可在OBIA库中检索得到相似的医学影像结果集。

国家生物信息中心硕士研究生吴港澳为本文第一作者，唐碧霞高级工程师和赵文明正高级工程师为共同通讯作者。本工作得到国家重点研发计划，中国科学院先导项目资助。

DAFH模型框架图

论文链接