基于深度哈希网络的肺结节CT相似图像检索方法研究

郝瑞; 秦亚雪; 甄俊平; 强彦

doi:10.13471/j.cnki.j.sun.yat-sen.univ(med.sci).2022.0419

您当前的位置：

首页 >

文章列表页 >

基于深度哈希网络的肺结节CT相似图像检索方法研究

技术研究 | 更新时间：2024-02-19

- 基于深度哈希网络的肺结节CT相似图像检索方法研究
- CT Image Retrieval for Pulmonary Nodules Based on Deep Hashing Network
- 中山大学学报（医学科学版） 2022年43卷第4期页码：667-674
- 作者机构：
  
  1.山西财经大学信息学院，山西太原 030006
  2.山西财经大学管理科学与工程学院，山西太原 030006
  3.山西医科大学第二医院医学影像科，山西太原 030001
  4.太原理工大学信息与计算机学院，山西太原 030600
- 作者简介：
  
  HAO Rui；E-mail：sxtytutu@163.com
- 基金信息：
  
  国家自然科学基金(61373100;61872261);中国博士后科学基金(186544);山西省自然科学基金(201901D111319)
- DOI：10.13471/j.cnki.j.sun.yat-sen.univ(med.sci).2022.0419
  中图分类号： R445
- 收稿：2022-02-13，
  
  纸质出版：2022-07-20
- 稿件说明：
移动端阅览
郝瑞,秦亚雪,甄俊平等.基于深度哈希网络的肺结节CT相似图像检索方法研究[J].中山大学学报（医学科学版）,2022,43(04):667-674.

HAO Rui,QIN Ya-xue,ZHEN Jun-ping,et al.CT Image Retrieval for Pulmonary Nodules Based on Deep Hashing Network[J].Journal of Sun Yat-sen University(Medical Sciences),2022,43(04):667-674.
郝瑞,秦亚雪,甄俊平等.基于深度哈希网络的肺结节CT相似图像检索方法研究[J].中山大学学报（医学科学版）,2022,43(04):667-674. DOI： 10.13471/j.cnki.j.sun.yat-sen.univ(med.sci).2022.0419.

HAO Rui,QIN Ya-xue,ZHEN Jun-ping,et al.CT Image Retrieval for Pulmonary Nodules Based on Deep Hashing Network[J].Journal of Sun Yat-sen University(Medical Sciences),2022,43(04):667-674. DOI： 10.13471/j.cnki.j.sun.yat-sen.univ(med.sci).2022.0419.

摘要

目的

肺结节图像具有相似度高和关联度高等特点，但传统图像哈希方法不能完整表达图像内容和语义信息导致检索的精度下降，因此，探讨一种基于深度哈希学习的肺结节CT相似图像检索方法。

方法

采用LIDC-IDRI公开数据集，首先，通过构造加入注意力机制的卷积神经网络与双向长短期记忆网络提取肺结节图像中带有权重信息的图像区域特征与区域间上下文相关信息，并将两种网络提取的深度特征进行融合，通过全连接层过渡到哈希层，实现哈希码的有效映射；其次，采用分级检索策略，利用本文的深度网络预测待查询图像的标注信息以获取对应的类库，在类内检索得到一组具有相似哈希码的候选对象构成候选池，然后根据池内图像高层语义特征进行相似度排序获取相似的肺结节图像列表。

结果

通过对公开数据集LIDC-IDRI进行实验分析，本文所提方法的平均检索精度提高到91.00%；与其他模型相比，准确率、召回率均有明显提升。

结论

本文构建了一种基于深度哈希网络的肺结节CT相似图像检索方法，该方法对肺结节病灶检索性能优于传统方法，可为临床医学诊断提供一定的参考价值。

Abstract

Objective

Pulmonary nodule images have the characteristics of high similarity and high correlation， but traditional hashing algorithms cannot fully express the image content and semantic features， which leads to a decrease in retrieval accuracy. Therefore， this paper proposes a method for retrieving similar images of pulmonary nodules based on deep hashing network.

Methods

Using a public data sets LDC-IDRI to expose. Firstly， the attention mechanism was added to the convolutional neural network （CNN） and the bidirectional long-short-term memory network （BiLSTM） to obtain the regional features and inter-regional context-related information of lung nodule images with weight information， and the features extracted by the two kinds of network were fused， and then the effective mapping of hash codes was achieved through the full connection layer to the hash layer. Secondly， a hierarchical retrieval strategy was used. The annotation information of the image to be queried was predicted by using the deep hashing network to obtain the corresponding class library， and a set of candidates was retrieved with similar hash codes within the class. Then， similarity ranking was performed based on the high-level semantic features of the images in the set of candidates for final search results.

Results

Through experimental analysis of a public data set， LIDC-IDRI， the average retrieval accuracy of the proposed method was increased to 91.00%. Compared with other models， the accuracy and recall rate have been significantly improved.

Conclusions

In this study， a similar image retrieval for pulmonary nodules based on deep hashing network was proposed. The retrieval performance of this method for pulmonary nodule lesions was better than that of traditional methods， which could provide a reference value for clinical diagnosis.

关键词

Keywords

references

Siegel RL ， Miller KD ， Fuchs HE ， et al . Cancer statistics， 2021 ［J］. CA Cancer J Clin ， 2021 ， 71 （ 1 ）： 7 - 33 .

郑海莲，宋亭，唐文艳，等 . CT在婴幼儿先天性肺畸形的诊断价值［J］. 中山大学学报（医学科学版）， 2020 ， 41 （ 6 ）： 959 - 966 .

Zhang HL ， Song T ， Tang WY ， et al . Diagnostic value of CT in infantile congenital lung malformation ［J］. J Sun Yat-sen Univ （Med Sci）， 2020 ， 41 （ 6 ）： 959 - 966 .

Chen G ， Zhang J ， Zhuo D ， et al . Identification of pulmonary nodules via CT images with hierarchical fully convolutional networks ［J］. Med Biol Eng Comput ， 2019 ， 57 （ 7 ）： 1567 - 1580 .

朱洪章，冯玉，杨有优，等 . 计算机辅助检测系统在数字化X线胸片肺结节筛查的临床应用［J］. 中山大学学报（医学科学版）， 2017 ， 38 （ 4 ）： 614 - 617 .

Zhu HZ ， Feng Y ， Yang YY ， et al . Clinical application of computer-aided detection system for pulmonary nodules on digital chest radiography ［J］. J Sun Yat-sen Univ （Med Sci）， 2017 ， 38 （ 4 ）： 614 - 617 .

Granty REJ ， Kousalya G . Spectral-hashing-based image retrieval and copy-move forgery detection ［J］. Aust J Forensic Sci ， 2016 ， 48 （ 6 ）： 643 - 658 .

冯小康，彭延国，崔江涛，等 . 基于最优排序的局部敏感哈希索引［J］. 计算机学报， 2020 ， 43 （ 5 ）： 930 - 947 .

Feng XK ， Peng YG ， Cui JT ， et al . Locality sensitive hashing index based on optimal linear order ［J］. Chin J Computers ， 2020 ， 43 （ 5 ）： 930 - 947 .

Jacobs C ， Rikxoort EV ， Murphy K ， et al . Computer-aided detection of pulmonary nodules： a comparative study using the public LIDC/IDRI database ［J］. Eur Radiol ， 2016 ， 26 （ 7 ）： 2139 - 2147 .

Zuo Z ， Shuai B ， Wang G ， et al . Convolutional recurrent neural networks： learning spatial dependencies for image representation ［C］// Computer vision & pattern recognition workshops . IEEE ， 2015 ： 18 - 26 .

孙文杰，牟少敏，董萌萍，等 . 基于卷积循环神经网络的桃树叶部病害图像识别［J］. 山东农业大学学报（自然科学版）， 2020 ， 51 （ 6 ）： 998 - 1003 .

Sun WJ ， Mou SM ， Dong MP ， et al . Image recognition of peach leaf diseases based on convolutional recurrent neural network ［J］. J Shandong Agricultural Univ （Nat Sci ）， 2020 ， 51 （ 6 ）： 998 - 1003 .

Guo J ， Zhang S ， Li J . Hash learning with convolutional neural networks for semantic based image retrieval ［C］// Pacific-Asia conference on knowledge discoveryand data mining . Springer International Publishing ， 2016 ： 227 - 238 .

Lai L ， Liu G ， Liu Q . Advancing iterative quantization Hashing using isotropic prior ［J］. Springer ， Cham ， 2016 ： 174 - 184 .

Norouzi ME ， Fleet DJ . Minimal loss Hashing for compact binary codes ［J］. Nips ， 2011 ： 353 - 360 .

Peng T ， Zhao Y ， Ke S . Image retrieval based on convolutional neural network and kernel-based supervised hashing ［C］// 2015 8th international congress on image and signal processing （CISP） . IEEE ， 2016 ： 544 - 549 .

Xia R ， Pan Y ， Lai H ， et al . Supervised Hashing for image retrieval via image representation learning ［C］. //Proceedings of the twenty-eighth AAAI conference on artificial intelligence and the twenty-sixth innovative applications of artificial intelligence conference： 27- 31 July ， 2014 ， Quebec Ciry， Quebec， Canada ， 2014： 2156 - 2162 .

Lin K ， Yang HF ， Hsiao JH ， et al . Deep learning of binary Hash codes for fast image retrieval ［C］// IEEE conference on computer vision & pattern recognition workshops . IEEE ， 2015 ： 27 - 35 .

Lai H ， Pan Y ， Ye L ， et al . Simultaneous feature learning and hash coding with deep neural networks ［C］// IEEE . IEEE ， 2015 ： 3270 - 3278 .

唐智贤，王一淼，周靓怡，等 . 人工智能技术在肺部影像辅助诊断中的应用进展［J］. 中国医学物理学杂志， 2022 ， 39 （ 5 ）： 655 - 660 .

Tang ZX ， Wang YM ， Zhou LY ， et al . Application progress of artificial intelligence in lung imaging assisted diagnosis ［J］. Chin J Med Physics ， 2022 ， 39 （ 5 ）： 655 - 660 .

浏览量

301

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

酶消化法结合人工智能技术在法医学溺死硅藻检验中的应用

基于CT影像特征预测COVID-19患者肺部病变进展

计算机辅助检测系统在数字化X线胸片肺结节筛查的临床应用