近红外静脉显像方法及系统

ComputerScienceandApplication计算机科学与应用,2018,8(2),166-172PublishedOnlineFebruary2018inHans.://doi.org/10.12677/csa.2018.82020文章引用:张嘉奇,黄卓然,孙超良,崔笑宇.近红外静脉显像方法及系统[J].计算机科学与应用,2018,8(2):166-172.DOI:10.12677/csa.2018.82020NearInfraredVenousImagingMethodandSystemJiaqiZhang,ZhuoranHuang,ChaoliangSun,XiaoyuCui*SINO-DUTCHBiomedicalandInformationEngineeringSchool,NortheasternUniversity,ShenyangLiaoningReceived:Jan.23rd,2018;accepted:Feb.16th,2018;published:Feb.23rd,2018AbstractThispaperinvolvesanear-infraredvenousimagingsystemandmethod.ThisprogramusestheZedboarddevelopmentboardtakingZynq-7000seriesofFPGAandtheA9dual-coreARMofXi-linxcompanytobuildupimageprocessingcircuits.Afterthenear-infraredcameracatchesfigures,theyweresentthroughtheUSBportintoFPGAontheSOCsystemforimagefiltering,enhance-mentandsegmentation.ByusingtheexcellentparallelprocessingspeedofFPGA,theprocessingcanbefinishedquickly,figureswillbetransmittedviaHDMIport,LightCraft4500interfacecon-trollerintoDMDchipprojector,eventuallyDMDprojectorwillprojecttheseprocessedvenousfiguresonopisthenarinrealtimeviathelightpath,soastoachievethepurposeofaccurateposi-tionofveins.Thisdeviceandthemethodhavethecharacteristicsoflowcost,lowpowerconsump-tion,realtimeandsimpleoperation.KeywordsVenousImaging,Infrared,SystemonChip,EmbeddedVision近红外静脉显像方法及系统张嘉奇，黄卓然，孙超良，崔笑宇*东北大学中荷生物医学与信息工程学院，辽宁沈阳收稿日期：2018年1月23日；录用日期：2018年2月16日；发布日期：2018年2月23日摘要本文提出一种近红外静脉显像装置及方法。采用搭载Xilinx公司Zynq-7000系列FPGA和Cortex-A9双核*通讯作者。张嘉奇等DOI:10.12677/csa.2018.82020167计算机科学与应用ARM的Zedboard开发板搭建图像处理通路，将近红外摄像头采集到的近红外图像，经USB口传输到SOC系统的FPGA上进行图像处理，利用FPGA优异的并行处理速度，可以快速完成滤波、增强、分割等处理流程，处理后的图像经HDMI口传输到以LightCraft4500接口控制电路和DMD芯片共同组成的投影仪中，最终由DMD投影仪将处理后的实时静脉图像经组合光路重新投回到手背表面，实现精确定位静脉血管位置的目的。本装置及方法具备低成本，低功耗，实时显像，操作简单的特点。关键词静脉显像，近红外，片上系统，嵌入式视觉Copyright©2018byauthorsandHansPublishersInc.ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY).引言静脉注射、采血和输血是现代医学中抢救和治疗的重要手段，但由于血管深度、脂肪组织、皮肤色素、血管内血容量等生理因素的不同，对于一些静脉血管不明显的患者，如新生儿、儿童、肥胖人群、老年人、大出血病人及某些肤色较深的人群，即使是熟练的护士，仅靠肉眼也很难准确地找到静脉所在位置，往往要经过多次操作才可以定位成功[1]。这不仅会增加病人的痛苦，而且在某些急诊救治等紧急情况下,每延误一次时机都可能造成严重的后果。近红外光(波长为700nm~900nm)对人体组织穿透深度强于可见光，且静脉血液中脱氧血红蛋白对近红外光能量吸收明显高于脂肪和黑色素等血管周边组织[2][3][4]，因此，采用近红外光成像的方法可以显著提高静脉血管与周围组织的对比度，得到比较清晰的静脉结构图像[5][6][7][8]。2.系统结构将拍摄到的目标红外光图像进行增强、去噪、分割等图像处理后，重新投影回到目标位置，即可实现近红外显像功能。图像处理速度和投影位置的准确程度是保证静脉显像系统实用性的基础，因此，本文选择采用基于片上系统(SOC)的芯片作为核心处理器，利用ARM+FPGA结构搭建图像处理通路，从而实现静脉图像的实时处理与投影。本文将整个系统分成图像采集模块、图像处理模块和图像投影模块。系统总体设计如图1所示。2.1.图像采集模块本系统将近红外滤光片及可见光-近红外滤光片切换装置加装在传统CMOS摄像头的镜头下，并且在摄像头的四周加装了近红外光源。经改进后该摄像头可以根据外部光线信号或内部触发信号切换可见光滤光片或近红外滤光片，进而控制进入摄像机镜头的光线模式。此图像采集模块可以采集自然光图像和近红外光图像。由于自带近红外光源，可以无需暗室环境，在有自然光影响的情况下直接采集图像，有效地提升了系统的便利性。系统所用摄像头的参数如表1所示。2.2.图像处理模块图像处理模块由搭载了双核ARM和FPGA的Zedboard开发板为核心，由于Zedboard是一个完整的SOC系统，故本系统及方法将利用双核ARM来运行SD卡中烧制好的Linux系统，再由FPGA来加速OpenAccess张嘉奇等DOI:10.12677/csa.2018.82020168计算机科学与应用Figure1.NearInfraredSelf-registrationVenousImagingSystemandMethod图1.近红外自配准静脉显像系统设计示意图Table1.Themainparameterofimageacquisitionmodule表1.图像采集模块主要参数概览参数感光芯片类型CMOS像素尺寸3.45μm分辨率@帧率1280*720@100fps相机供电USB5V供电，功耗小于2.5W触发模式硬件触发/软件触发曝光时间12μs~13s光谱响应380nm~1050nm执行图像处理算法流程，最终处理好的图像将由HDMI接口输出到DMD投影仪。图像处理模块搭建过程中使用了VIVADO开发平台，利用其自定义图像处理的IP核，层次化器件编辑器和布局规划器搭建ARM与FPGA之间的核心处理通路，具体内部逻辑如图2所示。2.3.图像投影模块图像处理模块采用TI公司的数字微镜器(DigitalMicro-mirrorDevice，DMD)，型号为LightCraft4500，由可见光光源和光学透镜组构成。DMD是一种新型的全数字化光调制和编码器件(如图3所示)，它将上百万片反射镜集成在同一块芯片之上。可以通过控制每个反射镜的翻转调制光路，整个芯片的大小和一块CCD传感器相当，配合光源使用，可以实现微小体积投影功能。本文利用DMD芯片的特性，搭建了如图4所示的系统光路图。其中，图像采集单元使用CMOS摄像头配合850nm红外滤光片采集人体手背近红外图像，之后通过图像处理单元实现静脉血管的分割和提取，最后使用DMD编码，将血管图像以440nm的蓝光重新投影到手背上，从而实现静脉显像功能。2.4.整体结构与显像结果理论试验阶段的光路图通过Zemax,AutoCAD模拟验证后，最终使用金属和有机玻璃搭建成现实实验阶段的系统(如图5所示)，整个系统包括四层分别为：1)图像采集单元；2)投影反射层；3)图像投影层；4)载物层。通过调整相机、投影、平面镜及载物台的位置，使经过图像处理后的血管重新投影回手背上，并通过微调光路使投影位置完全重合，从而实现静脉显像功能，最终实验结果如图6所示。近红外静脉显像系统图像采集模块图像处理模块图像投影模块张嘉奇等DOI:10.12677/csa.2018.82020169计算机科学与应用Figure2.Zedboardinternallogicdiagram图2.Zedboard内部逻辑图Figure3.DMDChipand3DPrintingholder图3.DMD芯片及3D打印支架Figure4.Theopticalpathdiagramofthetheoreticaltestphase图4.理论试验阶段的光路图DMDLED850nmLED850nmLED张嘉奇等DOI:10.12677/csa.2018.82020170计算机科学与应用Figure5.NearInfraredSelf-registrationVenousImagingSystem图5.近红外自配准静脉显像系统Figure6.Actualeffectdisplay图6.实际效果展示3.图像处理流程图像处理算的IP核是通过VIVADO及VIVADOHLS软件进行编写。近红外自配准静脉显像系统的图像处理流程(如图7所示)，包括以下步骤：1)图像分割：红外摄像头捕捉人体静脉图像，进行初步分割，提取静脉图像，分割静脉血管；2)直方图均衡：利用图像直方图对对比度进行调整，增强静脉血管的对比度；3)卷积处理：对静脉血管做锐化，以突出静脉血管边缘与图像其他部分的灰度级跳变；使静脉血管的边缘灰度级跳变明显，为静脉血管的提取做好预处理；4)sobel边缘检测：对锐化后的血管图像采用垂直sobel边缘提取算法，辅助以45˚角的sobel边缘检测，准确确定静脉边界；张嘉奇等DOI:10.12677/csa.2018.82020171计算机科学与应用Figure7.Imageprocessingflowchart图7.图像处理流程图5)形态学操作：利用形态学闭操作去除血图像中的孔洞噪声，填充孔洞；利用形态学连通域方法连通静脉小块缺失区域，去除边界产生的干扰，使血管连续可见；6)血管染色：对去噪后的静脉血管图像染色，使投影出的图像颜色与患者原肤色有明显差异，便于使用者分辨静脉位置；7)近红外摄像头的微控制器发出近红外滤光片–可见光滤光片切换装置触发信号，使滤光片进行切换来获得投影图像与静脉图像，将两幅图像在微控制器中进行特征点匹配，确保重投影的静脉图像精准的投射到实际静脉所在位置。步骤1)中，图像分割算法为：将红外图像转换成灰度图像，利用各向同性非抽样小波变换算法对皮下静脉进行初步分割，去除背景和部分噪声；各向同性非抽样小波变换算法分为小波分解和图像重建，在小波分解过程中，小波范围图像为011101iiCIiChi−−=⊗=其中0I为原图像，1ih−为多范围卷积核函数，i为分解级数；小波分解图像：11iiiWCC++=−；通过重复以上小波分解过程，获得不同小波