恭喜实验室刘新富,师广琛论文被IEEE IoTJ录用

Edge Computing Driven Active-Reference Fusion for Few-Shot Semantic Segmentation IEEE Internet of Things Journal(中科院1区Top,河海高水平A)

随着少样本语义分割(Few-shot Semantic Segmentation)的发展,目前可以通过少量标注数据来预测各种未见过的类别。然而,基于大型语言模型的现有方法存在计算成本过高的问题,这使得这些方法在特定场景下显得不充分且不可靠。随着边缘计算技术的进步,大部分计算任务可以分配给边缘服务器,从而减轻整个系统的计算压力。为了获得效率、安全性和灵活性,我们提出了一种用于少样本分割的边缘计算主动参考框架(Edge Computing Active-Reference, ​​ECAR​​)。该框架包含一个掩码预测模块(Mask Prediction Module, ​​MPM​​) 和一个迭代融合与精炼模块(Iterative Fusion&Refinement Module, ​​IFRM​​)。具体来说,我们在 MPM 中提出了一种​​交互式分割策略​​。该策略不仅能够精确定位支持图像和查询图像​​中共同出现的共生对象​​,而且放宽了对像素级标注的严苛要求,​​允许进行弱边界标注​​。基于 MPM 计算出的初始结果,IFRM 通过一个​​少样本通道注意力机制​​,增强了与支持图像相关的特征通道信息,同时​​迭代地精炼分割掩码​​以获得更紧凑的边界。在 K-shot 分割任务中,我们进一步提出了一个​​类别调制模块(Category-Modulation Module, CMM)​​,用于融合从多个标注帧中提取的特征,从而​​滤除无用信息并增强有效信息​​。实验结果表明,ECAR 框架显著提升了在边缘设备上进行少样本语义分割的性能,在 1-shot 和 5-shot 设置下分别达到了 ​​64.8%​​ 和 ​​68.9%​​ 的平均交并比(mIoU)。

巫义锐
巫义锐
青年教授, CCF 高级会员

My research interests include Computer Vision, Artifical Intelligence, Multimedia Computing and Intelligent Water Conservancy.