恭喜实验室刘新富,师广琛论文被IEEE IoTJ录用
Edge Computing Driven Active-Reference Fusion for Few-Shot Semantic Segmentation IEEE Internet of Things Journal(中科院1区Top,河海高水平A)
随着少样本语义分割(Few-shot Semantic Segmentation)的发展,目前可以通过少量标注数据来预测各种未见过的类别。然而,基于大型语言模型的现有方法存在计算成本过高的问题,这使得这些方法在特定场景下显得不充分且不可靠。随着边缘计算技术的进步,大部分计算任务可以分配给边缘服务器,从而减轻整个系统的计算压力。为了获得效率、安全性和灵活性,我们提出了一种用于少样本分割的边缘计算主动参考框架(Edge Computing Active-Reference, ECAR)。该框架包含一个掩码预测模块(Mask Prediction Module, MPM) 和一个迭代融合与精炼模块(Iterative Fusion&Refinement Module, IFRM)。具体来说,我们在 MPM 中提出了一种交互式分割策略。该策略不仅能够精确定位支持图像和查询图像中共同出现的共生对象,而且放宽了对像素级标注的严苛要求,允许进行弱边界标注。基于 MPM 计算出的初始结果,IFRM 通过一个少样本通道注意力机制,增强了与支持图像相关的特征通道信息,同时迭代地精炼分割掩码以获得更紧凑的边界。在 K-shot 分割任务中,我们进一步提出了一个类别调制模块(Category-Modulation Module, CMM),用于融合从多个标注帧中提取的特征,从而滤除无用信息并增强有效信息。实验结果表明,ECAR 框架显著提升了在边缘设备上进行少样本语义分割的性能,在 1-shot 和 5-shot 设置下分别达到了 64.8% 和 68.9% 的平均交并比(mIoU)。