在2022年举办的ACM国际多媒体会议（ACM International Conference on Multimedia）中，复旦大学计算机科学技术学院的池明旻老师及其博士生彭博等人针对当前纺织品纤维成分鉴别技术存在的短板，率先提出了结合近红外信号与显微图像联合建模的新思路。
为了有效地结合近红外光谱信号和图像数据的特征，解决纺织品纤维成分定性和定量分析问题，团队提出了一种融合近红外信号和高清图像的信号与图像关联网络(ISiC-Net)。其设计灵感来自于纺织领域专家的传统成分鉴别过程：即网络可以学习不同材料的近红外信号对应的敏感波段，并在图像中找到与之相关联的局部特征。
具体来说，应用多分支 CNN 来获得层次化 NIR 特征，同时使用 Transformer 编码器来提取子图像的视觉序列。然后将特征输入图像-信号相关感知模块（ISiCP），该感知模块由候选区域生成（CRG）模块和图像-信号双向相关注意力（ISiCA）模块组成。
其中候选区域生成模块通过相似度计算与 NIR 特征进行成对匹配，捕获能够有效反映纺织品物理成分的候选图像区域；在图像信号双向相关注意力模块中，候选图像和近红外特征首先通过评分模块进行匹配，然后通过双向权重来计算信号到图像，图像到信号的全局相关性。接下来，该网络对提取的特征进行解混计算，首先通过可学习的聚类参数生成端元向量，然后经过非线性层进行近红外信号重建。
在实际测试中，收集了五种广泛使用的混纺纤维成分进行实验，其主成分分别为棉(C)，聚酯纤维(P)，粘胶纤维(V)，亚麻(L)，尼龙(N)，其中主成分占混纺织物组成成分的70%以上。通过分析实验结果可知，模型在纺织品主成分分类和五个主成分回归任务中优于所有的单模态方法。同时，在与主流的多模态方法进行比较时，提出的算法在所有子任务中取得了最好的效果。
在进一步实验分析中，可以观察到近红外信号与图像关联性网络所提出的注意力模块可以有效捕获近红外信号和图像局部区域间的关联性，同时，相比于其他方法，该网络可以学习到更好的联合表征。
与现有的基于单模态（图像纹理分析和近红外光谱分析）和多模态的方法相比，该算法在纺织品纤维成分定量分析和定性分析的结果均有显著提高，表明显微图像与近红外信号相结合在纺织品成分鉴别任务中具有很大的潜力。
纺织品纤维成分鉴别是纺织行业中的重要基础环节。近年来，近红外光谱（NIR）技术以及计算机视觉技术已经在纤维成分的无损自动检测中取得一定的应用。然而，相当一部分样本在单一模态数据下难以有效的区分。例如图中两种化学成分相同的天然纤维棉和麻，其近红外光谱非常相似，而在工业相机拍摄的图像中则表现出不同的纹理特征。在涤纶和尼龙的样本中，二者的纹理特征极其相似，但近红外光谱却存在着明显的差异。
