林建武

个人信息

参与实验室科研项目

研究课题

基于深度学习的跨模态行人重识别研究。行人重识别是利用计算机视觉判断某一行人是否在多监控摄像头下出现过的技术。传统行人重识别只关注可见光摄像头拍摄的行人，然而，可见光摄像头在黑暗环境中不能拍摄到清晰的行人图像，红外摄像头却能在黑暗环境中正常工作。研究RGB-IR跨模态行人重识别的目的是为了解决单一可见光模态行人重识别在黑暗环境中无法工作的问题，拓展了行人重识别的应用场景，在安防监控、智能视频监控领域有重要的应用价值。

参与/负责个人科研项目

2018 林建武 李灏 建龙基金 “多视频源智能监控和回放记录系统”

学术成果

共撰写/参与撰写专利 7 项，录用/发表论文 3 篇，投出待录用论文0篇。

patent

1. 一种基于中层特征扩展卷积网络的农作物病害分析方法 赵云波, 李灏, and 林建武 2022 [Abs] [pdf]

   基于中层特征扩展卷积网络的农作物病害分析方法，首先对数据进行清洗，将数据集分为训练集和测试集，比例按照9:1的比例来分配。并对dataloader进行相应编写；然后构建Bottleneck模块和构建中层特征扩展模块，基于这两种模块构建构建特征提取深度卷积神经网络；对训练图片进行数据增强、标准化，先用大的学习率预训练模型，再用小的学习率和权重衰减微调模型。最后通过读取农作物图片作为模型输入，并保存模型输出信息的方式，实现用中层特征扩展深度卷积神经网络对农作物病害进行有效、迅速的识别。

2. 一种基于多线程的多摄像头实时检测方法 赵云波, 李灏, 林建武, and 宣琦 2022 [Abs] [pdf]

   基于多线程的多摄像头实时检测方法，首先加载基于 ResNet50 和三重损失 函数的行人重识别网络，构建检测人脸库，采用 face_recognition 库提取人脸库的 特征向量，之后开始构建多线程系统，应用 multiprocess 库中的 Queue 构建队列， 并采用 daemon 守护进程，之后通过 Yolo3 将人物定位并用 Opencv 裁剪出来，之后 使用 face_recognition 库中的识别模块进行识别，若无人脸则采用行人重识别网络 进行识别，最后通过多线程并行处理，可以在监控视频中对多个摄像头中 的目 标进行实时检测。

3. 一种基于轻量化的多任务卷积神经网络的导购行为分析方法 赵云波, 林建武, 李灏, and 宣琦 2021 [Abs] [pdf]

   基于轻量化的多任务卷积神经网络的导购行为分析方法，首先对数据进行 清洗，除去不利于神经网络收敛的图片；然后构建带残差和不带残差结构的两 种Bottleneck模块函数， 基于这两种Bottleneck构建轻量化的多任务卷积神经网 络；对训练图片进行数据增强、归一化，先用大的学习率预训练模型，再用小 的学习率微调模型。最终实现用轻量化多任务卷积神经网络对导购的行为进行 有效、快速的识别。

4. 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法 赵云波, 林建武, 李灏, and 宣琦 2021 [Abs] [pdf]

   基于yolo和多任务卷积神经网络的导购消极行为监控方法，首先训练一个 基于yolo的行人检测模型，用ImageNet和voc2007数据集预训练模型，再用监控 场景图像微调模型；然后构建一个基于ResNet50的多任务卷积神经网络，用手 工标注过的多标签图像数据训练该网络；接着用rtsp协议读取商场监控画面， 用行人检测模型检测画面中的行人，而后将行人图像输入到多任务卷积神经网 络，识别行人是否为导购，是否闲坐， 是否在玩手机，以此判断导购是否存在 消极行为，并将“严重消极”和“一般消极”的导购画面保存在本地。最终实 现用基于yolo的行人检测网络和多任务卷积神经网络对导购消极行为进行有效 的监控和记录。

5. 一种基于密集网络的多任务卷积神经网络的顾客行为分析方法 赵云波, 李灏, 林建武, and 宣琦 2021 [Abs] [pdf]

   基于密集网络的多任务卷积神经网络的顾客行为分析方法 ，首先对数据进 行清洗，分为训练测试集并对dataloader进行相应编写；然后构建Dense_Block 模块和Transition_layer模块，基于这两种模块构建密集网络的多任务卷积神 经网络；对训练图片进行数据增强、标准化，先用大的学习率预训练模型，再 用小的学习率和权重衰减微调模型。最终实现用密集网络多任务卷积神经网络 对顾客的行为进行有效、迅速的识别。本发明使用单个神经网络完成对商场店 铺中的顾客行为分析，提升店铺自身能力；本发明使用密集网络的卷积神经网 络，对顾客的多个属性进行同时分析，提升使用效率。

6. 一种基于人脸识别与行人重识别的特定目标跟踪方法 赵云波, 林建武, and 李灏 2021 [Abs] [pdf]

   基于人脸识别与行人重识别的特定目标跟踪方法，首先训练基于特征融合 与三重损失函数的行人重识别神经网络，建立追踪目标人脸库，人脸识别模块 提取人脸库的人脸特征向量；然后检测监控画面中的行人，人脸识别模块提取 监控画面中行人人脸特征，与人脸库特征向量比对相似度，人脸识别成功则保 存由行人重识别模型得到的行人特征至行人库。人脸识别失败则进行行人重识 别，比对行人特征与行人特征库的相似度。行人重识别成功则保存相似度高的 行人特征至行人库，行人重识别失败则利用上下帧的时空相关性确定行人的身 份。最终实现在监控中对特定目标实时、有效的跟踪。

7. 一种基于困难五元组的跨模态行人重识别方法 赵云波, 林建武, 唐敏, and 李灏 [Abs]

   基于困难五元组的跨模态行人重识别方法，首先构建跨模态行人重识别模型，使用卷积神经网络提取图像特征，嵌入特征连接身份损失和排序损失，用单模态行人重识别数据集进行预训练；然后对训练批次图像进行选取，使用已有的单模态行人重识别网络进行行人特征提取，根据输入图像的特征向量构建困难五元组，困难五元组损失函数联合身份损失函数进行训练。最终在跨模态行人重识别数据集SYUS-MM01上实现优越的精度。本发明将单一模态行人重识别迁移至跨模态行人重识别任务中，可扩展性、便利性高；收敛速度快、精度高。

Journal Articles

1. 基于改进困难三元组损失的跨模态行人重识别框架 李灏, 唐敏, 林建武, and 赵云波 计算机科学 2020 [Abs] [doi] [pdf]

   为了提升跨模态行人重识别算法识别精度，提出了一种基于改进困难三元组损失特征学习框架。首先，改进了 传统困难三元组损失，使其转换为全局三元组损失。其次，基于跨模态行人重识别中存在模态间变化及模态内变化问 题，设计模态间三元组损失及模态内三元组损失配合全局三元组损失进行模型训练。在改进困难三元组损失基础上， 首次在跨模态行人重识别模型中设计属性特征来增加模型提取特征能力。最后，针对跨模态行人重识别中出现类别失 衡问题，首次引用Focal Loss 替代传统交叉熵损失进行模型训练。相比现有算法，在RegDB 数据集实验中，本文框 架在各项指标中均有1.9%-6.4%的提升。另外，通过消融实验也证明了三种方法均能提升模型特征提取能力。

2. HPILN: A Feature Learning Framework for Cross-Modality Person Re-Identification Yun-Bo Zhao , Jian-Wu Lin, and Xu-Gang Xi IET Image Process. 2019 [Abs] [doi] [pdf]

   Most video surveillance systems use both RGB and infrared cameras, making it a vital technique to re-identify a person cross the RGB and infrared modalities. This task can be challenging due to both the cross-modality variations caused by heterogeneous images in RGB and infrared, and the intra-modality variations caused by the heterogeneous human poses, camera position, light brightness etc. To meet these challenges, a novel feature learning framework, hard pentaplet and identity loss network (HPILN), is proposed. In the framework existing single-modality re-identification models are modified to fit for the cross-modality scenario, following which specifically designed hard pentaplet loss and identity loss are used to increase the accuracy of the modified cross-modality re-identification models. Based on the benchmark of the SYSU-MM01 dataset, extensive experiments have been conducted, showing that the authors’ method outperforms all existing ones in terms of cumulative match characteristic curve and mean average precision.

Conference Articles

1. Detection of Distracted Driving Based on Multi-Granularity and Middle-Level Features Min Tang, Fang Wu, Li-Li Zhao, Qi-Peng Liang, Jian-Wu Lin, and Yun-Bo Zhao In 2020 Chin. Autom. Congr. CAC 2020 [Abs] [doi] [pdf]

   A so-called MGMN (Multiple-GranularityMiddle Network) algorithm is proposed to improve the detection accuracy of distracted driving, based on multigranularity features and middle-level features. The algorithm is derived from the ResNet50 neural network and is the first time to use multi-granularity features and mid-level features of images in the field of distracted driving detection. The multigranularity feature extraction module consists of three branches: the global branch to learn the global features without local information, the second branch to divide the image level into two parts and later to learn the local features of the upper and lower parts, and the third branch to divide the image level into three parts, and later to learn the local features of the upper, middle and lower parts. By extracting the features of the middle layer of the image, the feature extraction of the algorithm is enriched. While the multi-granularity features are individually input to the cross-entropy loss function, the multi-granularity features of the image and the middle-level features are combined and input into the cross-entropy loss function. The proposed algorithm has an accuracy of 99.8% on the dataset "Districted-DriverDetection" published by State Farm Company, which is 1.5% to 3% higher than existing algorithms, and an improved accuracy of 98.7% on the dataset "AUC-Districted-Driver-Detection".

学位论文

Theses

1. 基于深度学习的跨模态行人重识别研究 林建武 浙江工业大学, 杭州 2020 [Abs] [pdf]

   行人重识别在安防领域有重要的应用，而跨模态行人重识别可以在异质数 据中匹配相同身份的行人，可以解决全天候监控的问题。相比于手工设计的特 征匹配方法，基于深度学习的跨模态行人重识别算法在精度、鲁棒性方面都有 很大的提升，因此基于深度学习的跨模态行人重识别算法在学术界和产业界引 起了广泛关注。 本文针对跨模态行人重识别任务，从神经网络结构、损失函数两个方面对 基于深度学习的跨模态行人重识别算法进行分析与设计。与现有论文相比，本 文设计的方法在跨模态行人重识别的两个公开数据集 SYSU-MM01 和 RegDB 中 取得了领先的精度。本文的主要工作包括以下三个方面： (1) 设计了一种基于困难五元组的特征提取框架，该框架具有高精度、可 扩展性的特点。该框架使用改进的单模态行人重识别网络作为特征提取模块， 现有的单模态行人重识别模型相比于分类网络有更强的特征提取能力，同时具 有高度可扩展性。此外，本文设计了困难五元组损失函数以及相应的困难五元 组采样方法。困难五元组损失函数由全局三元组和跨模态三元组损失函数组成， 前者同时处理了模态内变化和模态间变化，由于模态间变化更大，后者增强前 者对模态间变化的关注力度，该损失函数在训练效率、精度等方面有显著提高。 在该框架中，我们级联困难五元组损失和身份损失函数，进一步提升了精度。 (2) 设计了一种基于多粒度特征的双通道网络。两个通道由两个结构相同但 参数不共享的特征提取模块构成，两个特征提取模块分别提取红外图像与可见 光图像的行人特征，每个特征提取模块由一个全局特征分支和两个局部特征分 支组成，融合全局特征和局部特征的策略使网络具有提取多粒度特征的能力， 使模型可以关注到行人不同部位的细节特征。最后通过身份损失和异质中心损 失函数来提升特征向量的判别性。 (3) 设计了一种基于梯度协调机制的身份损失函数，一定程度上缓解了易 样本和由于模态差异过大造成的离群点对模型训练的影响。在模型结构不变的 情况下，通过梯度协调机制辅助身份损失来提升训练结果，该方法具有扩展性。

毕业去向

杭州华为研究所， 软件开发工程师