唐敏

个人信息

参与实验室科研项目

人机自主性及其控制权切换策略研究

研究课题

当今世界科技不断发展，人和机器之间的交互和切换也越来越多，人与机器之间的关系不仅仅是简单的使用与被使用，需要人和机器之间有更加默契的合作。该项研究是人与机器的自主性边界及其介入和切换策略，寻找人与机器的切换临界点与切换方法，以实现人机融合。现阶段研究的主要内容为人的自主性边界的确定，也就是需要找到人会出现认知偏差的点，去识别它，在识别的基础上去切换（这是以后的工作）。从认知偏差入手，识别它。目前主要的两个需要解决的问题是：1、如何识别人的认知偏差（什么情况下意味着人产生了认知偏差、认知偏差能够以什么形式的数据体现）；2、如何证明研究结果的正确性（存在人的不确定性、自主性）。

学术成果

共撰写/参与撰写专利 10 项，录用/发表论文 2 篇，投出待录用论文0篇。

patent

1. 一种人机系统中人的状态的识别方法 赵云波, 唐敏, and 赵丽丽 2022 [Abs] [pdf]

   一种人机系统中人的状态的识别方法，含有：步骤 1 ：传感器监测 T 至 T+1 时刻人的动作变化以及机器的输出并且汇集数据到处理器；步骤 2 ：给分类器施 加权重对人的可能处于的状态进行分类，得到概率最大的状态 S K 机器概率 P K ; 步 骤 3 ： T+1 时刻针对不同情况施加测试信号；步骤 4 ：传感器监测 T+1 至 T+2 时刻 人的动作变化以及机器的输出并且汇集数据到处理器。步骤 5 ：将处理后的数据 代入步骤 2 获得的以 P K 和 1-P K 为概率的二项分布中，计算其似然概率，得到人处 于 S K 状态的可能性。本发明解决了在一个人的状态未知但机器的输出可知的人 机系统中对人的状态识别的问题。

2. 一种基于贝叶斯推断的动态数据包打包方法 赵云波, 许德衡, and 唐敏 2022 [Abs] [pdf]

   本发明涉及一种基于贝叶斯推断的动态数据包打包方法，本发明针对使用共享网络进行通信的网络化控制系统中实时优化网络资源使用的问题，解决了网络化控制系统中优化网络资源是无法得到实际网络时延特征的问题。首先，对网络时延进行建模，并对其分布模型中的参数选取先验分布。其次，利用控制系统自身收集的最近历史时延数据，根据贝叶斯推断理论设计了模型的在线学习方法，得到了参数的后验分布。然后，分别从参数的后验分布中采样得到实时的参数值并带入更新时延分布模型。最后，从实时的时延分布模型中计算得到时延上界估计值，并依此来指导控制系统来设计数据包的长度，达到实时优化网络资源使用的目标。

3. 一种基于高斯混合概率假设密度滤波器的多目标航迹提取方法 赵云波, 朱创, 唐敏, and 周庆瑞 2022 [Abs] [pdf]

   一种基于高斯混合概率假设密度滤波器的多目标航迹提取方法，包括：步骤1、高斯分量初始化；步骤2、高斯分量预测；步骤3、高斯分量更新；步骤4、剪枝与合并；步骤5、状态估计；步骤6、航迹生成；本发明赋予每个高斯分量专有标签值，并给出了各目标随时间变化的状态之间的关联关系，最终提取出各目标航迹。同时，针对滤波器在杂波浓度过高下性能下降的问题，本发明通过修改高斯分量更新权值，提取出与目标唯一对应的观测值，以保证航迹的连续性。

4. 一种基于IEEE 802.15.4协议的无线网络化控制系统的调度算法 赵云波, 何江涛, 唐敏, 倪洪杰, and 余世明 2021 [Abs] [pdf]

   一种基于IEEE 802.15.4协议的无线网络化控制系统的调度算法， 包括：步 骤1：计算控制增益序列 K ；步骤2：计算更新截止期限 k i 1 ；步骤3：制定请求采 样协议；步骤4：设计双GTS网络调度算法；步骤5：设计混合网络调度算法。本 发明将一组与时延相关的控制增益引入到传统的自触发控制来计算采样间隔， 降低了控制器的保守性；利用IEEE 802.15.4协议的信标特性制定请求采样的机 制，减轻了能量受限的传感器的负担；根据仅在紧急情况下才使用可靠通信资 源的思想设计网络调度算法。该发明在满足一定的控制性能要求的前提下，能 够较大程度地减轻控制系统对可靠通信资源的依赖性。

5. 一种程序员的疲劳程度的检测方法 赵云波, 唐敏, 赵丽丽, and 吴芳 2021 [Abs] [pdf]

   本发明的 一种程序员的疲劳程度的检测方法，包括：步骤 1 ，传感器监测 T 至 T+1 时刻程序员的头部动作变化以及键盘鼠标的输出并且汇集数据到处理器； 步骤 2 ，利用获得的人的头部动作变化以及键盘鼠标的输出，给分类器施加权重 对人的可能处于的状态进行分类，得到概率最大的状态 S K 机器概率 P K ；步骤 3 ， T+1 时刻施加屏幕弹窗和提示音测试信号；步骤 4 ，传感器监测 T+1 至 T+2 时刻人 的头部动作变化以及键盘鼠标的输出并且汇集数据到处理器；步骤 5 ，代入二项 分布的公式进行计算，步骤二给出了一个可能的概率 P K ，把它看成是先验概率， 在步骤 3 和 4 的基础上进行更新。所以这里用贝叶斯公式进行更新。本发明能够 在一个程序员的状态未知但键盘和鼠标的输出可以获得的情况下的人机系统中 对程序员的疲劳程度识别。

6. 一种基于人的分歧介入的珍珠分拣方法 赵云波, 花婷婷, 王岭人, and 唐敏 [Abs]

   一种基于人的分歧介入的珍珠分拣方法，含有：步骤1：选取独立的两种较为先进、可实现珍珠分拣的神经网络：在服务器上部署ResNet50模型和SE-ResNet50模型，并将它们设置为系统分歧算法；步骤2：利用下载好的珍珠数据集对两个模型进行独立训练，并分别保存最优模型；步骤3：设置一仲裁器，以针对不同的预测输出结果做出相应的处理；步骤4：运用珍珠数据集里的测试集对系统分歧算法进行测试；步骤5：输出最终分类结果。本发明通过两个独立系统的分歧驱动人的介入，纠正其预测输出，从而提升整个珍珠分拣的分类精度。

7. 一种基于多粒度特征与中层特征的分心驾驶检测方法 赵云波, 唐敏, 花婷婷, and 赵丽丽 [Abs]

   一种基于多粒度特征与中层特征的分心驾驶检测方法，含有：步骤1：训练融合多粒度特征与中层特征的分心驾驶检测神经网络；步骤2：运用该神经网络对Distracted–Driver–Detection数据集中的数据进行驾驶员注意力集中状况的测试；步骤3：针对步骤2中的测试结果的准确性来调整该神经网络的步长和学习率并再次进行测试直至测试结果的准确率符合条件；步骤4：通过车载终端摄像头实时获取驾驶员的驾驶状态并上传给训练好的该神经网络；步骤5：该神经网络对获取的图片进行识别后在车载终端显示分心驾驶行为。本发明通过车载终端获取驾驶员驾驶状态图像，上传给基于多粒度特征与中层特征的卷积神经网络CNN识别驾驶员分心驾驶行为。

8. 一种基于图像的电脑操作员的疲劳检测方法 赵云波, 唐敏, 朱创, and 孙悦铖 [Abs]

   一种基于图像的电脑操作员的疲劳检测方法，含有以下步骤：步骤1：针对需要检测电脑操作员的疲劳状态的场景，拍摄照片构建“电脑操作员”数据集，并按照疲劳状态的类型把照片分类；步骤2：用CNN模型Resnet50模型对自建“电脑操作员”数据集中的训练集部分的数据进行训练，模型根据各张图片中电脑操作员的头部动作和面部特征各个像素点之间的距离关系来确定电脑操作员不同疲劳状态的类型的图片对应的特征；步骤3： 运用CNN模型Resnet50模型对自建“电脑操作员”数据集中的训练集部分的数据进行测试，模型根据步骤2中训练过程提取的图片中电脑操作员不同疲劳状态的类型的特征来判断测试集中给出的新的图片中的电脑操作员属于什么疲劳状态；步骤4：针对步骤3中的测试结果的准确性和来调整CNN模型Resnet50模型中的不同的元素对应的权重和步长的大小并再次进行测试直至测试结果的准确率符合条件； 步骤5：将参数调整后的CNN模型部署到带摄像头的计算机系统中运行；步骤6：通过摄像头实时获取电脑操作员的疲劳状态的类型并输出结果。发明通过布置深度学习环境并且调用电脑摄像头，实时获取电脑操作员的头部动作和面部特征，判断电脑操作员的的疲劳状态。

9. 一种基于困难五元组的跨模态行人重识别方法 赵云波, 林建武, 唐敏, and 李灏 [Abs]

   基于困难五元组的跨模态行人重识别方法，首先构建跨模态行人重识别模型，使用卷积神经网络提取图像特征，嵌入特征连接身份损失和排序损失，用单模态行人重识别数据集进行预训练；然后对训练批次图像进行选取，使用已有的单模态行人重识别网络进行行人特征提取，根据输入图像的特征向量构建困难五元组，困难五元组损失函数联合身份损失函数进行训练。最终在跨模态行人重识别数据集SYUS-MM01上实现优越的精度。本发明将单一模态行人重识别迁移至跨模态行人重识别任务中，可扩展性、便利性高；收敛速度快、精度高。

10. 一种基于图像的驾驶员注意力检测方法 赵云波, 唐敏, 吴芳, and 赵丽丽 [Abs]

    本发明的一种基于图像的驾驶员注意力检测方法，含有：步骤1：用轻量化的CNN模型对Distracted – Driver – Detection数据集中的数据进行训练，以提取驾驶员注意力不同情况对应的特征；步骤2：运用该CNN模型对Distracted–Driver–Detection数据集中的数据进行驾驶员注意力集中状况的测试；步骤3：针对步骤2中的测试结果的准确性来调整CNN模型中的权重和步长并再次进行测试直至测试结果的准确率符合条件；步骤4：将参数调整后的CNN模型部署到嵌入式系统中运行；步骤5：通过摄像头实时获取驾驶员的注意力集中状态并输出结果。本发明利用轻量化的CNN模型实时获取驾驶员的注意力集中情况，进行驾驶员的注意力集中状态的检测。

Journal Articles

1. 基于改进困难三元组损失的跨模态行人重识别框架 李灏, 唐敏, 林建武, and 赵云波 计算机科学 2020 [Abs] [doi] [pdf]

   为了提升跨模态行人重识别算法识别精度，提出了一种基于改进困难三元组损失特征学习框架。首先，改进了 传统困难三元组损失，使其转换为全局三元组损失。其次，基于跨模态行人重识别中存在模态间变化及模态内变化问 题，设计模态间三元组损失及模态内三元组损失配合全局三元组损失进行模型训练。在改进困难三元组损失基础上， 首次在跨模态行人重识别模型中设计属性特征来增加模型提取特征能力。最后，针对跨模态行人重识别中出现类别失 衡问题，首次引用Focal Loss 替代传统交叉熵损失进行模型训练。相比现有算法，在RegDB 数据集实验中，本文框 架在各项指标中均有1.9%-6.4%的提升。另外，通过消融实验也证明了三种方法均能提升模型特征提取能力。

Conference Articles

1. Detection of Distracted Driving Based on Multi-Granularity and Middle-Level Features Min Tang, Fang Wu, Li-Li Zhao, Qi-Peng Liang, Jian-Wu Lin, and Yun-Bo Zhao In 2020 Chin. Autom. Congr. CAC 2020 [Abs] [doi] [pdf]

   A so-called MGMN (Multiple-GranularityMiddle Network) algorithm is proposed to improve the detection accuracy of distracted driving, based on multigranularity features and middle-level features. The algorithm is derived from the ResNet50 neural network and is the first time to use multi-granularity features and mid-level features of images in the field of distracted driving detection. The multigranularity feature extraction module consists of three branches: the global branch to learn the global features without local information, the second branch to divide the image level into two parts and later to learn the local features of the upper and lower parts, and the third branch to divide the image level into three parts, and later to learn the local features of the upper, middle and lower parts. By extracting the features of the middle layer of the image, the feature extraction of the algorithm is enriched. While the multi-granularity features are individually input to the cross-entropy loss function, the multi-granularity features of the image and the middle-level features are combined and input into the cross-entropy loss function. The proposed algorithm has an accuracy of 99.8% on the dataset "Districted-DriverDetection" published by State Farm Company, which is 1.5% to 3% higher than existing algorithms, and an improved accuracy of 98.7% on the dataset "AUC-Districted-Driver-Detection".

学位论文

Theses

1. 基于机器视觉的驾驶员注意力检测系统设计 唐敏 浙江工业大学, 杭州 2021 [Abs] [pdf]

   驾驶员注意力不集中是指驾驶员的注意力被一些分心驾驶行为所分散从而 不集中。车辆驾驶过程中的注意力分散行为将会使得驾驶员的反应过程被拉长， 进而使得驾驶员对车辆能否安全行驶的判断能力和对突发情况的反应能力降低， 极易引起交通安全事故。近年来，驾驶员注意力检测已经越来越多地受到大家 的关注。 本文针对驾驶员注意力检测场景，设计了基于机器视觉的驾驶员注意力检 测系统，进行了驾驶员注意力检测系统的软硬件设计，设计的基于多粒度特征 和中间层特征的 MGMN 算法在现有的公开的分心驾驶数据集中取得了更高的精 确度，设计的硬件系统成本较低并且在真实场景实验中也有着较高的实用性。 本文的主要工作有以下两个方面： (1) 设计了基于多粒度特征和中间层特征的驾驶员注意力检测算法，该算法 具有精度高、特征提取丰富且准确的特点。考虑到驾驶员在驾驶时头部和手部 都处于图像的相对固定的位置，并且头部一般处于图片的上方，手部一般处于 图片的中下方。如果可以针对驾驶图像的每一部分进行学习，提取每一部分特 有的特征，本文在 ResNet50 模型中加入了多粒度特征提取部分，该部分有全局 分支、二分支和三分支三部分，共同提取驾驶图像的全局和局部特征。同时又 抽取了驾驶图像的中间层特征，中间层包含了丰富的图像特征，最后将多粒度 特征和中间层特征一起输入到 Softmax 损失函数中，设计出了 MGMN 算法。 MGMN 算法无论是在现有的分心驾驶检测公开数据集上还是在自建数据集上都 有着更高的精确度和较短的运行时间。 (2)设计了“树莓派 +远程服务器”的驾驶员注意力检测系统。 采用“树莓 派+远程服务器”的结构，通过局域网将树莓派与远程服务器相连接，具有较高 的信息传输速率，树莓派与服务器之间采用 Socket 通信方式进行通信，做到终 端与服务器之间的信息的准确传输。同时采用成本低、体积小、可靠性高的树 莓派作为驾驶图像实时采集终端，采用配置高、运行效率高的服务器作为状态 判别的设备，降低了设计成本，实现了对驾驶员注意力状态实时的高精度检测。

毕业去向

杭州科技职业技术学院智能制造学院， 教师

外部链接

www.tangm.tech