本发明公开了一种基于深度学习的群体行为检测识别方法及系统，涉及行为检测识别方法技术领域。本发明通过综合利用图像中人物运动的轨迹特征和图像特征，构成了包含个人运动特征、群组成员交互特征和群组整体特征的多层次信息，考虑了个体间的空间关系、动态变化和交互行为，在保证精度的情况下，能对核心的群体行为特征进行建模。本发明采用多分支结构设计网络模型及相应检测识别方法，模型结构简单、清晰明了，通过在多个层级对不同信息进行编码和整合，同时引入博弈论中的Banzhaf权力指数作为模型支路的融合策略，能有效在复杂场景中排除无关人员的影响，解决了深度学习模型对识别结果的分析和理解的局限性的问题。
1.一种基于深度学习的群体行为检测识别方法，其特征在于，包括以下步骤： S1、采集群体图像视频，对采集到群体图像视频进行轨迹特征提取，获取个人行为特征和交互行为特征； 所述获取个人行为特征，具体包括如下内容： A1、在时间帧级别上对任务的个体运动信息进行明确定义，具体内容如下：定义在时间帧t上的人物j的个体运动信息为其中，t＝0,1,.....,t′，j＝0,
1.....,j′；个体运动信息的函数表示为： 式中，Pi表示中心位置；Vi表示速度；Ai表示加速度； A2、将当前帧中每个组员的运动信息进行整合，获得所有组员运动信息的综合表征Pt，具体函数表示为： A3、将整段视频切分为t个连续帧，并将t帧的运动信息整合到一起作为该视频段的最终信息表征，上述信息表征记作集合G，其具体函数表示为： G＝{P0,P1,P2,.....,Pt′} (3) 式中，Pt’表示第t’帧所有组员运动信息的综合表征； 所述获取交互行为特征，具体包括如下内容： B1、捕捉人物m与n之间的相对位置Dm,n，获得二者的空间接触程度或接近程度； B2、获取人物m与n之间的速度差Vm,n，用于反映二者之间的运动协调性或冲突性； B3、获取人物m与n的加速度信息，用于反映个体运动状态变化的快慢程度；进一步获取人物m与n之间的加速度差异Am,n，用于反映个体之间的运动协调和互动情况； B4、综合B1～B3中的多种因素，构建人物m与n的交互信息为am,n，具体函数表示为： am,n＝{Dm,n,Vm,n,Am,n} (4)并在此基础上，生成当前时间帧下，群体成员m与其他成员之前的交互信息集合Am，具体函数表示为： Am＝{am,0,am,1,am,2,......,am,j′} (5) B5、使用双向交互的方式，构建整个图像中所有交互信息的综合表示I，具体函数表示为： I＝{A0,A1,A2,......,Aj′}(6) 式中，矩阵I表示一个包含多个维度的矩阵，其中每个元素用于反映不同组员之间的交互特征； B6、应用卷积操作对B5中提取的交互特征进行加工，定义一个一维的卷积核k，卷积操作的函数表示如下： E＝I*k(7) 式中，E为更具判别性和表达能力的语义表示； S2、对采集到的群体图像视频中的图像进行处理，获取群体行为特征； 所述获取群体行为特征，具体包括如下内容： C1、使用特征图作为生成整体信息语义的来源，选取视频中的唯一关键帧来提取整体信息； C2、选用ResNet-18作为骨干网络，输入原始图像X∈RC×H×W，经过ResNet-18网络处理得到特征图f∈RK×K×D，其中，H×W为原始图像X的尺寸，C为原始图像X的通道数；K×K为特征图f的尺寸，D为特征图f的通道数； C3、将多通道的特征图展平，构建整体信息语义V，具体函数表示为： V＝vec(f) (8) 式中，vec表示矩阵向量运算； S3、基于S1中所得的个人行为特征和交互行为特征以及S2中所得的群体行为特征，设计一种与合作博弈论相结合的支路融合策略对上述三种不同层次的特征进行权重调整，实现一种动态的权重分配策略；具体包括如下内容： S3.1、基于个人行为特征、交互行为特征、群体行为特征三种支路行为特征，结合合作博弈论，将各支路都视为玩家i，假设共有n∈R个玩家参与博弈，则存在有N＝2n个非空联盟，定义某一个非空联盟为s∈N，对于任意一个非空联盟，定义一个联盟价值函数，所述联盟价值函数用于描述在特定联盟中各个玩家所协同形成的结果所带来的价值；对于一个给定的非空联盟，其价值函数表示为： 式中，表示支路i在对于某一样本得到类别j的预测概率； S3.2、对于给定的非空联盟s，计算其他分支在每个类别j上的支持度其具体函数表示为： 式中，支持度的大小表示联盟中其他模型的综合影响；若则表示分支i对分类结果为类别j是决定性的，支持度的大小同时侧面反映了分支i对某一类别j的影响力Ai，Ai具体表示如下： S3.3、将支路i在不同类别上的影响力进行累加，得到其对非空联盟s的总影响力具体函数表示为： S3.4、综合所有可能的非空联盟，计算出支路i对不同联盟的总影响力B(i)，具体函数表示为： S3.5、对S3.4中所得的不同联盟的总影响力B(i)进行归一化处理，引入Banzhaf权重概念，计算得出最终的Banzhaf权重指数Banzhaf(i)，具体函数表示为： S3.6、使用S3.5中所得的Banzhaf权重指数Banzhaf(i)来调整个人行为特征、交互行为特征、群体行为特征三种支路行为特征的支路权重，实现动态的权重分配策略； S4、设计一种基于深度学习的群体行为识别网络，对经过S3处理的三种不同层次的行为特征进行处理，实现准确的分类预测，获得最终的分类结果；具体包括如下内容： S4.1、整合所得的个人行为特征、交互行为特征、群体行为特征的层次划分信息以及可学习的嵌入向量CLS，生成三种独特的语义； S4.2、将S4.1中生成的三种语义信息沿着各自的路径导入到Transformer编码器中进行多次编码； S4.3、编码完成后，通过MLP Head提取出分类信息； S4.4、使用Banzhaf融合模块对S4.3中所得的分类信息进行加权融合，由Softmax层后，得到准确的分类预测结果； S5、在PyCharm软件上利用PyQt工具设计实现了一套群体行为识别系统，输入S4中所得分类结果，可视化当前群体行为类别。
2.一种基于权利要求1所述方法构建的基于深度学习的群体行为检测识别系统，其特征在于，所述系统包括： 数据采集模块，用于采集并输入待处理的群体图像视频； 数据处理模块，包括轨迹特征处理单元和RGB图像处理单元，所述轨迹特征处理单元用于对所采集的视频进行轨迹特征提取，获取个人行为特征和交互行为特征；所述RGB图像处理单元用于对采集的图像进行处理，获取群体行为特征； 三层次语义特征Banzhaf融合模块，应用一种与合作博弈论相结合的支路融合策略，对数据处理模块中获得的个人行为特征、交互行为特征以及群体行为特征进行权重调整，实现一种动态的权重分配； 群体行为分类识别模块，用于对经过三层次语义特征Banzhaf融合模块处理的三种不同层次的行为特征进行处理，实现准确的分类预测，获取最终的分类结果； 可视化模块，利用PyCharm软件上的PyQt工具对群体行为分类识别模块所得的分类结果进行处理，可视化当前群体行为类别。
请联系平台
请联系平台
