发帖
雷达卡
摘要：
随着城市轨道交通系统向网络化、高密度运营发展，传统依赖人工巡检与事后视频调阅的公共安全防控手段逐渐暴露出响应延迟、监控覆盖不足等问题。为推动安全管理模式由“被动应对”转向“主动预警”，本文提出一种融合多模态感知技术的站车一体化动态风险预警方法。首先，构建涵盖车站厅区与列车车厢的视频监控、激光客流统计、异常声音传感、票务闸机数据及列车实时位置信息等多源异构数据的综合感知体系。随后，设计分层级的多模态信息融合架构：在数据层面实现时空基准统一；在特征层面利用深度学习模型分别提取视觉中的异常行为、音频中的突发事件以及客流密度分布特征；在决策层面引入基于注意力机制的融合网络，对来自不同传感器的信息进行加权整合，生成全局风险态势图谱。此外，结合匿名化的乘客出行链数据，建立轻量级风险行为画像，增强风险评估的上下文理解能力。实验基于国内某地铁线路真实运行环境开展，结果表明，系统对打架斗殴、异常聚集、物品遗留等典型风险事件的识别准确率达94.7%，平均预警时间较传统人工发现提前约127秒，显著提升了风险的早期感知能力、定位精度与协同处置效率，为智慧轨道交通主动安防体系的建设提供了关键技术支撑。
关键词：
轨道交通；公共安全；多模态融合；人工智能；风险预警；数字孪生
1. 引言
1.1 研究背景与意义
轨道交通作为现代城市交通的生命线工程，承担着大规模客流运输任务，其运营安全直接关系到公众生命财产安全与社会稳定。然而，当前多数地铁安防系统仍停留在“重存储、轻分析”的阶段，普遍存在视频资源“存而不用、用而不智”的现象，报警机制多依赖于事件发生后的追溯回放，缺乏事前预警能力。同时，各子系统如视频监控、广播通知、门禁控制之间信息孤立，难以形成联动响应，在面对大客流冲击或突发事件时，指挥调度效率受限。因此，亟需借助人工智能与多模态感知技术，构建具备“事前预警、事中干预、事后溯源”能力的安全防控体系。本研究旨在通过集成多种感知模态，提升轨道交通环境下的风险识别智能化水平，实现从被动防御向主动防控的战略转型，具有重要的现实意义和应用价值。1.2 国内外研究现状
近年来，计算机视觉技术广泛应用于异常行为检测任务中，例如摔倒、奔跑、打斗等动作的识别，但在实际场景中易受人群遮挡、光照变化等因素干扰，鲁棒性有限。音频事件检测则在识别尖叫、玻璃破碎等特定声音方面取得进展，但其空间定位能力较弱，难以独立支撑精准告警。尽管已有研究尝试将视觉与听觉信息融合以提升检测性能，多数成果仍局限于实验室可控环境，缺乏在真实轨道交通复杂动态场景下的验证。尤其在跨站点、跨车厢、高并发人流条件下，实现实时、可靠的多模态融合预警仍面临巨大挑战。鉴于此，本文聚焦于面向真实运营环境的站车一体化多模态融合预警方法研究，致力于解决高鲁棒性与低延迟响应的关键问题。2. 站车一体化多模态感知体系构建
2.1 系统总体架构
本系统采用四层架构设计：感知层负责采集多源数据；传输层完成数据汇聚与链路保障；数据融合层执行信息处理与融合分析；应用层提供可视化界面与预警指令输出。[此处为图片1]核心理念为“站车一体化”，即打破车站与列车之间的物理边界，实现从进站、候车、乘车到出站全过程的空间连续感知，确保风险无盲区覆盖。
2.2 多源异构数据采集与预处理
视觉数据：部署高清网络摄像头，优化布点策略以减少死角，并对视频流进行结构化处理，提取运动目标轨迹与行为特征。声学数据：布设异常声音传感器阵列，结合自适应滤波算法去除环境噪声，提取关键声学特征用于后续分类识别。
客流数据：采用激光或双目视觉设备进行实时人数统计，动态生成区域密度热力图，辅助判断拥堵与聚集趋势。
运营数据：接入票务闸机过闸记录与列车自动监控系统（ATS）提供的实时位置信息，为风险事件提供精确的时间与空间上下文。
数据时空同步：采用基于NTP协议的时间同步机制，并结合地理信息系统（GIS）坐标映射，实现多源异构数据在统一时空框架下的精准对齐。
3. 基于分层注意力机制的多模态融合预警模型
3.1 单模态风险特征提取
视觉分支：采用改进的YOLO-V7与SlowFast双流网络结构，实现对打架、摔倒、长时间滞留、可疑物品遗留等视觉异常事件的检测，输出事件类别、目标位置框及置信度评分。声学分支：将原始音频转换为Mel频谱图，输入CNN-Transformer混合模型，识别尖叫、激烈争吵、剧烈撞击等高危音频事件。
客流分支：实时计算区域内的人群密度、移动速度与聚集指数，当指标超过阈值时触发踩踏风险预警。
3.2 分层级特征融合策略
数据级融合（低级）：在时间戳与空间坐标对齐的基础上，初步关联音频报警与视频事件，形成跨模态候选匹配集。特征级融合（中级）：提出“时空注意力融合模块”。该模块能够根据场景动态调整各模态特征的权重分配。例如，在视觉严重遮挡的高峰时段，系统自动增强声学信号与客流变化特征的影响权重，从而提升整体判别稳定性。
决策级融合（高级）：构建基于D-S证据理论与贝叶斯推理相结合的融合引擎。综合各模态输出的判断结果及其置信度，结合预设规则库（如：“视频检测快速挥臂” + “音频捕获尖叫声” + “局部密度骤升” → 判定为“高风险冲突”），最终输出统一的风险等级（低/中/高）与报警信号。
3.3 风险行为画像关联
在严格遵循隐私保护原则的前提下，所有涉及乘客的数据均经过脱敏与匿名化处理。通过匹配风险事件发生的时间与地点，关联相应时间段内匿名个体的出行模式（如是否为通勤常客、是否存在非常规出行轨迹）。在此基础上构建轻量级风险标签画像，向处置人员提供“该乘客曾在X站出现类似异常行为”的提示信息（不包含身份标识），助力现场人员快速判断与精准干预。4. 实验与结果分析
4.1 实验环境与数据集
本研究联合某大型地铁集团，在3个重点换乘车站及2列运营列车上部署原型系统。所构建的数据集包含约1200小时的同步音视频标注数据，涵盖正常通行状态及六类典型异常场景：打架、摔倒、异常聚集、物品遗留、非法闯入、激烈争吵，所有样本均由专业人员逐帧标注。4.2 评价指标与对比实验
采用准确率、召回率、F1-score及平均预警提前时间为主要评估指标。设置三组对比模型：- 纯视觉基线模型
- 视觉与音频简单拼接融合模型
- 本文提出的分层注意力融合模型
实验结果显示，本文模型在各类复杂场景下均表现出最优性能，尤其在遮挡严重或背景嘈杂环境下优势明显。综合F1-score达到94.7%，且平均提前预警时间约为127秒，显著优于其他两种方案。相关结果以图表形式呈现，验证了所提方法的有效性与鲁棒性。[此处为图片2]
4.3 系统部署与实效验证
系统上线运行期间，成功捕捉多起真实风险事件，包括一起站台口角升级前兆、一次车厢内物品遗留未取以及多次异常聚集苗头。所有事件均被及时推送至控制中心，平均响应时间缩短至分钟级。实践证明，该系统不仅提高了风险发现的时效性，也增强了应急处置的科学性与协同性，具备良好的推广应用前景。展示系统在试运行期间的实际预警界面（示意图）。[此处为图片1]
在测试阶段，系统成功识别并预警了多个真实事件：一次站台区域的轻微人员冲突被提前85秒发现，另一起车厢内乘客因突发疾病摔倒的情况也被系统提前203秒捕捉。这些案例有效验证了该系统在实际运营环境中的预警能力与应用价值。
5. 讨论
5.1 技术优势分析
- 通过融合多种感知模态数据，增强了系统在复杂环境下的鲁棒性，提升了风险识别的稳定性。
- 采用分层式信息融合策略，使系统能够更灵活地应对多样化的运营场景。
- 实现站台与车厢之间的协同监测，构建了覆盖轨道交通全场景的一体化安全监控视野。
5.2 挑战与局限性
- 在极端高密度客流情况下，部分传感器的检测精度出现下降，影响整体感知效果。
- 涉及大量乘客行为数据的采集与处理，引发关于数据隐私保护和合规使用的伦理讨论。
- 当前系统仍存在一定比例的误报情况，后续需优化算法以降低虚假预警频率。
6. 结论与展望
6.1 结论
本研究提出了一种基于多模态融合的实时预警方法，显著改善了传统安防系统响应延迟的问题，实现了对轨道交通公共安全风险的动态化、前置化感知。通过实地部署测试，证实了该方案的技术可行性，并展示了其在提升运营安全方面的实用潜力，为行业提供了可复制的技术路径。
6.2 未来工作方向
- 研发更加轻量化的模型结构，支持在边缘计算设备上的高效运行，提升部署灵活性。
- 推动系统与列车自动控制、应急广播等子系统的深度集成，构建“感知—预警—处置”全流程自动化闭环。
- 进一步探索跨线路、跨城市轨道交通网络中的安全风险传播机制，建立路网级协同预警模型。
京公网安备 11010802022788号
