《A Comprehensive Survey of Video Anomaly Detection: Evolution from DNNs to MLLMs》阅读笔记

一、整体印象#

大语言模型（LLM）和多模态大语言模型（MLLM）的迅速发展，为视频异常检测（VAD）带来了新的机遇与挑战。MLLM/LLM 研究所占比例持续显著上升，传统机器学习和 DNN 方法的占比逐渐下降。

半监督方法在简单数据集上接近饱和，弱监督方法在复杂数据集上的进步也有所放缓。

文本带来的一个重要方向是可解释性。大模型带来的变化，是把视频内容转化为可以推理的语义。

开放词汇：还希望根据自然语言，识别或描述新的异常类别。

一个值得关注的思路：先用轻量检测器筛出可疑片段，再让大模型重点分析。

二、任务目标与方法分类#

视频异常检测主要包含两个目标：视频异常定位与视频异常理解（VAU）。原笔记将前者记作 VTG，缩写待核对。

视频异常理解方面，传统 DNN 方法要求模型在特定监督条件下正确分类异常帧。弱监督 VAD 常通过多任务学习同时完成异常定位和分类；MLLM/LLM 的免训练方法则常依靠多个 LLM 协作完成两类任务。

VAU 还可细分为分类、异常问答和因果分析三个核心子任务。

传统 DNN 方法按监督信号分为：

• 半监督 VAD（SVAD）。
• 弱监督 VAD（WVAD）。
• 全监督 VAD（FVAD）。
• 无监督 VAD（UVAD）。

另外关注开放词汇、免训练和指令微调等方向。传统方法中，语义信息仅被隐式使用，显著限制了可解释性。

三、传统 DNN 方法#

四、开放世界 VAD#

原笔记将这一部分记作“开放世界 VAD（OSVAD）”，开放世界与开放集的缩写关系待核对。

• 开放集 VAD：待补充。
• 开放词汇 VAD（OVVAD）：使用开放式自然语言描述异常。

五、异常解释型 VAD#

六、仍然存在的问题#

• 标注成本高。
• 场景泛化有限。
• 计算开销大。
• 语义理解不足。