使用项目中MS-COCO_2014数据集的加载思路，加载自己的排水管数据集Sewer-ML。由于COCO数据集本身数据量就不大，且在_load_dataset这个操作之前，我们就已经提前对coco的标签数据进行了处理，处理后的json文件仅剩下（图片相对路径、对应的label、所有类别），故使用常规的for循环，在for循环中添加路径替换和one-hot-encoding是不会消耗太多时间的。

异常检测（AD）在工业制造等领域非常重要，旨在识别有缺陷的图像及其缺陷位置。传统方法在多个图像类别上扩展性较差，并且需要手动定义类别名称，难以应对长尾数据分布。长尾数据分布是实际工业应用中常见的现象，其中部分类别数据样本显著少于其他类别。

异常事件通常是上下文依赖的，并且不经常发生，这使得收集足够代表性的异常事件样本以训练深度学习模型变得困难。 现有的异常点检测方法将异常检测作为离群值检测任务，在推理过程中对正常事件和异常事件分别应用一个经过正常事件训练的正态性模型，将偏离学习模型的事件标记为异常。 自动编码器（AE）模型对非分布数据的样本重建能力较差。由于训练只在正常的样本上进行，因此当出现异常时，预计AE会表现出很高的重建误差。 现有的SOTA方法依赖于昂贵的目标检测方法来提高精度，将处理带宽限制为每个GPU一个视频流，约为20-30 FPS，然而以对象为中心的视频异常探测器的处理成本太高。

现有的基于LLM的多模态模型只能在有限的帧中理解短视频，这些模型大多直接将每帧沿时间轴连接的查询嵌入馈送到llm中，llm固有的上下文长度限制和GPU内存消耗限制了可以处理的视频帧的数量，这使得这些模型无法对长视频（>=30 sec）进行理解。 提出Memory-Augmented Large Multimodal Model (MA-LMM)

三维异常检测是工业制造领域(IM)一项重要的计算机视觉任务，现有的方法的问题主要体现在： 严重依赖于大型预训练模型(pretrained model)，难以在生产线上部署。 由于内存库(memory bank)的过度使用而大大增加了存储开销。 由于性能问题而无法实现实时的推理。 在工业质量检测中产品的深度信息对于异常检测至关重要，但现有的异常检测方法多数基于2D图像的处理，对于一些工业产品来说，仅使用2D图像来进行异常区分是很困难的。

现有的视频识别模型使用的是在理想条件下收集的经典视频数据集，但在实际场景下存在复杂的相机拍摄环境，目标分辨率低，光照条件差，视频场景不寻常的多种问题，现有的大多数视频识别模型由于缺乏外部领域知识而不能很好地泛化，应用效果差。 基础模型包含了多样化的语义知识，可以适应低概率泛化,但是利用这些模型的知识进行开放世界视频识别的方法还有待研究。

由于获取不到足够的异常样本用于模型训练，无监督异常检测（UAD）逐渐成为主流的异常检测方法，但这种方法中异常样本和注释的缺失会降低UAD的检测性能。 统计模型（规范化流）适合于以无监督的方式进行异常检测（AD）和定位，统计模型通过将异常数据的分布与正常数据的分布进行对比以进行概率计算，由此可以有效地区分不可预测的异常。

在数据中异常概率密度低，正态和异常数据通常呈现严重的长尾分布，甚至在某些情况下没有异常样本。现实状况使得在实践中很难收集和标注大量的异常数据用于监督学习。无监督异常检测和定位能够用于在无法收集和标记足够的异常数据的情况进行。

视频异常检测（Video Anomaly Detection, VAD）在安全监控和自动驾驶等应用中至关重要。然而，现有的VAD方法在检测到异常时很少提供背后的原理，这限制了它们在现实世界部署中获得公众信任的能力。因此需要开发出能够提供推理过程的VAD方法。大语言模型（LLMs）在各种推理任务中表现出色。然而LLMs对异常的理解与特定场景所需的异常定义之间存在不匹配，这使得LLMs在直接执行VAD任务时效果不足。