异常检测（AD）在工业制造等领域非常重要，旨在识别有缺陷的图像及其缺陷位置。传统方法在多个图像类别上扩展性较差，并且需要手动定义类别名称，难以应对长尾数据分布。长尾数据分布是实际工业应用中常见的现象，其中部分类别数据样本显著少于其他类别。

异常事件通常是上下文依赖的，并且不经常发生，这使得收集足够代表性的异常事件样本以训练深度学习模型变得困难。 现有的异常点检测方法将异常检测作为离群值检测任务，在推理过程中对正常事件和异常事件分别应用一个经过正常事件训练的正态性模型，将偏离学习模型的事件标记为异常。 自动编码器（AE）模型对非分布数据的样本重建能力较差。由于训练只在正常的样本上进行，因此当出现异常时，预计AE会表现出很高的重建误差。 现有的SOTA方法依赖于昂贵的目标检测方法来提高精度，将处理带宽限制为每个GPU一个视频流，约为20-30 FPS，然而以对象为中心的视频异常探测器的处理成本太高。

现有的基于LLM的多模态模型只能在有限的帧中理解短视频，这些模型大多直接将每帧沿时间轴连接的查询嵌入馈送到llm中，llm固有的上下文长度限制和GPU内存消耗限制了可以处理的视频帧的数量，这使得这些模型无法对长视频（>=30 sec）进行理解。 提出Memory-Augmented Large Multimodal Model (MA-LMM)

生成模型已被证明可以通过建模正常数据来提供强大的异常检测机制，这些数据随后可以用作异常评分的基线。DDPMs在样本质量和模式覆盖方面已经成为生成建模的最新方法，能够从复杂的数据分布中生成样本，相比于生成对抗网络(GAN)和变分自编码器(VAEs)相比具有更好的模式覆盖。

论文链接：2403.12570v1.pdf 今天要分享的是来自CVPR 2024的一篇异常检测的文章，从标题我们也能知道这篇文章主要针对的是异常检测中医学图像检测这个方向的，用的是经过修改的视觉语言大模型来实现通用的异常检测。 背景 首先讲一下方法提出的背景。

论文名称：Toward Generalist Anomaly Detection via In-context Residual Learning with Few-shot Sample Prompts（CVPR 2024） 论文链接：2403.06495v3.pdf 背景 通过论文的名称我们也能

CNN卷积神经网络在图像识别任务中取得了显著的成功，在CNN中通过卷积激活池化的叠加运算可以使模型提取更深层次更高级的特征，但问题接踵而至，学习更好的网络并不像堆叠更多的层一样容易。深层网络面临着梯度消失和梯度爆炸的问题。