Video Datasets VideoPipe Github Repository:https://videopipe.github.io/ Dataset Link:https://opendatalab.com/OpenDataLab/VideoPipe LVU Github Reposito

笔记由本人根据材料整理，可能存在问题。 视频地址：https://www.bilibili.com/video/BV1W34y1i7xK Github仓库地址：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

多标签图像识别旨在识别图像中存在的多个语义标签，多标签识别 (MLR) 通常处理复杂场景和多样对象的图像，收集多标签注释存在两个问题： 对图像进行完整的语义标签集注释是费力的 特定类别的样本可能难以找到 尽管现有方法能够处理以上两个问题，但没有一种能够同时处理部分或缺失标签实际场景的解决方案。

多标签图像识别是一项具有挑战性的任务，涉及识别图像中存在的多个对象或属性。传统的图像识别方法主要集中在单标签分类上，即每张图像只与一个类别标签相关联。然而，现实世界中的图像通常包含多个对象或属性，这使得单标签分类在很多应用中（如图像检索、视频分析和推荐系统）变得不足。 多标签识别的挑战因获取完全标注的数据集的难度而加剧，每张图像都需要标注所有相关的类别。这导致了两种主要的场景：部分标签多标签识别，即每张图像只标注了部分标签；以及零样本多标签识别，即在测试时出现了新的类别，而这些类别在训练时没有任何示例。

跨模态哈希（Cross-modal Hashing）是一种用来检索和存储不同模态数据（如图像和文本）的方法，主要优点包括： 存储成本低：二值哈希编码较连续特征更紧凑。 检索效率高：哈希距离计算效率远高于传统方法。 然而，现有的跨模态哈希方法面临以下主要问题： 标签噪声普遍存在：在实际数据中，标注可能因复杂性、人工错误或标签模糊而产生噪声。 依赖高质量标注：大多数方法隐含假设数据标签是准确的，而现实中，生成高质量标注代价高昂且资源有限。 标签噪声的存在会导致模型倾向于过拟合噪声数据，使得检索性能显著下降。

使用DDP进行训练时，第一个epoch能够正常训练和验证，并输出相应的指标，但在第二个epoch开始后就卡住了，同时显卡的占用率高达100%，持续了很长时间且始终无法降下来。单卡训练是没有问题的。

多标签分类是计算机视觉的重要任务，旨在识别图像中所有相关的标签。然而，现有方法通常只能处理训练中可见的标签，而无法应对许多实际应用中存在的“未见”标签。为解决这一问题，多标签零样本学习（ML-ZSL）尝试通过语言模型（如GloVe）进行知识转移，但其只利用了单一模态的信息，忽略了图像-文本对中的丰富语义信息。

使用项目中MS-COCO_2014数据集的加载思路，加载自己的排水管数据集Sewer-ML。由于COCO数据集本身数据量就不大，且在_load_dataset这个操作之前，我们就已经提前对coco的标签数据进行了处理，处理后的json文件仅剩下（图片相对路径、对应的label、所有类别），故使用常规的for循环，在for循环中添加路径替换和one-hot-encoding是不会消耗太多时间的。

异常检测（AD）在工业制造等领域非常重要，旨在识别有缺陷的图像及其缺陷位置。传统方法在多个图像类别上扩展性较差，并且需要手动定义类别名称，难以应对长尾数据分布。长尾数据分布是实际工业应用中常见的现象，其中部分类别数据样本显著少于其他类别。

异常事件通常是上下文依赖的，并且不经常发生，这使得收集足够代表性的异常事件样本以训练深度学习模型变得困难。 现有的异常点检测方法将异常检测作为离群值检测任务，在推理过程中对正常事件和异常事件分别应用一个经过正常事件训练的正态性模型，将偏离学习模型的事件标记为异常。 自动编码器（AE）模型对非分布数据的样本重建能力较差。由于训练只在正常的样本上进行，因此当出现异常时，预计AE会表现出很高的重建误差。 现有的SOTA方法依赖于昂贵的目标检测方法来提高精度，将处理带宽限制为每个GPU一个视频流，约为20-30 FPS，然而以对象为中心的视频异常探测器的处理成本太高。