Video Datasets VideoPipe Github Repository:https://videopipe.github.io/ Dataset Link:https://opendatalab.com/OpenDataLab/VideoPipe LVU Github Reposito

笔记由本人根据材料整理，可能存在问题。 视频地址：https://www.bilibili.com/video/BV1W34y1i7xK Github仓库地址：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

多标签图像识别旨在识别图像中存在的多个语义标签，多标签识别 (MLR) 通常处理复杂场景和多样对象的图像，收集多标签注释存在两个问题： 对图像进行完整的语义标签集注释是费力的 特定类别的样本可能难以找到 尽管现有方法能够处理以上两个问题，但没有一种能够同时处理部分或缺失标签实际场景的解决方案。

多标签图像识别是一项具有挑战性的任务，涉及识别图像中存在的多个对象或属性。传统的图像识别方法主要集中在单标签分类上，即每张图像只与一个类别标签相关联。然而，现实世界中的图像通常包含多个对象或属性，这使得单标签分类在很多应用中（如图像检索、视频分析和推荐系统）变得不足。 多标签识别的挑战因获取完全标注的数据集的难度而加剧，每张图像都需要标注所有相关的类别。这导致了两种主要的场景：部分标签多标签识别，即每张图像只标注了部分标签；以及零样本多标签识别，即在测试时出现了新的类别，而这些类别在训练时没有任何示例。

跨模态哈希（Cross-modal Hashing）是一种用来检索和存储不同模态数据（如图像和文本）的方法，主要优点包括： 存储成本低：二值哈希编码较连续特征更紧凑。 检索效率高：哈希距离计算效率远高于传统方法。 然而，现有的跨模态哈希方法面临以下主要问题： 标签噪声普遍存在：在实际数据中，标注可能因复杂性、人工错误或标签模糊而产生噪声。 依赖高质量标注：大多数方法隐含假设数据标签是准确的，而现实中，生成高质量标注代价高昂且资源有限。 标签噪声的存在会导致模型倾向于过拟合噪声数据，使得检索性能显著下降。

使用DDP进行训练时，第一个epoch能够正常训练和验证，并输出相应的指标，但在第二个epoch开始后就卡住了，同时显卡的占用率高达100%，持续了很长时间且始终无法降下来。单卡训练是没有问题的。

多标签分类是计算机视觉的重要任务，旨在识别图像中所有相关的标签。然而，现有方法通常只能处理训练中可见的标签，而无法应对许多实际应用中存在的“未见”标签。为解决这一问题，多标签零样本学习（ML-ZSL）尝试通过语言模型（如GloVe）进行知识转移，但其只利用了单一模态的信息，忽略了图像-文本对中的丰富语义信息。

使用项目中MS-COCO_2014数据集的加载思路，加载自己的排水管数据集Sewer-ML。由于COCO数据集本身数据量就不大，且在_load_dataset这个操作之前，我们就已经提前对coco的标签数据进行了处理，处理后的json文件仅剩下（图片相对路径、对应的label、所有类别），故使用常规的for循环，在for循环中添加路径替换和one-hot-encoding是不会消耗太多时间的。