解决PyTorch DDP训练卡住问题
使用DDP进行训练时，第一个epoch能够正常训练和验证，并输出相应的指标，但在第二个epoch开始后就卡住了，同时显卡的占用率高达100%，持续了很长时间且始终无法降下来。单卡训练是没有问题的。
DDP
#TPAMI
1
#NeurIPS
1
#DDP
1
#Knowledge Distillation
1
#AAAI
1
#VLP
1
#AE
2
#ACM MM
2
#TNNLS
1
#arXiv
2
#LLM
2
#ECCV
1
#DDPM
1
#压缩/解压
1
#iForest
1
#ICDM
1
#ViT
1
#ICCV
1
#ResNet
1
#CVPR
7
#CNN
1
#MNIST
1
#PyTorch
1
#栈
3
#剪枝
1
#数组
6
#暴力
2
#链表
4
#SSM
1
#递归
1
#链表
2
#模拟
1
#滑动窗口
1
#STL
1
#二分查找
1
#medium题
11
#动态规划
2
#哈希表
6
#双指针
13
#easy题
19