问题：在使用DDP分布式训练的时候，在第一轮训练后验证结果，在第二轮开始时就卡住了。因为设置了dist.barrier()，所以只有第一个GPU跑了验证，在第二轮时只有第一个GPU的模型在，其他卡的模型都被阻塞住了。

解决方法：在验证时不要使用model进行验证，要使用model.module，这样就可以顺利运行了。

参考：Torch.distributed.barrier() hangs in DDP