Update report_v3.md

This commit is contained in:
Yanjia0 2024-06-18 10:15:45 +08:00 committed by GitHub
parent b788422490
commit f1605a1cbc

View file

@ -40,7 +40,7 @@
我们的训练包括三个阶段:
1.对于前 380k 步,我们在 8 个 GPU 上进行训练并释放 2D VAE。训练目标包括重建 2D VAE 的压缩特征(图中粉红色),并添加损失以使 3D VAE 的特征与 2D VAE 的特征相似粉红色和绿色称为identity loss。我们发现后者的损失可以快速使整个 VAE 在图像上取得良好的性能,并在下一阶段更快地收敛。
1.对于前 380k 步,我们冻结 2D VAE并在 8 个 GPU 上进行训练。训练目标包括重建 2D VAE 的压缩特征(图中粉红色),并添加损失以使 3D VAE 的特征与 2D VAE 的特征相似粉红色和绿色称为identity loss。我们发现后者的损失可以快速使整个 VAE 在图像上取得良好的性能,并在下一阶段更快地收敛。
2. 对于接下来的 260k 步我们消除identity loss并仅学习 3D VAE。
3. 对于最后 540k 步,由于我们发现仅重建 2D VAE 的特征无法带来进一步的改进因此我们移除了loss并训练整个 VAE 来重建原始视频。此阶段在 24 个 GPU 上进行训练。