使用场景

视频内容制作者可以使用VidTok来压缩和优化他们的视频作品，以便在网络上更高效地分享。

在线视频平台可以利用VidTok的技术来改善视频流的质量和传输效率。

研究机构可以基于VidTok进行视频分析和处理的进一步研究，推动视频技术的发展。

产品特色

高效架构：通过分离空间和时间采样降低计算复杂度，保持视频质量。

先进量化：采用有限标量量化（FSQ）技术，解决离散分词中的训练不稳定性问题。

增强训练：采用两阶段策略，先在低分辨率视频上预训练，然后在高分辨率视频上微调，提高效率。

性能卓越：在大规模视频数据集上训练，超越了以往的模型，在PSNR、SSIM、LPIPS和FVD等指标上表现优异。

灵活应用：支持连续和离散分词，适用于不同的视频压缩和处理需求。

开源模型：代码开源，便于研究者和开发者进行二次开发和优化。

使用教程

1. 访问VidTok的GitHub页面并克隆代码库到本地。

2. 根据提供的`environment.yaml`文件设置Conda环境。

3. 下载预训练模型并放置在`checkpoints`文件夹中。

4. 根据需要修改配置文件，设置数据路径和模型参数。

5. 运行`main.py`脚本开始训练或微调模型。

6. 使用`scripts/inference_evaluate.py`脚本评估视频重建性能。

7. 利用`scripts/inference_reconstruct.py`脚本重建输入视频。