这是一个强大的视频消光技术。
原链：https://arxiv.org/abs/2012.07810
代码：https://github.com/PeterL1n/BackgroundMattingV2
作者：@PeterL1n@jinzishuai @andreyryabtsev @senguptaumd

实时高分辨率背景遮光

论文实时高分辨率背景着色的官方存储库。我们的模型需要捕获额外的背景图像，并在 Nvidia RTX 4 TI GPU 上以 30K 60fps 和高清 2080fps 生成最先进的消光结果。

• 访问项目现场
• 观看项目视频

免责声明：此存储库中的视频转换脚本不是实时的。我们研究的主要贡献是用于高分辨率细化的神经架构和新的消光数据集。该脚本允许您测量模型的张量吞吐量，这应该实现实时。该脚本允许您在我们的模型上测试您的视频，但视频编码和解码是在没有硬件加速和平行化的情况下完成的。对于生产用途，您需要对硬件编码/解码以及并行将帧加载到 GPU 进行额外的工程设计。有关更多架构细节，请参阅我们的论文。

演示

脚本

我们在此存储库中提供了几个脚本，供你试验我们的模型。文件中包含更详细的说明。

• inference_images.py: Perform matting on a directory of images.
• inference_video.py: Perform matting on a video.
• inference_webcam.py: An interactive matting demo using your webcam.

笔记本

此外，您可以在Google Colab中试用我们的笔记本，对图像和视频进行遮罩。

• 图像遮罩 (Colab)
• 视频消光 (Colab)

虚拟摄像机

我们提供了一个演示应用程序，该应用程序通过我们的模型将网络摄像头视频传输到虚拟摄像机。该脚本仅适用于 Linux 系统，可用于 Zoom 会议。有关更多信息，请查看：

• 网络摄像头插件

用法/文档

Yo您可以使用 PyTorch、TorchScript、TensorFlow 和 ONNX 运行我们的模型。有关使用我们模型的详细信息，请查看使用/文档 Usage / Documentation 页面。

训练

配置为指向数据集。原始论文只用于训练基本模型直到收敛，然后用于端到端训练整个网络。更多细节在论文中指定。 data_path.pth train_base.pth train_refine.pth