见过用 GAN 来 P 图,见过用 GAN P 视频吗。瞧,原本一直在面无表情地讲话的人,全程露出了微笑,原本得 4,50 岁的人,直接变 20 几岁了:
另一边,正在微笑唱歌的赫敏一下子愤怒起来,还能换上一张几岁小孩的脸:
美国前总统也如此,4 种版本的面部状态信手拈来,甚至连性别都给 P 成女的了:
不管人脸表情和状态如何变化,这些视频都没有给人任何违和感,全程如此的丝滑~哦对,除了真人,动漫视频里的脸也可以 P:
有点厉害了。
这个模型出自以色列特拉维夫大学。以上就是无需特定架构或训练范式,在StyleGAN模型潜空间中执行一些操作和微调,就能与其他图像处理任务达到同等或更佳性能的具体方法。
1,输入视频首先被分割成帧,每帧中的人脸都被裁剪下来并对齐,
2,使用预训练的 e4e 编码器,将每张已裁剪的人脸反演到预训练的 StyleGAN2 的潜空间中,
3,在所有并行帧中使用 PTI对生成器进行微调,纠正初始反演中的错误,恢复全局一致性,
6,反转对齐步骤,并将修改后的人脸粘贴回视频中。
注意颈部曾产生了大量瑕疵,在最后一步完全修复好
和 SOTA 模型对比
这个模型效果到底有多好,来个对比就知道:
第一个是变年轻,第二,三个都是变老可以明显看到目前的 SOTA 模型和 PTI 模型中的人脸会抽巴,并出现一些伪影,而这个新模型就避开了这些问题
此外,研究人员还进行了时间一致性测试。指标包含两个:
局部时间一致性,通过现成的一致性检测网络来评估相邻两帧之间的一致性TL—ID 分数越高,表明该方法产生的效果越平滑,没有明显的局部抖动
全局时间一致性,同样使用一致性检测网络来评估所有可能的帧之间的相似性得分为 1 表示该方法成功保持了和原视频的时间一致性
结果如下:
可以看到,这个新模型在两项指标中都略胜一筹。。
最后,代码将于 2 月 14 号发布,感兴趣的朋友可以蹲一蹲了~
论文地址:
项目主页:
。郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。