adtop
新闻检索:
topadl
topadr
当前位置: 首页 -> 热点

“众所周知,视频不能P”,三个都是变老

来源:IT之家    发布时间:2022-01-28 12:32   阅读量:14815   

见过用 GAN 来 P 图,见过用 GAN P 视频吗。瞧,原本一直在面无表情地讲话的人,全程露出了微笑,原本得 4,50 岁的人,直接变 20 几岁了:

“众所周知,视频不能P”,三个都是变老

另一边,正在微笑唱歌的赫敏一下子愤怒起来,还能换上一张几岁小孩的脸:

美国前总统也如此,4 种版本的面部状态信手拈来,甚至连性别都给 P 成女的了:

不管人脸表情和状态如何变化,这些视频都没有给人任何违和感,全程如此的丝滑~哦对,除了真人,动漫视频里的脸也可以 P:

有点厉害了。

这个模型出自以色列特拉维夫大学。以上就是无需特定架构或训练范式,在StyleGAN模型潜空间中执行一些操作和微调,就能与其他图像处理任务达到同等或更佳性能的具体方法。

1,输入视频首先被分割成帧,每帧中的人脸都被裁剪下来并对齐,

2,使用预训练的 e4e 编码器,将每张已裁剪的人脸反演到预训练的 StyleGAN2 的潜空间中,

3,在所有并行帧中使用 PTI对生成器进行微调,纠正初始反演中的错误,恢复全局一致性,

6,反转对齐步骤,并将修改后的人脸粘贴回视频中。

注意颈部曾产生了大量瑕疵,在最后一步完全修复好

和 SOTA 模型对比

这个模型效果到底有多好,来个对比就知道:

第一个是变年轻,第二,三个都是变老可以明显看到目前的 SOTA 模型和 PTI 模型中的人脸会抽巴,并出现一些伪影,而这个新模型就避开了这些问题

此外,研究人员还进行了时间一致性测试。指标包含两个:

局部时间一致性,通过现成的一致性检测网络来评估相邻两帧之间的一致性TL—ID 分数越高,表明该方法产生的效果越平滑,没有明显的局部抖动

全局时间一致性,同样使用一致性检测网络来评估所有可能的帧之间的相似性得分为 1 表示该方法成功保持了和原视频的时间一致性

结果如下:

可以看到,这个新模型在两项指标中都略胜一筹。。

最后,代码将于 2 月 14 号发布,感兴趣的朋友可以蹲一蹲了~

论文地址:

项目主页:

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

责任编辑:竹隐    

推荐阅读

  • 全球首座高温气冷堆核电站商业示范工程在山东正式商运投产

    全球首座高温气冷堆核电站商业示范工程在山东正式商运投产

  • 齐鲁师范学院与济宁市教育局战略合作签约仪式举行

    齐鲁师范学院与济宁市教育局战略合作签约仪式举行

  • 氢能行业暖风来袭产业资本“氢”装上阵

    氢能行业暖风来袭产业资本“氢”装上阵