蒙娜丽莎Rap的秘密!这个AI算法绝不能错过!!
用户已被禁言 发布于2021-12 浏览:816 回复:2
0
收藏

蒙娜丽莎说 Rap、苏轼先生开口念诗、Gollum 唱 Black Pink 的 Ice Cream。是的,你没有看错,本篇给大家介绍的这个 AI 算法可以让你零基础5分钟实现上述超级 Fancy 的特效,亲手制作点击量过百万、霸榜热搜的超级视频。

话不多说,让我们先看效果!

不仅如此哦~最近大火的虚拟美妆博主柳夜熙、上周百度发布的央视总台首个 AI 手语主播以及各大虚拟偶像等等数字人的核心技术中,让数字人开口说话的也是这个 AI 算法。

那这到底是什么神奇的技术呢?

答案就是飞桨开源套件 PaddleGAN 中的新晋宠儿——Wav2lip 模型

赶紧上项目查看源码及文档教程吧,这个项目还提供热门 GAN 模型,如 AnimeGANv2、GauGAN、First Order Motion 的实现,开源不易,希望大家 Star 支持!

https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

更贴心的是,完整项目代码已公开于 AI Studio,大家动动手指即可体验:

https://aistudio.baidu.com/aistudio/projectdetail/3156519?ref=baiduai2

下面给大家拆解下技术原理和具体的操作步骤,手把手教你实现苏轼念诗,蒙娜丽莎唱 Rap 或者任何你心仪的 Idol 说情话⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄。

这是一个输入一段语音,使目标人物图片、视频的唇形,根据语音进行自动匹配并运动起来的任务。因此,我们需要准备一段音频和一段人像/动漫人物视频,将音频和视频输入 Wav2lip 模型中,经过 Wav2lip 模型预测后,便会输出一段目标人物/动漫人物说出输入音频的视频,至此,「千万级」配音视频就完成啦~

 PaddleGAN 的唇形迁移能力——Wav2lip 

Wav2lip 模型实现唇形与语音精准同步突破的关键在于:

  • 采用了唇形同步判别器,以强制生成器持续产生准确而逼真的唇部运动。
  • 此外,通过在鉴别器中,使用多个连续帧而不是单个帧,并使用视觉质量损失(而不仅仅是对比损失)来考虑时间相关性,从而改善了视觉质量。

万能的 Wav2lip 模型适用于任何人脸、任何语音、任何语言!对任意视频都能达到很高的准确率,都可以实现无缝地与原始视频融合,无论是视频效果还是语音效果都很逼真。

与此同时,PaddleGAN 针对 Wav2Lip 模型进行了高清优化,使唇形拟合更细腻,更加逼真。

 PaddleGAN Wav2lip 的使用方法 

在 PaddleGAN 的帮助下,完成上述神奇的自制「配音/对口型」只需两步:

 1、下载 PaddleGAN 并所需安装包 

# 下载 PaddlePaddle 安装包

# 从 github 上克隆 PaddleGAN 代码(如下载速度过慢,可用 gitee 源)

!git clone 

https://gitee.com/PaddlePaddle/PaddleGAN

#!git clone 

https://github.com/PaddlePaddle/PaddleGAN

#本地安装 PaddleGAN

%cd /home/aistudio/PaddleGAN

!pip install -v -e .

!pip install -r requirements.txt

!pip install librosa!pip install numba==0.53.1

 

 2、使用唇形合成命令 

%cd applications/

!python tools/wav2lip.py \    

--face /home/aistudio/1.jpeg \    

--audio /home/aistudio/2.m4a \    

--outfile /home/aistudio/pp_put.mp4 \    

--face_enhancement

 

只需在如下命令中的 face 参数和 audio 参数分别换成自己的视频和音频路径,然后运行即可生成和音频同步的视频,运行完成后,会在当前文件夹下生成文件名为 outfile 参数指定的视频文件,该文件即为和音频同步的视频文件:

  • lface:原始视频,视频中的人物的唇形将根据音频进行唇形合成
  • laudio:驱动唇形合成的音频,视频中的人物将根据此音频进行唇形合成
  • loutfile:成品视频名
  • lface_enhancement:添加人脸增加特效

 PaddleGAN 的花样玩法 

以为 PaddleGAN 就止于此?NoNoNo~

免费开源的宝藏套件 PaddleGAN 的能力当然不止于唇形迁移/生成的技术,里面满满都是种类丰富、趣味的图像/视频生成、处理能力。热门的前沿模型,如 AnimeGANv2、GauGAN、First Order Motion 等模型等待大家探索。

如图像风格迁移、视频修复、图像超分辨率、人像动漫化、照片动漫化、人脸编辑等等。

PaddleGAN 就如一个「游乐场」,欢迎各位「玩家」加入,体验各类「游戏设施」,无需门票,如果玩得开心,记得点 Star 支持下~

https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

点击链接:https://aistudio.baidu.com/aistudio/projectdetail/3156519?ref=baiduai2 ,了解更多详情

收藏
点赞
0
个赞
共2条回复 最后由用户已被禁言回复于2022-04
#5用户已被禁言回复于2022-04

http://search.pudn.com/Download?keyword=%E5%B1%B1%E4%B8%9C%E6%96%B0%E6%B3%B0%E7%BD%91%E4%B8%8A%E9%BE%99%E8%99%8E%E3%80%90%E5%AE%98%E7%BD%91%E2%86%92TL262%C2%B7C%EF%BC%AFM%E3%80%91%E8%8D%86%E5%B7%9E%E4%BA%BA%E6%89%8D%EF%BC%B9%EF%BD%8E http://so.v.ifeng.com/video?q=%E7%BC%85%E7%94%B8%E8%80%81%E8%A1%97%E9%87%91%E9%BC%8E%E8%B5%8C%E5%9C%BATL262%C2%B7C%EF%BC%AFM%E6%B1%A0%E5%B7%9E%E7%83%AD%E6%90%9C%EF%BC%B8&c=5 http://v.qq.com/x/search/?q=%E9%87%91%E5%B1%B1%E8%B4%B5%E5%AE%BE%E4%BC%9A%E6%89%8B%E6%9C%BA%E7%89%88%E3%80%90%E5%AE%98%E7%BD%91%E2%86%92B2024%C2%B7CN%E3%80%91%E9%98%B3%E6%B3%89%E4%BA%BA%E5%8A%9B%E8%B5%84%E6%BA%90%EF%BC%BB%EF%BD%9A%EF%BF%A5?type=3 https://www.oschina.net/search?scope=news&q=%E6%96%B0%E9%87%91%E5%AE%9D%E5%AE%98%E6%96%B9%E5%85%85%E5%80%BC%E5%BE%AE%E4%BF%A1%E3%80%90TL262%C2%B7C%EF%BC%AFM%E6%AC%A2%E8%BF%8E%E6%82%A8%E3%80%91%E5%90%89%E5%AE%89%E7%83%AD%E6%90%9C%EF%BD%86&days=0&onlytitle=0&sort_by_time=0 https://quanmin.baidu.com/wise/growth/querypage?keyword=%E6%96%B0%E7%99%BE%E8%83%9C%E5%9C%A8%E7%BA%BF%E4%B8%8A%E5%88%86QQ%E6%8E%A8%E8%8D%90TL262%C2%B7C%EF%BC%AFM%E6%9F%B3%E5%B7%9E%E4%BA%A4%E7%AE%A1%E5%B1%80%EF%BD%90%EF%BC%BF%EF%BD%9D.htm

0
#2yugiohskyhigh回复于2021-12

越来越高级了,感觉可以整新的娱乐项目了

0
TOP
切换版块