5分钟系列：5分钟学会2023年最火的AI绘画（AI视频制作、批量图生图）-AIGC-AI绘画部落

目前AI视频制作有很多种方式，比如常规的批量图生图、mov2mov、多帧参考渲染、Ebsynth、Deforum，其中

批量图生图：好理解、可控性强、需要手动视频与帧序列互转、闪烁问题严重
mov2mov：好理解、可控性稍弱、本质也是图生图、无需要手动视频与帧序列互转、闪烁问题严重
多帧参考渲染：多帧之间进行参考图生图，本质也是图生图，网上说效果比较好，但速度极慢（写本文为止还未成功渲染出一个完整视频，多种插件、参数、Stable Diffusion都尝试过未果，遂放弃）
- 官网参考：https://xanthius.itch.io/multi-frame-rendering-for-stablediffusion

Ebsynth：操作复杂、步骤多、上手难度高，参数不合理效果不好、闪烁问题稍好
Deforum：操作复杂、步骤多、上手难度超高，参数不合理效果比较阴间
- https://github.com/deforum-art/deforum-stable-diffusion

本文不介绍其他复杂的操作，只介绍最基本的图生图和mov2mov，上手难度低，效果好

批量图生图

首先找一段视频，视频最好选择角色脸部占画面比例比较大的，太小了脸图生图重绘出来会崩，比如下面这种就合适，找到后可以先直接到图生图中选择一个模型先重绘一遍试试，这就是最终生成视频的这一帧的效果，如果反复调整效果都不好，建议放弃这个视频，要么是视频选的不对或者模型、tag等有问题，所以不要浪费时间重绘整个视频了，这一帧都没有好效果那么重绘所有帧出来的效果肯定也是不好的，这一点需要注意。

视频可以去抖音等视频平台找，横竖均可，长度在10s左右，10s每秒24帧都是240帧，每帧重绘半分钟都是120分钟，两个小时，不宜选择过长，根据实际情况选择，视频找好以后需要选取其中合适的片段转换成帧序列，这里使用ffmpeg命令转换，这种简单的操作就不需要上剪辑工具了

ffmpeg命令安装如下，下载对应平台的二进制ZIP包

https://github.com/BtbN/FFmpeg-Builds/releases

下载好ZIP包以后放置到系统的环境变量

目录，在命令行输入ffmpeg -version有版本信息提示说明安装成功，接下来就是处理视频。视频处理的思路是先找到原素材中需要的片段，这部分操作使用ffmpeg命令如下（假设下载的文件为video_download.mp4）

ffmpeg -ss 00:00:01 -t 00:00:10 -i video_download.mp4  -vcodec copy -acodec copy video_download_10s.mp4

-ss 00:00:01：表示从第一秒开始
-t 00:00:10：表示持续10s
video_download_10s.mp4：最终生成的文件

剪辑好以后使用下面命令转换成帧序列

ffmpeg -i video_download_10s.mp4 -r 24 -f image2 %03d.png

-r 24：表示每秒转换成24帧
%03d.png：表示帧序列命名规则，如001.png、002.png、244.png

转换完成后将所有帧移动到新的目录待用，假设新目录为input，下面命令表示新建input目录给并且将png文件全部移动到input目录中

mkdir input && ls | grep png | xargs -i mv {} input && ls -lh input | wc -l

此时素材即准备好了，然后随便找一张调调效果，其实之前最开始就做过这一步，这里演示下如何做这一步，注意以下几点

提示词可写可不写，可以写一点通用的，如

正:best quality, realistic

, highres,masterpiece,photorealistic, ultra realistic 8k cg,perfect artwork,epic,intricate detail, delicate pattern

反:low quality,normal quality, worst quality,
bad anatomy

, extra breasts,extra nipples,extra hands,bad legs, bad feet,extra feet, bad fingers

,confused fingers, extra fingers

ControlNet一定要打开，显存小就开一个，显存多可以多开，输入的图片以img2img页面中的图片为主要输入源，下面ControlNet的图片输入源可不用输入，会自动读取上面的img2img页面中的图片，并且需要开启预处理器

，此处使用hed模型，相较于canny

，细节会多一些，另外需要开启Guess Mode，效果会好很多
不要忘记调整分辨率，最好和原图一致，方便后续处理
适当调整重绘幅度
找到好的种子后最好确定下来

整体如下图所示

这一帧效果如下，效果还不错现在就确定它的种子值，此处心里应该就有预期后续每一帧都和这个效果差不多，如果这帧无论如何都调不好可能考虑换视频、换模型、换参数

最后就很简单了，在图生图中选择Batch批处理，填好Input目录和Output目录，点击生成即可，此处ContrlNet会自动读取批处理中每一张的输入图片，这点很重要，相当于对每一张图都做了ContrlNet！

最后就是一系列渲染好的帧，如下图所示，240帧使用4070ti渲染了大概40分钟，每分钟大概6帧

最后再将帧转换成视频，使用如下命令

ffmpeg -r 24  -f image2 -i %03d.png output.mp4

最后还可以将原视频和生成的视频做一个左右对比的视频，下面命令会将输出的视频放在左边，原始视频放到右边

ffmpeg -i output.mp4  -i video_download_10s.mp4  -filter_complex hstack -vsync 2 compare.mp4

如下图所示

最后奉上转换前后的视频：

AI视频制作2675 播放 · 1 赞同视频

mov2mov

可参考项目地址，在WebUI中Extensions > Install from URL进行安装即可，安装完成后重启WebUI

https://github.com/Scholar01/sd-webui-mov2mov

mov2mov，就是下面这个界面，和图生图差不都，也有ControlNet，比批量图生图方便在不用使用ffmpeg转换帧序列，但是用下来效果略比批量图生图差一些，不知道是哪里参数每调整对，而且无法针对某一帧进行预览，批量图生图生成帧序列后可以随机抽一帧渲染看看效果，喜欢手动挡的就mov2mov吧，喜欢自动挡的就批量图生图