Stable Diffusion|儿童绘本全流程制作分享
来源:极绘AI(jihuiai)
Stable Diffusion|儿童绘本全流程制作分享
今天分享一个怎样用Stable Diffusion制做儿童绘本,儿童绘本制作起来要稍微简单一些。
现在大多数的小孩或学生都会写作文,如果将小孩写的作文转化成一个生动的小视频,是不是能够提高学生的创作满足感,同时也能激发他们对阅读写作的热情呢?
一、前期准备
本文将要用到“Stable Diffusion”、“极虎漫剪”、“剪映”以及一个Stable Diffusion的插件“Agent Scheduler”。对了,也有绘本内容,绘本内容可以用AI语言大模型生成,或是若是有现有还可以,之后直接拷贝到一个Word文档上即可。
Stable Diffusion及其剪映我不介绍啦。
1.极虎漫剪前边分享小说转视频时有分享过这个工具,感兴趣的可以看一看。(本文仅用此工具里边智能分镜及其关键字推理)
极虎漫剪下载链接:https://tiger.easyartx.com/landing
极虎漫剪使用方法及其介绍:
Stable Diffusion|小说转视频/小说推文全流程制作分享
2.Agent Scheduler插件安装,Agent Scheduler是一个Stable Diffusion里面的一个批量生成图片的插件。
Github地址:https://github.com/ArtVentureX/sd-webui-agent-scheduler
有三种安装方法:
1.启动“Stable Diffusion”,点击“拓展”—“可下载”—在点击“载入拓展目录”,搜索关键字“Agent Scheduler”,点击“安装“,安装完成以后,重启一下“Stable Diffusion”即可。
2.从网址安装,拷贝Github的URL,将插件的URL粘贴到“扩展的git库房网址”上,在点击”安装“,安装完成以后,重启一下”Stable Diffusion“即可。
插件GithubURL:https://github.com/ArtVentureX/sd-webui-agent-scheduler.git
3.插件安装包安装,在Github下载该插件的安装包并安装到“Stable Diffusion”目录中的“extensions”文件夹中即可。
二、绘本制做
装好所有的插件及其工具以后,就可以去以后绘本啦。
1.首先,启动“Stable Diffusion”,并打开“极虎漫剪”。
2.开启“极虎漫剪”,没注册的能够点击右上角注册,已注册并登录的,点击“创作视频”,输入”项目名称”随后再点击“创建项目”。
3.点击中间“脚本文件导入”,分镜标志符挑选“根据“智能解析”分镜”然后点击“导入文件”挑选准备好的绘本导进即可。假如他已经分好镜了,最好使用“Excel”导进。
4.绘本导入了以后,它会自动帮我们进行智能分镜。分完镜以后,点击左上角的“推理关键字”按键,关键字推理完以后,点击“下一步”即可。
5.到了“批量制图”这一步以后,它也会将关键字翻译成英语,极虎漫剪就可以用到这里了,我们只需要这儿的分镜及其关键字。如果要接着用“极虎漫剪”能直接“逐渐制图”。之前已经阐述了应用“极虎漫剪”的办法,本文将介绍应用Stable Diffusion的插件“Agent Scheduler”来进行制作。
6.开启刚已启动的Stable Diffusion,选择一个用来制作绘本的大模型。
7.输入正向提示词和反向提示词。反向提示词用一个通用即可,正向提示词这里在最前面能加一些品质的提示词,随后后边的加上刚用极虎漫剪推理出的提示词。
对了,差点忘了!,点击工具栏上的“Agent Scheduler”插件,然后点击“暂停”,在咱们还未添加完所有镜头的提示词以前,最好先暂停,以避免在参数未设置好的时候便开始生成。
8.设定绘本生成参数值,这里根据自己的喜好设置一下就行。
9.设定好以上参数以后,点击“生成”下边的“排队”,它也会把这第一镜的提示词及其参数,发送至“Agent Scheduler”插件里边,然后将“任务ID”改成1或是第一镜的内容,这可以更清晰的看到每一镜参数值。
针对剩下的画面,只需将剩下镜头的提示词先后粘贴到正向提示词中,然后点击“排队”即可。生成参数可保持一致。
10.把所有的镜头添加完以后,能够检查一下看是否还有遗漏的或是是否有必须改的参数,然后点击左上角的“Resumer”便开始生成啦。
11.当图片生成结束后,点击“任务历史”可以查看刚产生的全部图片。假如对结果不满意,能够双击目录并调整提示词和参数。在调整后,点击右侧操作区的重新生成按键,即可重新生成该镜头的照片。对满意的照片能够,点击储存,将图片保存下来。
照片都准备就绪之后,能通过图片处理工具开展文本添加,从而,静态的绘本便得以展现。针对希望将其转化为视频的,能够继续往下看。
三、视频合成
在制作视频以前,我们可以利用绘本内容生成一段声频,便于后续更便捷地生成字幕。
1.开启“TTSMaker”,将绘本内容拷贝并粘贴到文本框中。接着,选择语言及其音质。如果想开展更多设置,可点击“更多设置”;若对此维持默认,只需点击“转换成语音”,即可生成声频。
TTSMaker连接:https://ttsmaker.com/
2.生成完成之后,点击下载音频即可。
3.音频生成完以后,开启“剪映”,将刚准备好的图片及其声频导入到剪映。
4.导进完成之后,可以把音频的气口处理一下。比如,假如某些地方的气口太长,可以稍微剪掉一些,这样会让听感更舒适。
5.处理完声频以后,就可以去生成字幕了,点击左上角的“文字”-“智能字幕”-“文稿配对”将绘本内容拷贝进来,然后点击逐渐配对。
6.字幕生成完成之后,选定全部的字幕,随后点击右侧有个锁的图标,将字幕锁定。(锁定字幕能够更方便的将图片与声频对上)
7.这一步就比较繁琐了,必须将图片跟声频对上。能够一边看“极虎漫剪”生成分镜,然后一边手动的将图片对上声频(假如怕麻烦,可以在“极虎漫剪”上完成)。
8.接下来可以将字幕颜色以及字体略微调整一下,然后添加一个背景音乐。
9.将背景音乐剪到一个合适的长短,随后背景音乐的声音调整到“-13.0dB”上下,随后配音的声音调整到“8.0dB”左右即可。保证背景音乐的声音不会超过配音的声音。
10.目前的照片还是静态的,这里能让照片略微动起来一些。比如,能够给每张照片添加上下或左右移动的关键帧,这样才能让整个视频从视觉上更加生动、有趣。
这里我将每一张图片都放大到了120%,并且给每一张图片都打了上下移动的关键帧(第一张照片的起点帧为100,完毕帧为-200;第二张照片的起点帧为-100,完毕帧为200,依此类推)。
11.到这儿就制作完成啦,如果还想加点物品,可以稍微加一些声效、特效等等。调整完以后,点击左上角的“文档”-“导出”导出视频。
四、最终
以上就是今天的所有分享。现在大多数小孩或学生都具有创作能力,如果把他们所写的作文转化成具备生动情节的绘本、短视频,或是以孩子或自己为主角生成绘本,将带来一种独特的画面感,让整个创作或阅读过程更加有趣。