即梦强大的3.0在生图稳定性上的确进步不少,可以说史诗级的进步不为过,上节课我们展示过很多用即梦生图产生的效果一点不输MJ,在中文提示词生态方面绝对超越Runway等洋模型。
但是即梦在动作连续性上还存在不少进步的空间。
第一章 效果
蜻蜓先落在荷叶上,然后轻轻的盘旋飞起,又落下来。这样动作连续的画面对即梦来说就较难完成。解决的办法就是一张参考图,先生落在荷叶上,再生成盘旋的视频,再参考生成飞落视频,用剪映将三个视频拼接起来。说实话一个5s不到的镜头这么折腾也挺不容易的。
尤其是对于盘旋这个词的理解更是一般,蜻蜓没有扇动翅膀不说,而且是自动漂浮,压根是不理解盘旋。
接下来展示研究方法,先看效果:经过测试还真让张老师找到了一个算是解决问题的方法。
看提示词:
1.0-1s蜻蜓振翅(高频闪动),足尖弹离花瓣带起水珠(抛物线轨迹),身体急升 45° 角。
2.1-3s顺时针急转弯(半径 0.5m),侧飞展示腹部(倾斜 60°),翅膀划出 2 道弧形尾流(半透明动态模糊),高度骤降 0.3m 制造俯冲感。
3.3-5s: 翅攻角骤增 30° 急停,六足吸盘触瓣瞬间(微距对焦足尖),身体 0° 垂直贴瓣,翅膀收至 45° 静止,花瓣微颤弹起露珠。
看到这套提示词是不是豁然开朗,将一套动作按照时间顺序拆分为三个图片,让AI控制时间段内的图片生成然后再合并起来。
第二章 原理解析
AI生图训练过程中主要是通过文字对大量视频进行标记,标明镜头类型、场景描述在加上一些其他细节。如果我们按照训练方式去写自己的提示词,当然得到正确视频的概率会大大增加。
那么生视频提示词的结构是怎样的呢?是不是跟生图一样?
文生视频:一般包括主体元素+运镜效果+其他元素。
图生视频:一般只包括运镜效果+其他细节。因为图生视频中人物、场景、一般都可以通过图片展示出来,我们只需要调整运动和运镜即可。
不难看出运镜效果是非常重要的元素,不管是文生视频还是图生视频,运镜就是我们拍摄基本功。包括摄像机的拍摄角度,拍摄形式,拍摄距离和移动方式。
拍摄角度,主要包括一些视角:
编号 | 拍色角度 | 拍摄形式 | 拍摄距离 | 镜头移动 |
1 | 高角度 | 无人机视角 | 远景 | 平移 |
2 | 低角度 | 手持相机 | 中景 | 旋转 |
3 | 头顶上方 | 鱼眼镜头 | 近景 | 环绕 |
4 | 平摄 | 超广角 | 特写 | 追踪 |
5 | 仰拍 | 定向拍摄 | 微距摄影 |
接下来我们使用上面表格中的知识进行图生视频练习:
提示词:FPV视角,跟踪一只蜻蜓,飞入花丛中。
提示词:低角度拍摄,巨大的机甲战士,穿越战场废墟
提示词:高角度拍摄,跟踪一只在海洋中游泳的巨兽
提示词:摄像机从巨大的机甲顶部环绕拍摄,下方是平静的海洋,呈现波澜壮阔的大场面。
当然这些只是皮毛,关键是要想生成准确的视频,借助AI生成提示词是必要的,关键是掌握提示词的写法和相关的拍摄原理,如果单纯想用AI生成内容,而不具备拍摄的原理和技巧那注定是没办法做好的。