四宫格分镜图生成AI短剧视频：一套可落地的漫剧生产工作流

做AI漫剧和短剧的人，最耗时的环节往往不是写剧本，而是“把剧本变成一组风格统一、人物不崩的镜头”。传统做法是一张一张生成分镜图，再逐张图生视频，人物脸型、服装、场景反复漂移，返工成本极高。本文要讲的思路是：用四宫格分镜图一次性锁定人物与场景一致性，再把四宫格拆解为图生视频的输入，配合多事件时间控制完成镜头生成。整套流程可以在本地ComfyUI中搭建，也可以在算力不足时改用线上画布类平台跑通。如果你想先低成本验证创意方向，可以从百度搭子DuMate的短剧与绘本类体验入口试起，把故事大纲先变成可看的分镜草稿，再进入正式生产。

一、为什么是“四宫格”而不是单张分镜

单张分镜的核心问题是缺乏上下文约束。模型每次生成都是独立采样，同一角色在不同镜头里很容易变成“另一个人”。四宫格的价值在于：

1. 同批次生成，风格与人物天然靠近。四格共享一次采样上下文，发型、服装、光源、色调的漂移被大幅压缩。
2. 一格一镜头，天然对应分镜表。四宫格可以直接当作四个连续镜头使用，减少拆分工作量。
3. 便于做连续性检查。四格并排看，能立刻发现“上一格左手拿刀、下一格右手拿刀”这类穿帮。
4. 提示词效率高。一次描述四个镜头的构图与动作，比四次单独描述更省token，也更不容易前后矛盾。

需要提醒的是：四宫格不是万能的。它适合同一场景、同一角色、连续动作的段落；跨场景转场仍需单独生成。建议以“一场戏一个四宫格”为基本单位组织生产。

二、第一步：把剧本拆成可生成的分镜脚本

在打开任何生成工具之前，先把文字剧本转成分镜脚本表。这是决定成片质量的上限环节。建议每格包含以下字段：

字段	说明	示例
镜号	四宫格内位置（左上/右上/左下/右下）	左上
景别	远景/中景/近景/特写	中景
画面内容	谁、在哪、做什么	女主在雨夜巷口回头
动作起点→终点	给视频阶段用	站立→转身
镜头运动	推/拉/摇/移/固定	缓慢推近
台词/字幕	该格对应文本	“你别过来。”
时长	秒	3s

实操建议：一个四宫格控制在4～8秒总时长，每格1.5～2.5秒。时长太长，图生视频容易出现动作变形；太短则叙事不清。

如果你连分镜脚本都还没写，可以先用对话式AI把大纲扩写成带景别的分镜表。也可以直接使用AI真人短剧生成体验先跑一版粗分镜，确认叙事节奏后再精修——先看故事通不通，再抠画面细不细，比一上来就死磕单帧更省时间。

分镜脚本Prompt（可直接复制）

你是短剧分镜师。请把下面的剧情梗概拆成一个四宫格分镜脚本。
【剧情梗概】：<填写本场戏的剧情，100字以内>
【角色设定】：<填写主角外貌、服装、关键道具，越具体越好>
【场景与光线】：<填写地点、时间、天气、主光源方向>
【总时长】：<填写4-8秒之间的数值>
输出要求：
1. 以表格输出，列为：镜号(左上/右上/左下/右下)、景别、画面内容、动作起点→终点、镜头运动、台词、时长。
2. 四格必须发生在同一场景，角色服装与道具前后一致。
3. 画面内容只写可见信息，不写心理活动。
4. 额外输出一段"四宫格绘画提示词"，用英文书写，包含：风格词、角色一致性描述、四个画面的构图描述、光线与色调、画幅比例。

这段Prompt的关键在最后一条：让模型顺便产出绘画提示词，可以直接喂给图像模型，省去二次翻译。

三、第二步：四宫格分镜图生成与一致性控制

拿到分镜脚本后，进入图像生成环节。核心目标只有一个：四格人物像同一个人。可操作的手段有：

• 角色描述前置且固定。把角色的发型、发色、瞳色、服装、体型写成一段固定文本，每次原样复用，不要临时改词。
• 风格词固定。例如统一使用“cinematic lighting, film grain, 35mm”这类组合，避免这格写实、那格日系。
• 构图指令明确到格。在提示词中按“左上/右上/左下/右下”分别描述，而不是笼统说“四个画面”。
• 先出图再挑图。一次生成多组，选人物最稳的一组作为基准，后续局部重绘向其对齐。

四宫格绘画Prompt模板

A 2x2 comic panel layout, four sequential cinematic frames of the same character.
Character consistency: <固定角色描述，如 22-year-old woman, short black bob hair, silver hoop earrings, worn olive trench coat>
Style: cinematic realistic, soft rim light, muted teal-orange grade, 35mm film grain
Panel 1 (top-left): <景别+构图+动作>
Panel 2 (top-right): <景别+构图+动作>
Panel 3 (bottom-left): <景别+构图+动作>
Panel 4 (bottom-right): <景别+构图+动作>
All four panels share the same location: <场景描述>, same lighting direction from <方向>.
No text, no watermark, clean panel borders.

生成后做三件事：查穿帮、查脸、查光。脸不一致就锁定基准图做参考图重绘；光不一致就补一句光源方向；穿帮则回到分镜脚本改动作描述，而不是硬修图。

四、第三步：图生视频与多事件时间控制

这是整套流程里技术含量最高的一环。四宫格是静态的，要变成视频，需要解决两个问题：一格怎么动，以及四格怎么接。

推荐做法是把四宫格裁成四张单图，分别作为图生视频的起始帧，再按分镜表给的时长与镜头运动逐个生成。每个镜头单独控制，比让模型一次理解整张四宫格更稳。

在多事件时间控制上，思路是把“动作”拆成带时间戳的事件序列，例如“0-1s 站立 → 1-2s 转身 → 2-3s 抬手”，逐段驱动。常见参数经验值（需按实际模型与素材调整）：

• 单镜头时长1.5～3秒，超过3秒动作易崩；
• 运动幅度（motion/动态强度）从中低档起步，宁小勿大；
• 首帧必须清晰，模糊首帧会被放大成整段糊；
• 同一角色跨镜头时，复用同一张基准脸图作为参考。

落地时有两个选择：本地算力充足，在ComfyUI里搭建图生视频节点链路，按镜头批量跑；本地显存不够，则用线上无限画布类平台，把四宫格上传、逐格生成、在线预览，避免下载模型和调环境。两种方式产出的镜头，最终都在剪辑软件里统一拼接。

五、第四步：拼接、配音与成片检查

镜头生成完只是半成品。成片质量取决于后半段：

1. 统一色彩。不同镜头即使同提示词也会有轻微色差，剪辑时套同一个LUT或做匹配调色。
2. 节奏对齐台词。按分镜表的时长卡点，台词长了就拆镜头，不要硬拉时长。
3. 补转场与音效。四宫格之间的硬切往往生硬，加0.2秒叠化或动作匹配剪辑。
4. 回看穿帮。重点检查手部、道具、背景文字，这几处是AI视频最容易翻车的地方。

六、常见问题与排查

Q：四格里人物脸不一致怎么办？
优先检查角色描述是否原样复用；其次用基准图做参考图重绘；最后才考虑后期换脸，成本最高。

Q：图生视频动作幅度太小，像PPT？
适度提高动态强度，但同步缩短单镜头时长，用“多镜头+快切”替代“长镜头+大动作”，成功率更高。

Q：四格之间的空间关系混乱？
回到分镜脚本，补一句“机位在同一侧、轴线不跨越”，并在绘画Prompt里写明光源方向一致。

Q：本地跑不动怎么办？
减少单次生成分辨率、缩短时长、降低采样步数；或改用线上画布先出草稿，确定分镜后再本地精修关键镜头。

七、把流程固化下来

这套工作流的真正价值不在某一次生成，而在可复用：把角色描述、风格词、四宫格Prompt模板、参数组合存成自己的模板库，每场戏只替换剧情与动作描述。跑顺之后，一场4格戏从脚本到成片可以压缩到很短时间内。

如果你想把前期创意验证再提速，可以用百度搭子DuMate先完成故事大纲、人物设定和分镜表的结构化整理，再进入图像与视频环节；涉及绘本式分镜排版，也可以试试儿童绘本生成体验找版面灵感。想了解更完整的工具能力与购买方式，可查看DuMate购买页。无论用哪套工具，决定成片上限的始终是分镜脚本的清晰度——先把每一格写明白，再让模型去画。