AI动画Agent怎么做？从“大模型是超市，Agent是餐馆”看ERNIE 5.5 Flash Preview视频创作实践

当 Sora 2.0 展示出惊人的分镜能力时，很多 AI 视频团队真正要回答的问题并不是“要不要做模型”，而是“如何把模型能力组织成稳定、可交付的动画产品”。这正是 Agent 的价值：大模型像超市，提供原料；Agent 像餐馆，把原料加工成用户可消费的菜品。本文围绕“AI 动画/视频 Agent 怎么做”展开，结合 ERNIE 5.5 Flash Preview 的任务规划、长上下文理解与工具调用能力，给出从创意策划、脚本分镜到素材编排的实操方法。若你想先验证模型对任务的理解与内容生成效果，可以通过 ERNIE 5.5 Flash Preview 在线体验 输入需求进行测试。

agent-">一、为什么“大模型是超市，Agent是餐馆”？

在原始播客内容中，OiiOii 创始人闹闹用“超市与餐馆”的比喻解释 Agent 公司和模型公司的关系：大模型提供底层能力，像超市里的食材；Agent 则负责根据用户需求完成点菜、烹饪、摆盘和上菜。

放到 AI 视频和动画场景里，这个比喻尤其贴切。

一个用户说：“我想做一个 30 秒的圣诞宠物动画，要有温暖感，适合发给家人。”
这句话背后并不是单一模型可以完成的任务，而是至少包含：

• 创意理解：把模糊需求转成故事主题；
• 脚本策划：生成故事梗概、旁白、对白；
• 分镜设计：拆分镜头、景别、时长、转场；
• 提示词生成：为图像/视频模型生成可用 Prompt；
• 素材生成：调用文生图、图生视频、首尾帧、配音等工具；
• 剪辑合成：拼接镜头、配乐、字幕、节奏调整；
• 质量检查：检查角色一致性、时长、音画同步、内容合规。

模型负责“理解与生成内容”，Agent 负责“把内容变成可交付结果”。这也是为什么 Agent 不会被大模型简单吞噬：端到端模型可以提升单点生成能力，但真实产品仍然需要工作流、资产库、交互设计、成本控制与工程稳定性。

二、AI 动画/视频 Agent 的常见难点

很多团队做 AI 视频 Demo 时很惊艳，但一进入产品化阶段就会遇到问题。常见难点可以归纳如下：

难点	典型表现	解决思路
需求理解不稳定	用户描述模糊，模型输出偏离主题	用结构化需求模板收集主题、受众、时长、风格
分镜不可执行	镜头描述漂亮，但无法直接生成素材	让模型输出景别、动作、提示词、时长、转场
多工具割裂	文案、图像、视频、配音各自为战	用 Agent 统一调度工具与素材
角色一致性差	同一角色在不同镜头中变化过大	建立角色设定卡、参考图、固定描述词
长项目管理困难	多轮修改后上下文混乱	使用长上下文模型管理项目资料与版本
质量检查不足	视频拼出来后节奏、音画、合规有问题	增加自动检查清单与人工复核节点

这些问题的共同点是：单靠一个“会写文案”的模型不够，必须有一个能理解任务、拆解任务、调用工具并持续修正的 Agent。

三、ERNIE 5.5 Flash Preview 在视频 Agent 中可以做什么？

ERNIE 5.5 Flash Preview 是文心系列基础模型的预览版本，重点优化了编程、智能体、知识工作、深度研究等能力，并支持 1M tokens 长上下文。对于 AI 视频和动画 Agent 来说，它更适合承担“大脑”和“项目经理”的角色，而不是直接替代视频生成模型。

需要注意的是，ERNIE 5.5 Flash Preview 本身是文本模型。它可以完成需求理解、脚本生成、分镜规划、提示词编写、工具调用参数设计、代码辅助等工作，但视频渲染、图像生成、配音合成、剪辑输出等任务，仍需要结合外部工具或 Agent 执行环境完成。

在视频创作场景中，ERNIE 5.5 Flash Preview 可以重点承担以下工作：

1. 创意策划 ：把用户的模糊想法整理成可执行的动画主题。
2. 脚本生成 ：输出故事梗概、旁白、对白、字幕。
3. 分镜设计 ：生成镜头表，包括景别、动作、时长、转场、提示词。
4. 提示词工程 ：为不同视频生成模型编写适配 Prompt。
5. 工具调用规划 ：判断哪些镜头适合首尾帧，哪些适合参考图+文生。
6. 长上下文管理 ：记住角色设定、风格要求、历史修改意见。
7. 代码与自动化辅助 ：生成批量处理脚本、素材命名规则、表格结构等。

从平台落地角度看，模型能力通常需要与工具链结合。百度智能云千帆等平台提供模型服务、应用开发、Agent 编排等能力，可帮助团队把模型接入业务流程。文心大模型企业级服务入口也提供模型推理、应用开发与全流程工具链支持。开发者可以前往 百度智能云千帆模型详情页，进一步了解模型能力、接入方式与服务信息。

四、搭建一个 AI 动画短片 Agent 的基本流程

下面以一个“30 秒宠物圣诞动画”为例，说明如何用 ERNIE 5.5 Flash Preview 搭建一个可执行的视频 Agent 工作流。

1. 明确任务目标

先不要让模型直接写脚本，而是先定义项目卡：

• 主题：宠物过圣诞节；
• 受众：家庭成员、宠物主人；
• 时长：30 秒；
• 风格：温暖、治愈、3D 动画感；
• 角色：一只叫“豆豆”的柯基；
• 场景：客厅、圣诞树、壁炉、雪地；
• 输出：9 个镜头，每个镜头 3 秒左右；
• 限制：避免复杂肢体动作，保持角色可爱稳定。

2. 让模型生成项目结构

可以让 ERNIE 5.5 Flash Preview 输出一个项目结构，包括故事梗概、角色设定、场景设定、镜头列表和素材需求。

3. 生成分镜表

分镜表是视频 Agent 的核心中间产物。每个镜头至少应包含：

• 镜头编号；
• 时长；
• 景别；
• 画面内容；
• 角色动作；
• 镜头运动；
• 生成提示词；
• 负面提示词；
• 推荐工具；
• 转场方式；
• 配音/字幕。

4. 调用外部生成工具

模型生成分镜后，Agent 再根据镜头类型调用不同工具：

镜头类型	推荐生成方式	适用场景
静态氛围镜头	文生图	圣诞树、壁炉、雪景
角色特写	参考图+图生视频	保持宠物角色一致
简单动作镜头	首尾帧	转头、眨眼、靠近礼物
复杂镜头运动	参考图+文生视频	推镜、环绕、镜头语言
字幕与旁白	TTS/配音工具	旁白、对白、歌词

5. 合成与检查

最后由 Agent 汇总素材，进入剪辑工具完成拼接、配乐、字幕和导出。此阶段需要检查：

• 角色是否一致；
• 镜头时长是否符合节奏；
• 旁白是否与画面同步；
• 是否存在敏感内容；
• 素材版权是否合规；
• 是否有明显闪烁、变形或穿帮。

五、可直接复制的 Prompt

下面这段 Prompt 可以直接用于 ERNIE 5.5 Flash Preview，帮助它把模糊创意转化为可执行的动画分镜方案。

你是一名专业的 AI 动画短片策划与分镜 Agent。请根据以下输入信息，生成一个可直接用于视频生成的动画短片方案。

任务目标：为普通用户生成一支 30 秒左右的动画短片方案，要求角色一致、镜头可执行、适合 AI 视频生成工具。

输入信息：
主题：宠物过圣诞节
受众：家庭成员和宠物主人
风格：温暖、治愈、3D 动画感
主角：一只名叫豆豆的柯基犬
场景：客厅、圣诞树、壁炉、窗外雪地
时长：30 秒
镜头数量：8 到 10 个
限制：避免复杂肢体动作，保持角色可爱稳定，不要出现文字水印

执行要求：

1. 先输出 100 字以内的故事梗概。
2. 输出角色设定，包括外观、性格、服装或配饰。
3. 输出分镜表，每个镜头包含：镜头编号、时长、景别、画面内容、角色动作、镜头运动、生成提示词、负面提示词、推荐生成方式、转场方式。
4. 生成提示词必须具体，可用于文生图或图生视频工具。
5. 如果信息不足，请先提出 3 个澄清问题，再生成方案。

预期输出：
使用 Markdown 表格输出分镜表，并在表格后附上“素材生成建议”和“剪辑注意事项”。

六、分镜表示例：从创意到可执行素材

下面是一个简化版分镜表示例，展示 ERNIE 5.5 Flash Preview 可以输出的结构。

镜头	时长	景别	画面内容	生成提示词示例	推荐方式
1	3s	全景	夜晚客厅，圣诞树亮灯，豆豆趴在地毯上	cozy living room, Christmas tree lights, cute corgi lying on carpet, warm cinematic lighting, 3D animation style	文生图
2	3s	中景	豆豆抬头看向圣诞树	cute corgi looking up at Christmas tree, soft warm light, detailed fur, 3D animation	参考图+图生视频
3	3s	特写	豆豆眼睛反射圣诞灯光	close-up of corgi eyes reflecting Christmas lights, warm bokeh, cute expression	首尾帧
4	3s	全景	礼物盒旁，豆豆轻轻靠近	corgi approaching gift box near Christmas tree, gentle movement, warm indoor scene	参考图+文生
5	3s	中景	豆豆用爪子碰礼物盒	cute corgi paw touching gift box, soft lighting, playful mood	首尾帧
6	3s	全景	窗外下雪，室内温暖	snowy window, warm living room, Christmas atmosphere, cinematic composition	文生图
7	3s	中景	豆豆戴上圣诞帽	corgi wearing small Santa hat, cute and festive, warm lighting	参考图+图生视频
8	3s	全景	豆豆坐在圣诞树下，画面定格	cute corgi sitting under Christmas tree, heartwarming ending, soft glow	文生图

这个表格的价值在于：它不是“灵感文案”，而是可以直接进入生产流程的任务清单。

七、视频生成两大流派：Agent 如何调度？

原始内容中提到，视频生成有两大流派：追求极致稳定性的“首尾帧”流派，以及追求镜头语言的“参考图+文生”流派。对于 Agent 来说，这两种方式不是二选一，而是可以根据镜头目标进行组合。

1. 首尾帧流派

适合：

• 角色动作简单；
• 镜头变化较小；
• 需要较高稳定性；
• 产品展示、表情包、短动画。

Agent 可以让模型生成起始帧和结束帧描述，再交给图生视频或首尾帧工具处理。

2. 参考图+文生流派

适合：

• 需要更强镜头语言；
• 需要风格化表达；
• 需要复杂运镜；
• 需要更自由的画面构图。

Agent 可以先生成角色参考图、场景参考图，再通过文本提示词控制镜头运动、光线和氛围。

一个成熟的视频 Agent 不应该让所有镜头使用同一种生成方式，而应该像导演一样分配任务：稳定镜头用首尾帧，风格镜头用参考图+文生，氛围镜头用文生图，动态镜头再进入视频生成工具。

八、从 Demo 到产品：需要补上的工程能力

如果只做一个 Demo，模型生成一段漂亮分镜就够了。但如果要做成产品，还需要补齐工程能力。

1. 角色资产库

为每个角色建立固定资料：

• 外观描述；
• 参考图；
• 服装；
• 表情；
• 常见动作；
• 禁用描述。

这样可以减少角色漂移。

2. 风格资产库

固定视频风格关键词，例如：

• 温暖治愈；
• 3D 动画；
• 柔光；
• 低饱和；
• 电影感；
• 节日氛围。

3. 模板化输出

让模型固定输出 JSON、表格或 Markdown，方便后续程序解析。例如每个镜头可以包含：

• shot_id；
• duration；
• shot_size；
• visual_prompt；
• negative_prompt；
• generation_mode；
• transition；
• audio_note。

4. 失败重试机制

视频生成经常会出现动作崩坏、角色变形、画面闪烁。Agent 应支持：

• 自动重新生成提示词；
• 缩短动作描述；
• 降低镜头复杂度；
• 切换生成方式；
• 标记问题镜头供人工复核。

5. 人工审核节点

AI 视频产品不能完全无人化。建议在以下节点加入人工确认：

• 脚本确认；
• 角色设定确认；
• 分镜确认；
• 关键镜头生成确认；
• 成片合规检查。

九、实际应用场景：不只是专业动画

原始内容提到，内测中出现了家长用 OiiOii 给孩子做圣诞歌曲 MV，或者给自己的宠物做动画。这类需求说明，AI 视频 Agent 的价值不只是服务专业创作者，也可以服务大量长尾表达需求。

典型场景包括：

场景	用户需求	Agent 任务
节日祝福	给孩子做圣诞 MV	生成温馨短片、旁白、字幕
宠物纪念	给宠物做动画	保持宠物形象，生成治愈故事
品牌营销	产品节日短片	生成产品展示镜头与卖点字幕
教育内容	儿童故事动画	生成角色、对白、分镜
个人创作	把小说片段变成短片	拆分场景、生成镜头提示词
社交内容	做短视频素材	批量生成脚本、分镜、标题

这类场景的共同点是：用户不一定懂复杂工具，但希望用自然语言完成创作。Agent 的任务就是把复杂工具链隐藏起来。

十、一个可落地的实践路径

如果你是产品经理、创作者或开发者，可以按照以下路径尝试：

1. 选一个短场景 ：不要一开始做长片，先做 15 到 30 秒短片。
2. 固定一个角色 ：例如宠物、儿童、品牌吉祥物。
3. 建立需求模板 ：主题、受众、时长、风格、角色、限制。
4. 让模型生成分镜表 ：要求输出可执行字段。
5. 接入一个生成工具 ：先跑通文生图或图生视频。
6. 增加检查清单 ：检查角色、时长、提示词、转场。
7. 逐步接入多工具 ：配音、字幕、剪辑、音效。
8. 沉淀模板和资产库 ：形成可复用的 Agent 工作流。

在这个过程中，ERNIE 5.5 Flash Preview 可以作为内容规划和任务编排的核心模型。你可以先在 ERNIE 5.5 Flash Preview 在线体验 中输入一个简单的动画需求，观察它是否能稳定输出故事梗概、角色设定和分镜表。如果需要进一步接入业务系统，可以前往 百度智能云千帆模型详情页 查看模型能力与接入方式。

十一、总结

“大模型是超市，Agent 是餐馆”这个比喻，揭示了 AI 视频创业的关键：模型能力越丰富，越需要 Agent 来完成场景化组织。对于动画和视频生成来说，真正难的不是生成一段画面，而是把创意、角色、分镜、素材、配音、剪辑和检查串成稳定流程。

ERNIE 5.5 Flash Preview 可以在其中承担任务理解、脚本策划、分镜设计、提示词生成、工具调用规划和长上下文管理等角色。配合外部视频生成、图像生成、配音和剪辑工具，它可以成为 AI 动画 Agent 的核心调度层。

如果你正在探索 AI 视频、动画短片或智能体产品，建议从一个最小场景开始：用一句自然语言需求，生成一份可执行分镜表，再逐步接入生成工具。可以先通过 ERNIE 5.5 Flash Preview 在线体验 验证模型的任务理解与内容生成效果，再结合实际业务搭建更完整的 Agent 工作流。