Agentic优化：告别手动调参，解决图像转视频一致性难题

最近接了一个图像生成视频的需求：一张产品图，需要让产品在镜头里旋转、展示细节，同时保持外观和原图完全一致。第一版生成出来，静态帧还算接近，但只要一开始运动，颜色、轮廓、材质、光感就开始“漂”。于是我开始调 prompt、改采样步数、换随机种子、加负面提示……折腾了两个多小时，终于找到一版可用的。

但那个瞬间我很清楚：这不是“完成”了，只是“撞到了”一个结果。下一次换一张产品图、换一句 prompt，同样的经验可能又要重来一遍。

后来我慢慢意识到，Image-to-Video 生成里真正难的不是“生成”，而是“让生成结果稳定地跟随输入图”。我们习惯把这个词叫 Adherence。而要不要继续靠人工试错去追 Adherence，其实是一个值得重新思考的问题。这也是为什么我看到 Agentic Optimization 这个概念时会特别在意——它不是某种新模型，而是一种把试错过程变成“可评估、可迭代、可收敛”的自动化闭环的实践方式。这篇文章想围绕这件事展开：Adherence 难在哪，Agentic Optimization 是怎么解决问题的，以及落地时到底应该注意什么。

1. 先搞清楚 Image-to-Video 的 adherence 到底难在哪

很多人在第一次接触图像到视频生成时，会觉得“反正已经把一张图丢进去了，生成出来的视频当然会和这张图一致”。真跑一次就知道，事情远没有那么简单。

1.1 生成结果不跟随，往往是几类问题的叠加

一次看起来“不跟随”的生成结果，很少是单一原因造成的。实际落地时，我一般会把问题拆成四类来观察：

• 首帧相似度问题：视频第一帧是否保留了输入图中的主体、构图、色调和关键细节。如果首帧就跑偏，后面基本不可能修正。
• 时空一致性问题：视频在运动过程中，主体是否发生变形、闪烁、局部扭曲。这是 I2V 里最常见也最头疼的问题，尤其是人物面部、手部、产品 logo 这类敏感区域。
• 语义跟随问题：动作、镜头运动、场景变化是否符合 prompt 描述。比如“缓慢推近”会不会变成了“快速缩放”。
• 风格与氛围问题：整体的光线、氛围、材质质感是否和参考图保持统一。这部分很主观，但观众一眼就能感觉到“不像”。

这四类问题经常同时出现。你调了 prompt 去修正动作，结果主体一致性反而更差；你降低图像引导权重让运动更自然，结果首帧又不再是那张图。它们互相牵制，所以很多人在调参时会进入一种“拆了东墙补西墙”的循环。

1.2 传统 prompt 试错为什么只能凭感觉

常见的调试路径是：换关键词、给关键词加权重、调整表情或动作描述、改变 seed、增大和减小引导系数。这些动作看似在“优化”，但本质上都是在猜。

问题在于，生成模型对输入的响应是非线性的。某个词从第 3 位挪到第 5 位，可能结果就完全不一样；一个看似无关的“4k”或“cinematic lighting”可能比真正描述主体的词影响更大。这种复杂的耦合关系，让人很难建立一个稳定的因果直觉。

另一个更本质的问题：试错过程缺少一个可量化的目标。你判断“这版更好了”是靠肉眼，但“好了多少”说不出来；你又换了一个动作，结果“好像差了”，但不知道是随机性造成的还是动作本身有问题。没有数值、没有方向、没有历史记录，最后只能靠经验和运气。

所以传统试错并不完全是“不努力”，而是它天然缺少闭环：它最关键的决策，也就是“下一步怎么改”，完全依赖人的主观判断。这种判断在大脑里发生，既不可记录，也很难复制。

1.3 有一个核心转变：从“调参”到“定义目标”

如果换一个角度看这个问题，会发现真正需要改进的并不是某一个参数，而是整个工作方式。

传统方式里，目标存在人的脑子里。你觉得画面“不够动感”，就会去加运动词；你觉得画面“不像原图”，就会去提高图像引导强度。系统并不知道你想要什么，它只是在被动接受你的每次输入。

Agentic Optimization 的出发点正好相反：你要先定义“什么叫做 Adherence 好”，然后把这个问题翻译成一套可以计算、可以评估的信号。系统拿到这些信号后，会自动尝试不同的动作，根据反馈结果决定下一步怎么调整。

这不是“要不要调参”的问题，而是把调参这件事从“人的直觉判断”变成“系统化的闭环优化”。这个转变看起来很简单，但它决定了后续所有步骤能不能规模化。

2. Agentic Optimization：把试错过程交给一个会自动观察和调整的决策系统

“Agentic”这个词最近在技术圈出现频率很高。但在 I2V 这个上下文里，它并不是指某一个模型突然有了“智能”，而是一种更工程化的流程设计。

2.1 不是单个模型，而是一套带反馈的协作流程

我理解下的 Agentic Optimization，更像是一组角色在协作：一个角色负责生成视频，一个角色负责评估结果，一个角色负责决定下一步动作，还有一个循环机制让整个过程可以反复迭代。

它和你手动调 prompt 的流程在逻辑上一模一样：看到当前结果，判断哪里不符合预期，决定怎么修改，再生成下一版。差别在于，这些步骤不再完全依赖一个人在桌面前凭感觉执行，而是由一套流程和数据自动完成。

换个类比：传统方式像一间只有摄影师和修图师的影棚，每拍一张都要人肉眼查看、手动调整灯光和机位；Agentic Optimization 则更像是给影棚加了一套“实时回放和自动调参系统”，它能告诉你当前画面和参考样例差了多少，然后自动尝试几种不同的布光方案，再选出最接近目标的那一版。

2.2 核心模块：生成器、评估器、策略体、目标信号

一个最小可用的 Agentic Optimization 流程，通常需要四个部分：

这四个部分不是必须一开始就全部做得很重。你可以先用一个脚本组合起来，跑通一条样例，再逐步做厚。

2.3 它和 AutoML / 网格搜索的区别在哪里

有些人会问：这不就是自动化调参吗？AutoML、网格搜索不是早就有了？

确实，如果只把图像引导权重、CFG、采样步数做成一个搜索空间，然后用一个评分函数去搜最优组合，那本质上还是 AutoML。但 Agentic Optimization 的差异在于策略体的动作空间更接近“人可能会做的动作”。

它不只是改几个数值，它会去改写 prompt，会判断“当前的问题是主题不突出”而不是单纯地“把 CFG 调到 7.5”。它能结合大模型对语义的理解，生成新的描述：比如把“一只手举起杯子”改成“一只手从桌子右侧缓缓举起陶瓷杯子，保持杯身花纹与参考图一致”。

这种动作空间是离散的、语义化的，而且每个动作都可能改变生成过程的多个维度。它比网格搜索更灵活，但也因此更难预测、更需要依赖评估器给出清晰反馈。

3. 落地时怎么搭一个最小可用的 Agentic Optimization 流程

如果你听完上面这些，觉得这件事值得在自己的项目里试一下，我建议你从“最小闭环”开始，不要一上来就想着做一个完整平台。

3.1 最小闭环：一条样本先跑通

第一步，选一条有代表性的输入样本，也就是一张参考图加一句 prompt。注意，这条样本要能反映你真实场景里最常见的失败模式。

第二步，用你的 I2V 模型手动生成一版视频，记录它在哪里不跟随。这个初始结果不一定差，但你需要知道它的弱点。

第三步，写一个最简单的评估器。可以先用现成的多模态模型或图文对齐模型，把生成视频抽帧后和参考图、prompt 做一个匹配打分。不用很复杂，只要分数方向大致准确就行。

第四步，让策略体根据评估结果生成 3 到 5 个候选动作。这些动作可以是对 prompt 的重写，也可以是对参数的修改。

第五步，对每个动作各生成一个候选视频，用同一个评估器打分，选择分数最高或最符合约束的结果，作为下一轮的基础。

下面是一个极简伪代码结构，用来表达整个循环，不代表具体实现：

# Agentic Optimization 最小闭环（伪代码示例） for step in range(max_steps): video = generator.generate( reference_image=state.image, prompt=state.prompt, params=state.params ) scores = evaluator.score(video, state.image, state.prompt) if is_good_enough(scores): break feedback = describe_failures(scores, video, state.prompt) state = policy.update(state, feedback)

跑通这一步的关键是：先不要贪多。一次只在一个样本上闭环，确认每个模块都能正常输出输入，再做下一步。

3.2 评估器设计：决定优化质量的第一步

评估器是整个闭环里最容易被低估的部分。它不只是用来“打分”，它实际上决定了系统会朝哪个方向收敛。

如果评估器只知道“视频首帧和参考图像不像”，系统就会倾向于牺牲运动自然度去换取首帧相似度。如果评估器过度关注文本相关性，系统可能生成一个和 prompt 对得很齐、但主体已经完全不像原图的视频。

我建议在评估器里至少包含三个信号：

• 首帧和关键帧的相似度：可以用常见图文匹配模型或图像相似度指标，观察抽帧后与参考图是否接近。
• 语义一致性：生成视频是否执行了 prompt 里的动作，这一步通常需要多模态模型理解“视频描述”。
• 时间稳定性：相邻帧之间是否存在剧烈闪烁或变形，可以用光流、帧间差异等方式做粗判断。

注意，自动评估器不是一个可以一劳永逸的组件。它自己的判断也可能有偏差，所以在开始优化前，至少人工检查 20 到 50 条评估结果，确认“高分确实是好结果，低分确实是坏结果”。

不要急着加复杂规则。先把评估器跑在一个小样本集上，对照着人工判断修正它的标准，再把它接入自动迭代。

3.3 策略动作：能改哪些东西，怎么改

策略体负责决定“下一步怎么改”。它可用的动作空间通常包括：

1. Prompt 改写：增加动作、镜头、光线、材质的描述，或者增加负面描述。
2. 生成参数调整：修改采样步数、CFG、图像引导权重、随机种子。
3. 参考条件切换：如果模型支持，可以额外输入深度图、姿态图、边缘图等辅助条件。
4. 模型选择与微调：在更复杂的流程中，可以选择不同的 LoRA 或 adapter 来控制风格和主体一致性。

但动作空间不是越大越好。每一轮如果同时改很多个地方，就很难判断到底是哪个动作导致结果变好或变差。我一般会限制每次只改 2 到 3 个动作，并且让策略体在输出时说明改了什么、为什么这样改。

比如策略体给出一段 JSON 响应：

{ "action": "prompt_rewrite", "reason": "当前生成结果中主体运动幅度过小，且镜头缺少指定的推进感。", "new_prompt": "一只金鱼在水草间缓慢游动，摄像机从侧面平滑推进，保持金鱼的颜色和纹理不变，水面光线柔和" }

这种结构有两个好处：一是让迭代过程可解释，二是后续可以根据原因分类统计，看哪类问题被哪个动作修复得最有效。

3.4 记录每一次迭代，让优化过程可复现

很多人做手动调参时，最头疼的问题不是找不到好结果，而是下次想复现却找不到当初的参数记录。Agentic Optimization 也不能重蹈这个覆辙。

至少记录这些信息：

• 输入图的 hash 或路径
• prompt 的完整版本
• 生成参数
• 随机种子
• 评估器每个维度的分数
• 生成视频的路径
• 策略体这次做了什么修改
• 这一步有没有人工审核备注

只有把这些历史数据留下来，你才能回答更有价值的问题：“到底哪种 prompt 结构对保持产品主体一致性最有效？”“当时间一致性分数太低时，调整图像引导权重是不是比改 prompt 更稳定？”

迭代日志既能让优化过程透明，也可以成为团队协作的公共资产。

请把失败动作也记录下来。成功案例证明“这条路走得通”，失败案例才能告诉你“哪些路不要重复走”。

4. 真正决定效果的不是动作空间，而是反馈信号质量

当最小闭环跑通以后，很多人会把重心放在“扩展动作空间”“增加策略体能力”上。但长期看，真正卡住效果上限的，往往是反馈信号本身是否可靠。

4.1 为什么“用模型当裁判”会引入新的偏差

自动评估器本质上也是模型。它有自己的偏好和盲区。比如某些多模态模型可能对“是否提到了某个动作”很敏感，但对“主体是否发生形变”不敏感；又或者它对“颜色”的匹配判断过于粗糙，导致系统认为颜色一致，实际上已经明显偏色。

更危险的情况是系统学会“钻空子”。优化流程会偏向那些“让评估器分数变高”的生成结果，而不是“让真实质量变好”的结果。这在机器学习里叫 reward hacking。出现这个问题时，评估分数一路走高，但人眼看起来质量没有提升，甚至下降。

所以要时不时抽查系统的生成结果，确认优化方向没有偏离真实需要。

4.2 多信号融合：规则、模型指标、人工反馈

为了减少单一评估器带来的偏差，我建议用多信号融合的方式：

• 规则信号：在特定领域里非常有效。比如产品 logo 不能变形、文字不能乱码、主体必须保持在画面内。这些规则可以用检测模型或简单的像素比较实现。
• 模型指标：处理语义匹配、首帧相似度、运动平滑度这类更抽象的问题。
• 人工反馈：不需要每轮都做，但要在关键节点介入。人工可以排序几组结果，而不是给单一分数，这样更容易捕捉偏好。

刚开始时，人工反馈的比例可以高一些，用来校准自动信号；等自动信号和人工判断足够吻合，再逐步减少人工参与。

4.3 需要警惕的过拟合和退化问题

Agentic Optimization 在固定样本上跑很多轮后，有可能会过拟合到这条样本。系统会发现一个特别适合这张图、这句 prompt 的组合，但它换一张图就不灵了。

我一般会在优化过程中引入“轮换样本”机制：每几轮换一组参考图，确保策略体的修改不是只对某一类图片有效。另一个信号是：如果评估分数在持续上升，但换到新样本后分数下降明显，那就说明策略学和评估器可能过度适配了旧样本。

保留几条“金标准”样本也很重要。它们不会参与每一轮迭代，但会在系统更新后用来验证：这个系统在新一轮调整后，还能不能处理好这些标准场景。

5. 适用场景、成本边界和工程化建议

任何方法都有边界，Agentic Optimization 也不是银弹。想要把它放进生产流程，必须考虑适合场景、成本和排查方式。

5.1 适合什么场景，不适合什么场景

我个人的判断是，Agentic Optimization 适合以下几类场景：

• 需要频繁使用同一类输入做多轮迭代，比如产品图转视频、角色一致性的视频生成。
• 团队里有多个人协作做视频生成，需要把个人经验固化成团队可复用的流程。
• 生成结果有比较明确的成功标准，至少可以定义出“哪些不能变、哪些必须发生”。

不太适合的场景包括：

• 纯粹探索性的一次性创意生成：你也不知道自己想要什么，评估器就很难定义。
• 对延迟极其敏感的单条生成请求：每一次优化都要多轮生成，不适合在线实时场景。
• 没有清晰评价标准的任务：如果你自己都无法判断“好还是不好”，自动化优化就失去了方向。

另外需要注意，Agentic Optimization 不是“一键全自动”。它的价值是把人从反复调参中解放出来，而不是把人的判断能力从流程中完全移除。

5.2 先算账：一次优化要跑多少轮、多少卡时

落地之前，先做一个成本估算。这里不需要具体价格，只需要一个逻辑：

总耗时 ≈ 单次生成耗时 × 每轮候选数 × 优化轮数 + 评估耗时

举个例子，如果单次生成需要 30 秒，每轮生成 3 个候选，跑 50 轮，那么生成部分大约需要 4500 秒，也就是 75 分钟。如果再加上评估和策略体的推理时间，可能还要往上走。这只是一个演示计算，不代表所有环境，但它提醒我们：Agentic Optimization 会消耗不少算力和时间。

因此，我有两个建议：

1. 先粗后细：先在低分辨率、短视频长度下做优化，等评估分数达到阈值，再用最终分辨率生成一次验证。
2. 控制候选数量：每一轮不要生成太多候选，否则反馈信息多了，策略体未必能处理好，反而增加成本。先从 2 到 3 个候选开始，观察效果。

5.3 常见问题排查链路：按生成器、评估器、策略体三层定位

如果你已经搭了一个 Agentic Optimization 流程，但效果不理想，建议按这个顺序排查：

1. 现象：所有候选视频都不符合输入图。先不要怀疑优化流程，先检查生成器本身。是不是参考图没有被正确加载？有没有被自动裁剪或缩放？生成器在单次生成时是否就已经不遵循输入图？
2. 现象：评估分数高，但人看很糟糕。问题很可能在评估器。这时候要人工抽样看一下高分段结果，确认评估器是否真正在衡量你需要的东西。
3. 现象：分数不断上升，但换一张新图效果立刻变差。这是过拟合信号。需要增加样本多样性，减少在固定样本上的迭代轮数。
4. 现象：策略体每次修改动作，但生成结果几乎没变化。说明动作空间对生成器不敏感，或者策略体没有正确理解反馈。可以手动执行一次它建议的修改，看是否真的能影响结果。

排查顺序就是：先输入和生成器，再评估器，最后策略体。因为前面两层错了，后面再努力也没用。

6. 从试错走向系统化：这个方向真正改变的是什么

如果把 Agentic Optimization 只理解成“自动调参工具”，会低估它带来的变化。它真正改变的是我们与生成模型之间的协作方式。

6.1 价值不是省几分钟，而是让流程可追踪、可复用

手动试错最难受的地方是，经验无法沉淀。每次都是“这次我感觉这样调比较好”，但这种感觉换个人、换个项目、换个时间就完全失效。

Agentic Optimization 把一次次的生成结果、评估分数、修改动作和失败记录都保留下来，形成一条可以被回顾、被分析、被分享的路径。哪怕最终没有找到最优结果，这条路径本身也有参考价值。团队协作时，新人不必从零踩坑；个人使用时，也能快速回到某个时间点重新开始。

这种“可追踪”比“省时间”更重要。因为省一次时间只是单次收益，而可追踪的流程会在每一次迭代里慢慢积累成你自己的生产方法论。

6.2 人和系统的关系会发生变化

过去做图像到视频生成，人更像是“操作员”，负责把 prompt 和参数调到某个玄学组合；现在做 Agentic Optimization，人更像“导演”，负责定义目标、审核结果、设置边界。

你不再需要每张图都亲手调参，但你需要更清楚地回答：对这条视频来说，什么是最不能丢的？是产品颜色、主体轮廓、运动方式，还是整体氛围？当评估器给出矛盾信号时，你要决定哪边优先。

也就是说，这门技术并没有降低对审美和判断力的要求，而是把人的能力用在了更关键的位置上。

6.3 下一步最该先做什么

如果你真想在自己的项目里实践，我的建议很简单：别一开始就做一个庞大的平台。先挑一个失败的生成样条，写一个最简单的评估器，用脚本跑一轮“生成 — 评分 — 修 prompt — 再生成”。先看能不能得到比手动尝试更好的结果，再谈扩大范围。

等到最小闭环稳定了，再逐步增加评估维度、扩展动作空间、加入更多样本。更重要的是，要持续记录日志并人工抽检，确保系统优化的方向和真实需求没有偏离。

Adherence 问题不会因为有了 Agentic Optimization 就消失，它依然会存在于生成结果的每一个细节里。但至少，我们不用再靠一次次的盲试来寻找答案。把试错变成可以复盘、可以收敛、可以复用的闭环，这件事本身就是从“碰运气”走向“做工程”的关键一步。