AI 多轮改图越改越走样?用母版、检查点和像素比对控制漂移的 6 步验收流程

摘要:本文给出一套与具体模型无关的多轮 AI 改图验收流程。它用母版、检查点、修改日志和本地像素比对,确认每一轮只改了要求修改的部分。

多轮 AI 改图要控制漂移,有四个基本做法。第一,保留一份不动的母版。第二,每轮只提一处修改。第三,审核通过的版本才能作为下一轮的输入。第四,用下载到本地的原始文件做验收,不看预览图。“其他地方保持不变”这句话要拆成能逐条检查的约束:尺寸和构图、关键文字、背景像素各自用对应的方法检查。logo、法律声明、产品编号这类必须完全一致的元素,用原图合成回去比反复让模型重画更可靠。

下文先列出术语,然后按实际操作顺序展开:怎样把模糊要求写成验收标准,怎样搭建母版和检查点目录,怎样区分生成接口的编辑蒙版和本地校验蒙版,以及怎样用一个本地 Python 脚本比对受保护像素。最后一部分按失败类型给出恢复方式,并说明什么时候该重试、什么时候该改用原图合成。这些步骤不依赖特定模型版本,换一个编辑接口也能照用。

ai-multi-turn-image-editing-drift-control-image-0

To Know:多轮改图漂移相关术语

术语 解释
漂移(drift) 多轮编辑中,没有要求修改的部分被模型悄悄改动,例如背景色偏移、文字变形
母版(master) 最初的原始文件,全程只读,用作所有比对的基准
检查点(checkpoint) 审核通过并单独命名保存的修订版本,可以作为下一轮编辑的父文件
父文件(parent) 某一轮编辑实际使用的输入图片
分支(branch) 从同一个父文件派生出的、互相独立的修改方案
edit-log 记录每轮父文件、提示词、输出、检查结果和取舍理由的表格
编辑蒙版(生成接口) 发给图像编辑接口、告诉模型哪里可以重绘的遮罩图,格式约定以各接口文档为准
校验蒙版(本地) 只给本地脚本使用的黑白图,黑色表示必须保持不变的区域
受保护像素 校验蒙版中标为黑色、修改前后必须一致的像素
RGBA 图像的红、绿、蓝、透明度四个通道,每个通道通常取值 0–255
无损格式 保存时不丢失像素信息的格式,例如 PNG;JPEG 是有损格式
原图合成 把母版中的某块区域原样贴回生成结果,用来保住必须完全一致的元素

1 多轮改图漂移的根源:把模糊要求写成验收标准

1.1 为什么“其他地方保持不变”无法验收

只写一句“其他地方保持不变”,验收时没有依据。团队对不同用途的容忍度也不一样:概念图里轻微的光线变化可以接受,正式的品牌素材则可能要求 logo 像素完全一致。所以动手编辑之前,先确定这次采用哪一种标准。

以一个虚构的产品图为例:桌面上放着一个旅行瓶,瓶身贴着写有 A-17 的小标签,背景有一条细蓝条纹。需求分两轮完成,先改瓶身颜色,再改瓶盖颜色,同时保住标签、取景和背景条纹。这个需求里其实包含几类性质不同的约束,每一类都需要各自的检查方法。

1.2 多轮改图的约束拆解表

约束 检查方法 失败表现
瓶身改为橙色 查看被允许修改的区域 颜色改到了别的物体上
标签保持 A-17 对照批准的文字逐字阅读 字符变化或消失
取景不变 比较尺寸和物体位置 出现裁切、缩放或透视变化
背景不变 比对受保护像素 蓝条纹移位、背景颜色偏移
最终可用 按交付尺寸和原始分辨率查看 新增边缘瑕疵、小细节变糊

这张表里的检查方法各管一类问题。像素比对能发现背景偏移,但发现不了一个数字被换掉;逐字阅读能确认标签内容,但判断不了背景是否有细微色移。几种方法要配合使用。

1.3 提前识别必须完全一致的元素

logo、法律声明、产品编号这类元素要求逐像素一致。对它们来说,单独保留一个可编辑图层,或者在最终图上把原图区域合成回去,比让生成模型重画更合适。在需求阶段就把这类元素标出来,后面就不用反复重试。

2 搭建多轮改图的母版与检查点目录

2.1 准备母版

使用你拥有版权或获准处理的图片,记录尺寸,保留原始下载文件。有原图时不要用截图当母版,因为缩放和压缩会让后续的像素比对难以解读。母版一旦存档就不再修改。

2.2 目录结构与需求文件

建议每个改图任务建一个独立目录:

master.png
requirements.txt
01-body-color.txt
02-cap-color.txt
edit-log.csv
outputs/

requirements.txt 用平实的语言写出固定不变的细节,例如:

保持原始画布尺寸和相机视角。
保持瓶子的轮廓、位置和比例。
正面标签必须仍为 A-17,位置不变。
蓝色条纹及其他背景内容保持不变。
第一轮只改瓶身颜色。
第二轮只改瓶盖颜色。
任何修订只要改动了受保护要求,即判定为拒绝。

每一轮的提示词单独存成一个文本文件,方便以后复现和对比。

2.3 用 edit-log 记录父文件与取舍理由

edit-log 记录每一轮的父文件、提示词、输出文件、受保护区域检查结果、文字检查结果和接受/拒绝决定。文件名必须能反映真实的父子关系,像 final-new-final.png 这样的名字看不出任何历史。

revision,parent,prompt_file,output,protected_changed,text_check,decision,reason
01a,master.png,01-body-color.txt,outputs/01a.png,1532,A-17 OK,reject,背景条纹偏移
01b,master.png,01-body-color.txt,outputs/01b.png,0,A-17 OK,accept,
02a,01b.png,02-cap-color.txt,outputs/02a.png,0,A-17 OK,accept,

表中的数字只是格式示意,没有对应任何真实运行结果。被拒绝的版本也要记下来,拒绝理由正是下一轮修改提示词的依据。

3 执行多轮改图:每轮只改一处

3.1 第一轮:只改要求修改的部分

提示词里,要保留的内容和要修改的内容写得一样具体:

编辑附图。只把旅行瓶的瓶身颜色改为橙色。
保留瓶盖、标签、瓶身轮廓、位置、比例和相机视角。
标签文字必须保持 A-17,位置和大小不变。
不要改动桌面、蓝色背景条纹或任何其他背景细节。
如果接口支持,保持原始取景和输出尺寸。
不要添加物体、阴影、说明文字或装饰性文字。

下载原始结果并存为 01.png,进入下一轮之前先和 master.png 比对:读一遍 A-17,检查瓶盖和背景条纹,再整体查看有没有意外变化。橙色瓶身只是多项要求中的一项。

3.2 拒绝后回到母版重来

如果拒绝这一版,先记录原因,下一次尝试仍然从母版开始。不要在拒绝的版本上连续修补多个无关的问题,否则每一轮的比对基准都在变,最后很难说清是哪一步引入了漂移。

3.3 第二轮:从已接受的父文件出发

第一轮通过后,保存一份命名清楚的检查点副本,再开始第二轮:

编辑附图(已批准的修订版)。只把瓶盖改为浅蓝色。
保留本输入中的橙色瓶身。
标签保持 A-17,大小和位置不变。
保持瓶身轮廓、位置、比例、相机视角和取景。
不要改动桌面、蓝色背景条纹或其他内容。
不要引入额外的文字或物体。

第二轮需要做两次比对。02.png 对比 01.png,看最新一次指令改了什么。02.png 对比母版和 requirements.txt,因为一个序列可能把早期的错误带到后面,即使最近一轮本身改得很干净。

3.4 有意识地选择父文件

第二个修改如果依赖第一个修改,就以已接受的第一版为父文件。如果它只是一个独立的备选方案,就从母版另开分支。不同分支在 edit-log 中分开记录,这样最终成品可以完整复现。

4 区分多轮改图中的两种蒙版

4.1 生成接口的编辑蒙版与本地校验蒙版

很多编辑接口支持上传蒙版来限定重绘区域,而本地像素比对也需要一张蒙版。两者用途不同,规则也不同,混用很容易出错。

维度 生成接口的编辑蒙版 本地校验蒙版
作用 告诉模型哪里可以重绘 告诉脚本哪些像素必须一致
使用方 远端编辑接口 本地校验脚本
格式约定 由各接口文档规定(如透明区可编辑或白色区可编辑) 由本地脚本规定:黑色受保护,非零值允许修改
精度要求 可以适当外扩,给模型留出过渡空间 应当贴紧,避免把需要保护的标签也划进允许区
能证明什么 只表达编辑意图 能证明受保护像素是否被改动

在编辑蒙版之外仍要做本地校验,原因很简单:编辑蒙版只表达意图。接口可能对整张图重新编码,也可能在蒙版边界外做融合,最终结果还是要用像素来验证。

4.2 制作本地校验蒙版

在图像编辑器里新建一张与母版尺寸完全相同的图,必须保持不变的地方涂黑,允许修改的区域涂白,保存为无损灰度 PNG。本文的脚本把任何非零值都当作允许修改,所以受保护区必须是纯黑(0),抗锯齿留下的灰边会被算进允许区。

如果想用同一张源图同时生成两种蒙版,可以先画好“允许修改区”,再按各接口文档转换成对应的格式。转换之后,用接口文档里的示例确认黑白或透明的含义没有弄反。

5 用本地脚本比对多轮改图的受保护像素

5.1 校验脚本

下面的脚本由本文编写,只依赖 Python 3 和 Pillow,不发出任何网络请求,也不修改输入文件。它把三张图都解码为 RGBA,逐个比较受保护像素。尺寸不一致时直接退出,不会自动缩放来让比对“通过”。

# check_edit.py —— 比对受保护像素是否被修改
import sys
from PIL import Image

def main(before_path, after_path, mask_path, diff_out=None):
    before = Image.open(before_path).convert("RGBA")
    after = Image.open(after_path).convert("RGBA")
    mask = Image.open(mask_path).convert("L")

    if not (before.size == after.size == mask.size):
        sys.exit(f"尺寸不一致: before={before.size} "
                 f"after={after.size} mask={mask.size}")

    b, a, m = before.load(), after.load(), mask.load()
    w, h = before.size
    protected = changed = total_diff = max_diff = 0
    diff_img = Image.new("RGB", (w, h), (0, 0, 0)) if diff_out else None

    for y in range(h):
        for x in range(w):
            if m[x, y] != 0:          # 非零 = 允许修改
                continue
            protected += 1
            diffs = [abs(b[x, y][i] - a[x, y][i]) for i in range(4)]
            d = max(diffs)
            total_diff += sum(diffs)
            max_diff = max(max_diff, d)
            if d:
                changed += 1
                if diff_img:
                    diff_img.putpixel((x, y), (255, 0, 0))

    if protected == 0:
        sys.exit("蒙版中没有受保护像素(没有纯黑区域)")

    print(f"受保护像素: {protected}")
    print(f"被改动的受保护像素: {changed}")
    print(f"改动比例: {changed / protected:.4%}")
    print(f"平均通道绝对差: {total_diff / (protected * 4):.4f}")
    print(f"最大通道差: {max_diff}")
    if diff_img:
        diff_img.save(diff_out)
        print(f"差异图已保存: {diff_out}(红色为被改动的受保护像素)")

if __name__ == "__main__":
    if len(sys.argv) not in (4, 5):
        sys.exit("用法: python3 check_edit.py before.png after.png mask.png [diff.png]")
    main(*sys.argv[1:])

运行方式(macOS/Linux 语法,Windows 用户请换成对应 shell 的虚拟环境激活命令):

python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install Pillow
python3 check_edit.py master.png 01.png 01-mask.png 01-diff.png

5.2 先用正负对照验证脚本

使用任何校验脚本之前,先用已知答案的合成图验证它。下面的脚本生成一张 100 × 100 的图,允许修改区为中间 20 × 20,受保护像素共 9,600 个。“干净编辑”只改允许区,“漂移编辑”额外改动一个受保护像素。

# make_fixtures.py —— 生成正负对照样本
from PIL import Image

before = Image.new("RGBA", (100, 100), (200, 220, 255, 255))
mask = Image.new("L", (100, 100), 0)
for y in range(40, 60):
    for x in range(40, 60):
        mask.putpixel((x, y), 255)

clean = before.copy()
for y in range(40, 60):
    for x in range(40, 60):
        clean.putpixel((x, y), (255, 140, 0, 255))

drift = clean.copy()
drift.putpixel((5, 5), (201, 220, 255, 255))

before.save("before.png"); mask.save("allowed-mask.png")
clean.save("clean-edit.png"); drift.save("drift-edit.png")
python3 make_fixtures.py
python3 check_edit.py before.png clean-edit.png allowed-mask.png
python3 check_edit.py before.png drift-edit.png allowed-mask.png

按设计,第一条命令应报告 0 个被改动的受保护像素,第二条应报告 1 个。两项都对上,才说明脚本的判断逻辑可用。这组对照只验证脚本本身,不代表任何模型的编辑能力。

ai-multi-turn-image-editing-drift-control-image-1

5.3 读懂多轮改图的比对数字

脚本直接比较解码后的通道值,不做色彩配置文件归一化。所以两张图必须几何一致、色彩解释一致。JPEG 重新压缩、色彩配置文件变化,或者完全透明像素下方不可见的 RGB 值变化,都会产生数值差异,而这些差异未必对应肉眼可见的生成改动。

因此,尽量保持无损工作流,并把数字和实际画面放在一起看。数值很低时,标签上的一个数字仍可能被换掉;数值很高时,原因可能只是导出流程变了。没有一个通用的像素阈值能代替任务本身的要求,阈值应当按每个项目的验收标准来定。

5.4 把同一套验收用到不同编辑接口

这套流程只关心“输入什么、拿回什么”,所以可以套用到任何支持图像编辑的接口上。换接口时逐项确认以下几点:

  • 输入路径:接口能否直接选择早期版本作为输入;不能的话,下载已接受版本后,按文档的上传方式重新提交。
  • 输出尺寸:是否保留原始分辨率。尺寸一变,脚本会停止,这时应先检查导出设置,不要用缩放掩盖问题。
  • 蒙版字段:字段名、黑白或透明的含义、尺寸要求,都以该接口官方文档为准,不要从另一个模型照搬参数名。
  • 下载方式:使用原始文件下载,不用预览图或截图。
  • 请求失败:一张图都没返回时,去查接口实际返回的错误信息,不要改视觉提示词。

6 多轮改图漂移的恢复与原图合成

6.1 按失败类型选择恢复方式

发现问题后,先判断失败类型,再决定是否重新调用模型。

失败类型 恢复方式
改错了对象 改用更明确的描述或接口支持的选区控制,从已接受的父文件重来
背景出现未要求的变化 拒绝该版本,收紧指令后重新比对
关键 logo 或标签被改 作为原始图层保留或用原图合成,不要反复重生成
取景或尺寸变化 检查导出设置,从正确的父文件重来,保留证据,不要靠缩放抹平
后一轮抹掉了前一轮已批准的修改 以已接受的检查点为输入,在指令中明确要求保留该修改
请求在返回图片前就失败 排查接口实际报错,与提示词无关

6.2 何时重试、何时改用原图合成

适合重试的情况是:问题出在指令含糊或选区不准,并且受影响的区域可以靠重新描述来修正,例如改错了对象或背景出现轻微偏移。每次重试只调整一项指令,再用同一张校验蒙版比对,这样能看出这一处调整是否有效。

适合原图合成的情况有三种:受影响的是逐像素必须一致的元素(logo、编号、法律声明);同一类漂移在多次重试中反复出现;为了改一处,不得不在提示词里堆叠越来越多的保护条件。这时把母版中的对应区域贴回结果图,比继续赌模型的输出更稳定。

用原图合成修复的图,要在 edit-log 里记为一个编辑步骤。它是正当的生产方法,但最终图不能再称为未经改动的模型输出。合成后要检查接缝、光照和边缘,因为数值上完全保留的补丁也可能留下肉眼可见的拼缝。

ai-multi-turn-image-editing-drift-control-image-2

6.3 验收最终版,而不仅是最新版

重新打开最终导出的文件,逐项确认:瓶身和瓶盖颜色正确,标签重读一遍,受保护背景再比对一次母版。母版、各个已接受的父文件、提示词和最终文件放在一起归档。有了修改日志,其他人能分清哪些是模型编辑、哪些是手工修复,也能看懂某个版本为什么被接受。

如果成品还需要透明背景,最后要再做透明通道和边缘检查。如果画面里有标题、日期或价格,要单独做文字校对。像素保持、透明交付和文字正确是三个不同的问题,各自需要单独验收。

常见问题 FAQ

Q1:多轮改图漂移指什么?

漂移是指在连续编辑中,没有要求修改的区域被模型改动,例如背景色偏移、标签字符变化、取景被裁切。轮次越多,误差越容易累积,所以每一轮都要对照母版和需求文件验收。

Q2:已经在接口里上传了编辑蒙版,还需要本地像素比对吗?

需要。编辑蒙版表达的是“希望模型只改这里”,本地校验检查的是“最终像素有没有被改”。接口可能对整图重新编码或在边界外融合,只有本地比对能拿出可复核的证据。

Q3:比对结果显示受保护像素有少量改动,一定要拒绝吗?

取决于事先定下的验收标准。概念稿可以容忍轻微光线变化,品牌终稿则要求关键区域零改动。先排除 JPEG 压缩、色彩配置文件变化这类非生成原因,再结合差异图看改动落在哪里。

Q4:模型返回的图片尺寸变了,可以缩放回去再比对吗?

不建议。缩放会让每个像素都产生差异,原本的漂移信息就被抹掉了。应先检查接口的尺寸参数和导出设置,从正确的父文件重新编辑,并在 edit-log 中记录这次尺寸变化。

Q5:这套流程适用于哪些图像编辑接口?

只要接口能接收图片输入并返回可下载的原始文件,就可以使用。换接口时需要按官方文档核实蒙版字段的含义、输出分辨率和上传方式,验收步骤本身不变。

Q6:这套方法有哪些局限?

像素比对只回答“受保护像素有没有变”,不判断构图好坏,也读不出文字是否正确。它要求无损格式和一致的色彩解释。本文的脚本逐像素遍历,处理大图时速度较慢,可以按需改用 NumPy 实现。

多轮改图漂移控制 Key Takeaways

  • 母版只读:原始文件全程不动,作为所有比对的基准。
  • 一轮一改:每轮只提一处修改,审核通过才成为下一轮的父文件。
  • 约束可检:把“保持不变”拆成尺寸、文字、背景像素等可单独检查的项。
  • 两种蒙版分开:编辑蒙版给接口用,校验蒙版给本地脚本用,格式各自独立。
  • 脚本先自测:用正负对照样本确认校验脚本判断正确后再投入使用。
  • 按类型恢复:改错对象就重试,关键标签被改就原图合成。
  • 日志留痕:edit-log 记录父文件、检查结果和取舍理由,合成修复也要入档。

总结

多轮 AI 改图控制漂移,靠的是一套可验收的流程:

  1. 结构:母版、检查点和分支构成一条可追溯的版本链。
  2. 验收:逐字阅读、尺寸比较和本地像素比对,各自负责一类约束。
  3. 恢复:按失败类型选择重试或原图合成,关键元素优先使用原图合成。

建议先用本文的合成样本跑通校验脚本,再拿一张真实素材按“母版 → 01 → 02”完整走一遍。确认流程和阈值都符合自己团队的标准之后,再接入批量生产。

参考资料

  1. Seedream 5.5 multi-turn editing: protect details and check drift:多轮编辑的检查点与受保护像素校验流程
  2. 链接: ofox.ai/blog/seedream-5-5-multi-turn-editing-guide
  3. 说明: 本文流程结构与失败恢复分类的主要依据

  4. Seedream 5.5 transparent PNGs: prompts and alpha checks:透明素材的提示词与透明通道检查

  5. 链接: ofox.ai/blog/seedream-5-5-transparent-png-guide
  6. 说明: 适合在改图完成后补做透明度与边缘验收

作者: APIYI 技术团队

发表评论