Chapter 5 第5章 图生图功 能 本章学习要点: .掌握StableDifusion图生图功能中的重绘幅度调整方法。 .掌握StableDifusion的局部重绘功能。 .掌握使用局部重绘(手涂蒙版)进行图像编辑的方法。 .掌握局部重绘(上传蒙版)进行局部重绘的技巧与方法。 .掌握批量处理技术。 5.1 图生图的常用参数 图生图功能是一种结合图像与文字提示进行二次创作的技术,是对文生图模式的重要 补充与发展。在文生图模式中,由于其固有的随机性,用户往往难以预测AI模型将如何解 释输入的文字提示,并据此生成图像。而图生图功能有效缓解了这一不确定性,显著提升了 图像生成过程中的控制度。图生图的常用参数有重绘幅度、缩放模式、蒙版等。 5.1 重绘幅度 1. 重绘幅度是对图像的修改幅度。重绘幅度越高,对图像的修改幅度越大;重绘幅度越 低,对图像的修改幅度越小。重绘幅度参数的值可以从“0”调整到“1,(”) “0表(”) 示生成的图像 和原图像无差异,即没有添加任何噪声,“1表(”) 示完全用噪声替换图像,可以理解为随机生成 图像的方式。图5. 1为重绘幅度控制界面。 图5. 1 重绘幅度控制界面 重绘幅度案例如下。 步骤1:进入图生图界面,选择“自由变换”大模型。 步骤2:输入的正向提示词为“最佳质量,杰作,超高分辨率,4K,成年女性,亚洲,(全 4), 身:1.黑色长发,看着观众,美丽的细节眼睛,白色衣服,白色裤子,广角镜头,漫步,海 滩,树,美丽的详细天空,蓝天”。对应的英文提示词为“bestquality,masterpiece,ultra highresolution,4K,adultfemale,Asiafulbody:1.lacklonghair,lookingat n,(4),b 54 theaudience,beautifuldetaileyes,whiteclothes,whitepants,wideanglelens,stroling, beach,tres,beautifuldetailedsky,bluesky”。输入的反向提示词为“低质量,错误的手, 变形,解剖结构不好,画框外”。对应的英文提示词为“lowquality,incorecthands, deformation,pooranatomicalstructure,outofframe”。 步骤3:添加参考图,在提示词下方的“ 界面添加图片,2所示。 图生图” 如图5. 图5. 2 导入图片到图生图界面 步骤4:选择采样方法“Eulera”,设置迭代步数为“20”步,设置画布尺寸为512×768像 素。设置生成批次为“”批,”张。设置重绘幅度为“0.”, 3所示。 设置每批数量为“如图5. 117 图5. 3 生成参数界 面 步骤5:单击“生成” 效果如图5. 按钮,4所示 。 观察图5.图5.生成图像与上传图像有很多相似之处 , 区别。 5、6发现, 但又有着明显的风格 55 图5.4 二次元风格人物图像图5.图5. 5 参考图像6 生成图像 5.2 缩放模式 1. 在图像生成过程中,特别是使用图生图技术时,一个常见的挑战是参考图像与生成图像 的尺寸比例可能不一致。为了解决这个问题,StableDifusion提供了4种不同的缩放模 式,即“拉伸”“裁剪后缩放”“填充”及“直接缩放(放大潜变量),(”) 以协调尺寸差异,确保生成 图像的质量,如图5. 7所示。 图5. 7 缩放模式选择界面 拉伸是一种直接且简单的方式,可以直接将图像缩放到设定尺寸。 拉伸案例如下。 步骤1:生成一张760×1024像素的人物图像,如图5. 8所示。 步骤2:改变生成图像的尺寸为800×800像素,导入图像,选用拉伸模式,生成图像会 按照设定的尺寸重新调整画面,如图5.图像因为尺寸的变化而发生了拉伸变形。 9所示, 图5.8 人物图像图5. 9 拉伸效果图 56 图5.10 裁剪效果图 裁剪的优点是人物在图像中不会扭曲或失真。但 是,图片的一部分可能会被裁剪掉,以保证所得图像的 长宽比。图5. 10 为裁剪后缩放的效果。 填充模式下生成的图像会用来填充原图像缺失的 部分。但是,如果没有设定适当的引导参数,填充的部 分可能会看起来不自然。如图5.图像左右两 11 所示, 边部分是计算机根据原图计算出的延伸部分。 在默认情况下,直接缩放(放大潜变量)将采取拉 伸的方式调整图像。由于此过程涉及潜空间的计算, 即在图像生成网络的内部表征空间中进行操作,所以 处理结果可能会导致图像的模糊或变形,如图5. 12 所示。 图5.11 填充效果图图5. 12 直接缩放效果图 5.3 蒙版 1. 蒙版是在图像的特定区域进行精细修改和重绘的主要手段,应用广泛。蒙版设置界面 如图5. 13 所示。 图5. 13 蒙版界面 57 蒙版模糊的主要作用是确定生成图像区域边缘的模糊程度。数值较低时,重绘图像与 原始图像之间的边界将更为尖锐明显;数值较高则意味着边界过渡更加自然和柔和。默认 的参数值设定为4,旨在平衡清晰度与自然过渡效果。图5. 14为蒙版模糊控制界面。 图5. 14 蒙版模糊控制界面 在实践操作中,应基于蒙版边缘的清晰度、分辨率等多个因素综合考量此参数。通常情 况下,保留默认值即可满足大多数需求。 蒙版模式有两种:一种为重绘蒙版内容,另一种为重绘非蒙版内容。在Stable Difusion中,蒙版区域默认由白色表示,意味着这部分区域将被重绘;相应地,黑色代表非 蒙版区域,此部分在处理过程中保持不变。图5. 15为蒙版模式选择界面。 使用StableDifusion蒙版时,要明确蒙版的规则,以确保图像处理的准确性和效率。 蒙版覆盖的内容有4种模式,即“填充”“原图”“潜变量噪声”及“潜变量数值零”,如图5. 16 所示。 图5.15 蒙版模式选择界面图5. 16 蒙版蒙住的内容选择界面 第一种是填充模式。在这种模式下,StableDifusion仅能感知蒙版覆盖区域内的信 息,蒙版之外的内容不考虑。第二种是原图模式。在这种模式下,StableDifusion能够感 知到整张图像的所有信息,即没有任何部分被蒙版遮挡。第三种是潜变量噪声模式。在这 种模式下,StableDifusion依然只处理蒙版区域,但会在蒙版区域添加随机噪声,这有助于 在现有图像基础上生成新的内容。第四种是潜变量数值零模式。在这种模式下,Stable Difusion的感知被限定在蒙版区域,同时将噪声级别设置为零,这通常用于创造更为干净、 少噪点的图像区域。 通过理解和应用这些蒙版模式,可以更有效地控制StableDifusion在图像处理中的行 为,从而生成符合预期的高质量图像。 根据特定的需求和预期效果,这些不同的模式精确控制重绘过程中StableDifusion的 行为,实现更加定制化的图像编辑体验。通过对蒙版内容的细致管理,StableDifusion可 以在保留原图特征的同时为图像添加新的元素或改变现有元素,增强图像的视觉效果。 重绘图像时,重绘区域有两种选择模式, 全图” 仅蒙版”,如图5. 分别是“ 和“ 17所示。第 一种模式是全图模式。它允许对整个图像进行绘制,确保图像各部分的统一和协调。用户 用这种模式可以对整个画面进行整体调整和改进,使最终图像更加和谐一致。第二种模式 是仅蒙版模式。它仅针对选定的蒙版区域进行重绘。这种模式适于对图像的特定部分进行 精细调整,从而在不影响其他部分的前提下增强或修改蒙版覆盖的区域。通过合理选择这 两种模式,用户可以根据需求进行精确的图像处理,达到理想的创作效果。 蒙版模式的边缘预留像素表示在蒙版边缘预留的像素值。在图像重绘过程中,通常在 蒙版边缘添加额外的像素,以实现更平滑的过渡。在实践操作中,此参数的设定并不是设置 58 的数值越高,边缘的过渡就越自然,而应基于蒙版边缘的清晰度、蒙版的分辨率等多个因素 综合考量后适当调整。图5. 18为蒙版边缘预留像素控制条。 图5.17 重绘区域选择界面图5. 18 蒙版边缘预留像素控制条 5.2 图生图的常用功能介绍 图生图界面主要由几个功能子界面组成,分别是图生图、绘图功能、局部重绘、局部重绘 (手涂蒙版)功能、局部重绘(上传蒙版)功能以及批量处理功能,图5. 19为图生图功能子 界面。 图5. 19 图生图功能子界面 5.1 图生图 2. 图生图功能经常用来生成变体,拓展创意。 图生图案例一如下。 步骤1:进入图生图界面,选择“ReVAnimated”大模型,选择模型的VAE为“vae-ft mse840000emaprnd.kpt,(”) 如图5. ---uec20所示。 图5. 20 大模型与VAE模型选择界面 步骤2:输入的正向提示词为“最好的质量, 4K,( 2),运动鞋,鞋,( 杰作,没有人:1.鞋 侧:1.白色背景,简单背景,阴影”。对应的英文提示词为“p 2) bestquality,masteriece,4k, (noone:1.2),sportsshoes,shoes,(shoesides:1.2),whitebackground,simple background,shadows”。输入的反向提示词为“(最差质量:2),(低质量:2),签名,水印,用 户名,模糊,低分辨率,解剖错误,((单色)),((灰度)),不宜在工作场合查看的内容”。对应 的英文提示词为“worstquality:lowquality:ignature,watermark,username, (2),(2),sblury,lowres,badanatomy,((monochrome)),((grayscale)),nsfw”。 步骤3:导入一张运动鞋参考图,设置重绘幅度数值为“0.”,设置生成图像宽高尺寸为 9768×400像素,设置生成批次为“2批,(”) 每批数量为“1张,(”) 效果如图5.22 、23所示, 21所示。 步骤4:生成图像,效果如图5.图5.生成了两张不同设计的运动鞋。 59 图5. 21 生成参数界面 图5.22 运动鞋一图5. 23 运动鞋二 步骤5:替换提示词为“运动鞋,动态,霓虹灯颜色,涂鸦风格,城市景观,4K分辨率”。 对应的英文提示词为“sneakers,dynamic,neoncolor,grafitistyle,cityscape,4K ”。输入的反向提示词为“低分辨率”。对应的英文提示词为“”。生 resolutionlowresolution 成图像的效果如图5.图5. 24 、25所示。生了一组不同风格的运动鞋设计。 图5.24 不同风格的运动鞋一图5. 25 不同风格的运动鞋二 图生图功能还可以提升图像分辨率,提高画质。 图生图案例二如下。 步骤1:进入图生图界面,选择“ReVAnimated”写实类大模型,选择模型的VAE为 va(“) e-ft-mse-840000-ema-pruned.ckpt”。 步骤2:输入的正向提示词为“最好的质量,杰作,超高分辨率,4K,没有人,静物,鞋子, 简单的背景,运动鞋,白色背景,阴影,灰色背景”。对应的英文提示词为“bestquality, masterpiece,ultra-highresolution,4k,noone,stillife,shoes,simplebackground, 60 sportsshoes,whitebackground,shadows,graybackground”。输入的反向提示词为“容易 产生负面的结果,变形,画框外”。对应的英文提示词为“easynegative,deformation,outof frame”。 步骤3:导入模糊的鞋子图像到图生图界面,设定新的画面尺寸为768×400 像素,重绘 幅度数值设为“0.,(”) 细节就会变得更清晰。图5. 6生成新图像, 26 为导入图生图界面的模糊 鞋子图像。图5. 27 为生成的清晰鞋子图像。 图5.26 模糊鞋子的图像图5. 27 清晰鞋子的图像 5.2 绘图 2. 绘图功能支持使用自由绘画或涂鸦的形式创建图像,利用涂鸦图像作为指导,实现精细 且具体的图像生成效果。 绘图案例如下。 步骤1:构建一幅由河流、树林、房屋组成的画面,并将其导入绘图界面,导入“绘图/涂 鸦”界面。使用绘图软件涂鸦大概的位置和构图,也可以使用笔刷工具在上传的图像上继续 绘制,用绿色表示树林, 红色表示建筑, 28 所示。 蓝色表示河流, 如图5. 图5. 28 涂鸦效果图 步骤2:输入的正向提示词为“逼真,照片级逼真,最佳质量,杰作,超高分辨率图片,精 细细节,质量,逼真的照明,复杂的细节,原始照片,超详细,小森林,河流,房子”。对应的英 61 文提示词为“realistic,photorealistic,bestquality,masterpiece,absurdres,finedetail, quality,realisticlighting,complicateddetails, originalphoto,superdetailed,smalforest,river, house”。输入的反向提示词为“容易产生负面的结 果,(最差质量,低质量),概念图像,图形,低分辨率, 单色,灰度,文本,字体,徽标,版权,水印,签名,用户 名,模糊,重复”。对应的英文提示词为“easynegative, (worstquality,lowquality),conceptimages, graphics,lowresolution,monochrome,grayscale, text,font,logo,copyright,watermark,signature, username,blury,duplicate”。 步骤3:设置生成尺寸为512×512像素,设置 图5.生成批次为“1批,(”) 每批数量为“1”张。设置重绘幅29 场景图 度为“0.” 29所示。生成了一张与涂鸦画面构图一致的场景 75。生成图像的效果如图5. 图像。 2.局部重绘 5.3 局部重绘功能能够修复错误或改变目标元素。 局部重绘案例一如下。 步骤1:生成一张穿长裤的女孩图像,并将其上传至局部重绘界面, 30所示。 如图5. 步骤2:使用局部重绘的画笔工具在裤子的范围内进行涂鸦,以此来创建一个蒙版区 域,如图5. 31所示。 步骤3:输入的正向提示词为“白色裙子”,对应的英文提示词为“whitedres”。 步骤4:调整重绘幅度数值为“0.,(”) 如图5.且图 像的其他部分没有发生变化。 6生成图像, 32所示。裤子变成了裙子, 图5.30 穿长裤的女孩图5.图5. 31 局部重绘示意图32 穿裙子的女孩图像 局部重绘功能也常用于二次编辑,修改图像。 62 局部重绘案例二如下 。 步骤1:生成一张女孩图像,如图5. 33 所示。 图5. 步骤2:导入图像到局部重绘界面,配合局部重绘的画笔工具将人物颈部涂抹遮挡。如 34 所示。 图5.33 女孩图像图5. 34 绘制蝴蝶结蒙版 步骤3:输入的正向提示词为“领结”,对应的英文提示词为“bowtie”。 步骤4:生成图像如图5. 35 所示。颈部添加了领结。 图5. 35 戴蝴蝶结的女孩图像 5.4 局部重绘(手涂蒙版) 2. 局部重绘(手涂蒙版)功能结合了手绘修正和局部重绘,具有蒙版和绘制功能。当使用 色彩画笔填充需要填充的区域后,生成的新图像会受到色彩影响。 局部重绘(手涂蒙版)案例一如下。 36 所示。步骤1:使用文生图功能生成一张穿白色上衣的女性肖像图,如图5. 步骤2:上传图像到局部重绘(手涂蒙版)界面。选择右边栏的画笔工具,选红色,对需 要修改的部分进行绘制,用画笔将衣服的绘制区域遮挡住, 37 所示。 如图5. 步骤3:生成图像。在未使用提示词的情况下,设置重绘幅度数值为“0.,(”) 实现人物 75