Midjourney和Stable Diffusion都可以通过输入文本生成出令人惊叹的AI图像。  Midjourney是一个收费的在线服务,通过discord对话的形式来生图,局限性较大,但由于后台官方模型做得好,因此出图效果非常完美;  Stable Diffusion可以本地部署,自定义参数多,并且可以有各种插件来实现绘画、蒙版、人物骨骼限定等等功能。  某些专业设计师说他现在如果不自己手绘线稿的话,那么一般先用Midjourney出图,再用Stable Diffusion进行调整。
 
  
本文试着逐一渲染stable diffusion中几十种风格效果,并且针对场景运用、失败原因、改进方法等情况进行分析研究,文中所有图片都是大图,可点击浏览,如果对你有用记得点赞+关注+收藏哦~~
 
内容比较多,之后我将再出一个简约版的对照表用于快速查询。
 
随着研究深入,总结部分也会保持更新。
 
 1. 原生参数  
photorealistic,  absurdres,  8k,  ( 1cute girl)  walking in street,  half body, 
Negative prompt:  easynegative
Steps:  65 ,  Sampler:  Euler a,  CFG scale:  7 ,  Seed:  3472141699 ,  Size:  1024x512,  Model hash:  a60cfaa90d,  Model:  dreamshaper_5BakedVae,  Clip skip:  2 ,  ENSD:  31337 
  
 
 
 
 
 
 之后每种风格生四张图及若干知识点拓展的比较图
 用高清修复方法将原始512*256的图扩展为1024*512; 部分图片会使用人脸修复、局部重绘等; 其采样迭代步数改为20~32; 半身像词缀采用half body词缀,如果不出半身则可能采用upper body词缀; 去掉正向提示词:photorealistic, absurdres, 8k; 反向提示词easynegative和nsfw看情况使用; 正向提示词只更换风格词缀; 四格画主要变动的规则分别为: controlnet限制,种子固定 controlnet限制,种子不固定 controlnet不限制,种子固定 无限制      
  
 2. 全息彩虹色 (holographic iridescent)  
( ( holographic iridescent) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( holographic iridescent) ) , ( 1cute girl) ,  half body, 
  
 
 3. 赛博朋克 (cyberpunk)  
( ( cyberpunk) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( cyberpunk) ) , ( 1cute girl) , ( mechanical body) ,  half body, 
  
 
 4. 浮世绘 (ukiyoe)  
( ( ukiyoe) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( ukiyoe) ) , ( 1cute girl) ,  half body, 
  
 
 5. 搅拌机3d渲染 (blender 3d)  
( ( blender 3d) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( blender 3d) ) , ( 1cute girl) ,  half body, 
  
 
 6. 摆拍 (knolling)  
( ( knolling) ) ,  ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
这是什么风格?完全看不出来。加上easynegative 看看。
 
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道再试试,物件人物平铺?
 
( ( knolling) ) ,  ( 1cute girl) ,  half body, 
  
 
加上art 再看看,有没有哪个设计师有感觉了?
 
( ( knolling art) ) ,  ( 1cute girl) ,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
现在明白这里的摆拍真的就是摆着拍了吧?
 
具体解释如下:  “knolling是用于画出一张简洁而有条理的图像的。Knolling是指在摄影或绘画中将物品整齐地排列成水平和垂直线条的过程。在Stable Diffusion中,它表示将图像的元素排列整齐、有条理。因此,当你看到这个提示词时,你可以尝试将图像的元素整齐地排列,让图像看起来更有组织性,更易于理解。”
 
 7. 等距3D模型 (isometric 3d cube)  
( ( isometric 3d cube) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
加上easynegative试试,也差不多,都是不能理解这是个什么风格。
 
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道试试。
 
( ( isometric 3d cube) ) , ( 1cute girl) ,  half body, 
  
 
真的就是个方块???加上art试试。
 
( ( isometric 3d cube) ) art, ( 1cute girl) ,  half body, 
  
 
好吧,静心想一想,这到底是个什么风格?哈哈,其实这个风格用来描写场景才是合适的。
 
( ( isometric_3d_cube) ) ,  buildings,  trees,  road,  cars
  
 
既然所有的房子都像个cube,那么就加入反向提示词cube,于是风格像个样子了。
 
( ( isometric_3d_cube) ) ,  buildings,  trees,  road,  cars
negative prompt: cube
  
 
再加入反向提示词easynegative,将图像尺寸变成1:1,看看是不是出你想要的图了?
 
 
最后试着用Leonardo生图,意思是一样的。
 
 
 8. 像素风 (8bit/16bit pixel)  
( ( 16bit pixel) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
 用pixel art词缀再来一套
 
  
( ( pixel art) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( 8bit pixel) ) , ( 1cute girl) ,  half body, 
  
 
 9. 简笔画风格 (stick figure)  
( ( stick figure) ) , ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
这是剪影,还是动漫风?去掉街道,感觉来了
 
( ( stick figure) ) , ( 1cute girl) ,  half body, 
  
 
 10. 贴纸化(design a sticker)  
( ( design a sticker) ) ,  ( 1cute girl)  walking in street,  half body, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( design a sticker) ) , ( 1cute girl) ,  half body, 
  
 
 11. 荧光颜料 (fluorescent)  
( ( fluorescent) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
换上art,来一次,情况好一点,街道上的等也出现霓虹了。
 
( ( fluorescent art) ) ,  ( 1cute girl) walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
但看得出,在这个模型下,荧光效果更多地被AI理解成了霓虹灯,因为街道这个词缀给我们的模型带来很多困扰,现在把街道去掉,仅留人物,效果就有了。
 
( ( fluorescent) ) ,  ( 1cute girl) ,  half body,  
  
 
看一组反向提示词有easynegative限制的,照片级程度更高。
 
 
 12. 刺绣艺术 (embroidery art)  
( ( embroidery art) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
和荧光效果一样,街道的词缀限制了AI,让刺绣艺术更多呈现了具体的刺绣艺术品。现在去掉walking in street,AI自由发挥一下才能看到效果还是有的~~
 
( ( embroidery art) ) ,  ( 1cute girl) ,  half body,  
  
 
换个模型试试,同样没有街道,效果更明显
 
 
 13. 剪纸艺术 (paper cut craft)  
( ( paper cut craft) ) ,  ( 1cute girl)  walking in street,  half body,  
  
这次先用反向提示词easynegative限定一下。
 
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
现在把反向提示词easynegative去掉。。。。,出图几率大大提高(在另一台机器上加了这个easynegative也没有太大影响,怪)
 
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
看见没?去掉easynegative,加art或是不加,都可以出图。这里来一组看看controlnet会不会影响出图。
 
( ( paper cut craft) ) art,  ( 1cute girl)  walking in street,  half body,  
  
有art 无art 无art有openpose 无art有openpose和canndy 
 
去掉街道
 
( ( paper cut craft) ) , ( 1cute girl) ,  half body, 
  
 
 14. 折纸艺术 (layered paper)  
( ( layered paper) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道出一次图
 
( ( layered paper) ) ,  ( 1cute girl) ,  half body,  
  
 
很显然,这个风格是不对的,那么应该如何才能表现折纸风呢?想一想,平时是不是单个物件来表示是比较合适的?那么就来只鸟吧
 
( ( layered paper) ) ,  1bird, 
  
 
 15. 橡皮泥风格 (plasticine)  
( ( plasticine) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
无街道
 
( ( plasticine) ) ,  ( 1cute girl) ,  half body,  
  
 
 16. 水墨画(chinese ink style)  
( ( chinese ink style) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( chinese ink style) ) ,  ( 1cute girl) ,  half body,  
  
 
变成景色描写
 
( ( chinese ink style) ) ,  hill,  moutain,  
  
 
 17. 皮影戏艺术 (chinese shadow puppets)  
( ( chinese shadow puppets) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( chinese shadow puppets) ) , ( 1cute girl) ,  half body, 
  
 
皮影戏是戏,那我们可以描述得详细一些,比如女孩骑在马上穿行在山间
 
( ( chinese shadow puppets) ) ,  ( 1girl) riding a horse through the mountains,  left is trees,  right is trees
  
 
 18. 移轴摄影风格 (tilt-shift photography)  
( ( tilt- shift photography) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
要知道移轴是用来表现大场景的,现在给个city测试一下
 
( ( tilt- shift photography) ) ,  city,  
  
 
 19. 平面涂鸦风格 (graffiti art, 2d, illustration)  
( ( graffiti art, 2d, illustration) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( graffiti art, 2d, illustration) ) ,  ( 1cute girl) ,  half body,  
  
 
交替渲染的方式生图
 
( ( [ graffiti art| 2d| illustration] ) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
交替渲染,去掉街道
 
( ( [ graffiti art| 2d| illustration] ) ) ,  ( 1cute girl) ,  half body,  
  
 
这是一个混合后才能生成的风格,三个风格本身是有差别的,一个比一个平,我们看一下各自风格对应出图情况。
 
 
graffiti art 2d illustration 
 
 
graffiti art 2d illustration 
 
 
graffiti art 2d illustration 
 
 
graffiti art 2d illustration 
 
再来一组各风格随机。
 
 
 
 
 
 
 
 20. 仙女系 (fairy kei fashion)  
( ( fairy kei fashion) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( fairy kei fashion) ) ,  ( 1cute girl) ,  half body,  
  
 
 21. 超现实主义(surrealism)  
( ( surrealism) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( surrealism) ) ,  ( 1cute girl) ,  half body,  
  
 
 22. 创世纪风 (genesis)  
( ( genesis) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( genesis) ) ,  ( 1cute girl) ,  half body,  
  
 
好像没有创世纪的感觉~~那么我们加入点宗交元素。
 
( ( genesis) ) ,  ( angel) ,  cloudy sky,  the steps,  ceiling
  
 
 23. 潜意识 (subconsciousness)  
( ( subconsciousness) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( subconsciousness) ) ,  ( 1cute girl) ,  half body,  
  
 
这些和潜意识有什么关系呢???潜意识画风的定义是指一种表现手法,用来表现人物内心深处的情感和想法。这种表现手法通常使用一些模糊、朦胧的画面来表现人物的梦境、幻觉、回忆等,要么这样试试?
 
( ( subconsciousness) ) ,  sea,  sun,  buildings,  ball,  cliff,  elephant,  elephant,  nose,  hand,  foot,  rope
  
 
对比一下同样的提示词和参数,不同风格下的感觉,不是都很魔幻么???
 
 
 24. 浪漫主义 (romantic)  
( ( romantic) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( romantic) ) ,  ( 1cute girl) ,  half body,  
  
 
 25. 哥特风景和建筑 (gothic architecture and landscape)  
( ( gothic architecture and landscape) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( gothic architecture and landscape) ) ,  ( 1cute girl) ,  half body,  
  
 
 26. 宫崎骏风格 (studio ghibli)  
( ( studio ghibli) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( studio ghibli) ) ,  ( 1cute girl) ,  half body,  
  
 
 27. 马里奥风格 (mario style)  
( ( mario style) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( mario style) ) ,  ( 1cute girl) ,  half body,  
  
 
 28. 皮克斯风格 (pixel style)  
可不就是上面的像素风么。。。?
 
( ( pixel style) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( pixel style) ) ,  ( 1cute girl) ,  half body,  
  
 
 29. 我的世界风格 (minecraft)  
( ( minecraft) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( minecraft) ) ,  ( 1cute girl) ,  half body,  
  
 
 30. 乐高积木 (out of LEGO)  
( ( out of LEGO) ) ,  ( 1cute girl)  walking in street,  half body,  
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
去掉街道
 
( ( out of LEGO) ) ,  ( 1cute girl) ,  half body,  
  
 
  
 总结  
不同的模型controlnet对其影响不同,有些模型能出现正确的风格,有些模型局限性就非常大;  比如剪纸艺术中,两个模型都用controlnet限制边缘和动作,但结果却完全不同   
机1失败 机2成功 
 
controlnet做过边缘限定的出图,部分模型会受较大影响,而使用openpose限定动作的情况则会好转很多。  比如下面两张简笔画风格;   
canndy边缘限定 openpose动作限定 
 
half body作为最后一个参数,且没有设置权重,那么让AI自由发挥的时候往往出图是全身照,有时候出现的是下半身,所以half body并不是最好的词缀,如果明确是上半身,那么用upper body更合适,当然upper body也不能确保一定是上半身,记得结合权重。  
 
不同词缀风格在初学时尽量不要混用,否则你并不清楚不同的提示词到底会绘制成什么样子。  比如本文所用photorealistic是照片感,与浮世绘、像素风放一起,将会将其污染,看下图,图片是日式,但离浮世绘的感觉还有距离,更偏照片一点;而像素风索性是被污染最严重的一种风格。   
浮世绘 像素风 16bit pixel 严重污染 pixel art 极轻微污染 
 
 Stable Diffusion不同模型对提示词的识别度不完全一致,可以加上加风格style、art等词缀试试效果。同时  比如荧光效果中,没加art的时候,AI的理解是荧光棒,而不是荧光风格,加了之后情况就好多了。
   不同风格的词缀适用场景是不同的,本文提示词描写了一个可爱的女孩在街道中,但这样的描述会限制某些风格的发挥。  比如在荧光颜料风格中,都用了easynegative反向提示词,都写明街道可能导致场景增加荧光物体而人物风格却不变,但如果不写街道,那么人物的主体风格也是荧光风格,而不是穿着荧光材料,这一点需要注意。
    
 
同样的模型,不同版本,不同电脑上渲染,出图结果差异非常大,也就是说不同的机器需要不同的调试。  比如在机器1和机2上渲染荧光效果,同样的边缘动作控制,两台不同电脑模型相同,但版本不同,出图效果还是有差异的,机1似乎完全忘了要荧光这件事。   
 
easynegative作为一个整合了众多反向提示词的词缀(需要安装到embeddings目录下),一般情况下用起来很舒服,但是他内在要求画与真实世界相仿的表现,所以在某些模型下对某些风格会起到重大的污染,导致想要的风格丧失,转而偏向照片风格,但如果利用好,则可以生出精致的图。  
无easynegative(风格凑活) 有easynegative(环境无特效) 无easynegative(风格正确) 有easynegative(污染较严重) 
 
同一个模型的不同版本,可能无法实现同样的效果。  比如以下实现等距3D模型,同样的提示词,不同模型版本,有的往往不能正确理解到底这个cube到底干吗用~总是把房子变成cube。   
( ( isometric_3d_cube) ) ,  buildings,  trees,  road,  cars
Negative prompt:  cube
  
dreamshaper_5BakedVae dreamshaper_331BakedVae dreamshaper_5BakedVae dreamshaper_331BakedVae 
 
不同风格需要不同的适用提示词才能表现出该风格。  比如等距3D模型主要是运用于场景出图,但如果你给了人物为主的提示词,甚至有controlnet限制,那么结果将大相径庭。   
人物为主:
 
( ( isometric 3d cube) ) , ( 1cute girl)  walking in street,  half body, 
  
物体为主:
 
( ( isometric_3d_cube) ) ,  ( buildings) ,  trees,  road,  cars
  
 
同一个模型,同一套提示词,参数也都一样,但因为种子不同,效果可能差异非常大,。  比如这个   
( ( isometric 3d cube) ) , ( 1cute girl)  walking in street,  half body, 
  
种子:2513253825 种子:2961024435 种子:2663910581 种子:2663910578 
 
在掌握了一定的风格后,你就可以尝试把不同的风格混合在一个图像里,形成你所需要的内容  比如出一个伪3D像素风格的图片,那么可以这样:   
 
比如出一个伪3D荧光风格的图片,那么可以这样:
 
 
很多自定义风格需要在现有基础上重新改造  比如重写个粗笔速写,但还不是那么速(也可以把marker sketch换成simple sketch试试)。   
( ( marker sketch) ) ,  ( black and white) style,  ( simple lines) ,  ( ( only black lines) ) ,  ( white background) ,  ( simple background) ,  high contrast,  basic shapes,  ( 1cute girl)  walking in street,  half body,  white face
Negative prompt:  ( ( gray) ) ,  colorful,  gradient,  color gradient,  light,  fine lines,  messy lines,  small lines,  black face, 
  
种子固定和controlnet限制 controlnet限制 种子固定 无限制 
 
偶尔系统会出bug,在使用了controlnet后,将导致风格污染严重。  就像是把照片模式吃进了系统中无法修改,如果你遇到了这个问题,重启ai也没用,那么我建议你重启电脑再试试吧。  比如下图中,参数模型一摸一样,但出图人物差异严重。   
简笔风正常 简笔风出错 blender 3d正常 blender 3d出错 
 
不知道是bug还是正常,同样的模型,同样的参数,同一台电脑,但时间不同,并且系统升过一次级,则出图不同。  比如下图中,参数模型一模一样,连种子都一样,结果出图完全不同。   
( ( holographic iridescent) ) , ( 1cute girl)  walking in street,  half body, 
Negative prompt:  easynegative
Steps:  32 ,  Sampler:  Euler a,  CFG scale:  7 ,  Seed:  3472141699 ,  Face restoration:  CodeFormer,  Size:  1024x512,  Model hash:  a60cfaa90d,  Model:  dreamshaper_5BakedVae,  Clip skip:  2 ,  ENSD:  31337 
  
昨天 今天