preprocessor 에 뭐가 한가득이길래 어떨 때 뭘 사용해야 하는지 궁금했어.

선택지 별 기본 설정 외에 나머지 설정 소개: https://stable-diffusion-art.com/controlnet/

공통 설정

henmix_real_V1

DPM++ 2M Karras, Steps 30, CFG 7

네거: (low quality, worst quality), nsfw

controlnet git log: 3856ada5(Tue Mar 28 22:20:31 2023)

contrl_v11p_sd15_xxx_fp16

Controlnet Single Image 에 기존 이미지 삽입 후 Generate

ControlNet is more important: True

ddetailer 미적용

Control Type

하나씩 체크해가며 비교

txt2img

컨트롤넷	원본	결과	과정
canny 선 따기 2차 512x512		blue, 1girl
depth_midas 깊이 측정. 움짤에 사용 512x512		blue, 1girl
normal_bae 세부적인 깊이 측정. 3D 모델링에 사용 512x512		blue, 1girl
openpose_full 512x768	1girl, dynamic pose, activity, full body	blue, 원본 프롬
MLSD 직선만 따기 512x768	modern repair house, style of nature	blue, 원본 프롬, style of Abraham Bosse
Lineart_standard 화분까지 똑같이 그릴 때 선 따기 3차(최종) 512x768	modern repair house, style of nature	blue, 원본 프롬, style of Abraham Bosse
softedge_pindinet 선 따기 1차 512x512		blue, 1girl
scribble_pidinet 그림판+마우스로 그린 10초 크로키 512x512		blue, 1girl
Seg_ofade20k 어느 영역에 사람이 있고, 물이 있고, 풀이 있는지 512x768	1girl, island tracking, wonderful sightseeing	원본 프롬과 동일
shuffle 소용돌이치며 섞음 512x768	wide calm sea	원본 프롬과 동일

preprocessor 가 생성한 '과정'이 원본과 몹시 유사한 경우, 해당 모델은 img2img 전용인 것으로 판단.

img2img(마스크없는 Inpaint 와 같은 것)

- 공통 설정[Control Mode: Balanced]

컨트롤넷	원본	결과	과정
Tile_resample 512x512		style of Abraham Bosse	원본과 몹시 유사
Inpaint_only 512x512	눈에 마스크 칠함	red eyes 잘 보면 홍채가 비교적 붉은 색에 가까워짐	브라우저 상에서는 칠한 부분이 회색으로 보임
IP2P(preprocessor: none) inpaint 용(img2img 시, 전체가 벌겋게 된다) 512x512	눈, 입에 마스크 칠함	red eyes	preprocessor none 이라서 원본과 동일
Reference_only(model: none) img2img 같은 사람 뽑기		red eyes, style of Abraham Bosse	reference_only 라서 원본과 동일
T2IA 모델 다운로드 필요	-	-	-

모르겠는 것

- shuffle: 사람을 넣으면 안 된다는 건 확실히 알겠는데, 구체적으로 어디에 써야 할 지 제보 부탁해~

- tile_resample: 원래 SD가 tile 방식으로 잘라서 바꿔왔는데, tile_resample의 의미 및 목적이 뭔지 모르겠어. 

- T2IA: 공식 hugging/ lllyasviel 에 모델이 안 보이더라. 어디서 받을 수 있어?

> 댓글 반영: TencentARC/T2I-Adapter - 하트 500여개