CheckPoint와 LoRa?

체크포인트(checkPoint)는 결과물의 밑그림을 생성해주고,

LoRa는 체크포인트로 생성된 결과물에 '스타일'을 추가해주는 것이라고 생각하면 간단합니다.

보통 애니메이션 계열의 체크포인트는 대량 학습을 하기에(2만장~4만장쯤) 작가 태그를 쓰지 않으면 특색없는 평범한 그림체가 나오는 경우가 대부분입니다. 작가 태그를 써도 안먹히게 만든 모델도 꽤 많아요.

그래서, 체크포인트로 생성된 결과물에 자신이 원하는 그림체를 더하기위해 사용하는게 LoRa입니다.

모델 파일의 정보 보는 법

아래 사진은 유명한 체크포인트 모델인 WAI-NSFW의 모델 정보입니다. (참고로 CheckPoint Merge란 여러 CheckPoint를 합쳐서 새로운 CheckPoint를 만들었다는 말입니다.)

모델 파일을 볼 때 중요한건 'Base Model'과 'Usage Tips'입니다.

체크포인트와 LoRa는 보통 더 방대한 학습을 시킨 기반 모델(Illustrious나 Pony와 같은 모델들)을 가지고 추가적인 학습을 시킨 것이기 때문에 하나의 그림을 생성할 때 사용하는 모델 파일은 Base Model이 일치해야 그림이 덜 망가집니다.

(손가락,인물,배경이 심하게 망가지거나 색감이 이상하면 Base Model을 한번 확인해봐야합니다)

CLIP SKIP:2 는 ComfyUI 기준 'Clip SetLayer' 라는 노드의 값을 -2로 지정해라는 의미입니다. 유명한 체크포인트들은 CLIP SKIP은 설정하지않아도 결과물에 크게 영향주지않기에 생략해도 괜찮습니다.

아래 사진은 아무거나 골라 찍은 LoRa 모델 정보입니다.

LoRa 모델은 'Base Model'과 'Trigger Words'가 중요합니다.

체크포인트와 같은 Base Model을 사용하는 LoRa여야 결과물에 문제가 덜 생기고 결과가 일그러지지않습니다. 물론 결과물을 원하는 대로 뽑는게 목적이기에 Base Model이 호환되지않아도 사용하는 경우가 매우 많습니다.

트리거 워드는 LoRa가 작동하도록 만들거나, 학습시킨 특정 요소가 포함되도록 유도하는 단어입니다.

트리거워드는 크게 두가지 의도를 나타냅니다.

첫째, '작동'을 시켜주는 단어들

LoRa 자체가 제대로 작동하도록 강제성을 띌 수 있습니다. 이 경우, 트리거 워드를 안적어주면 LoRa가 제대로 적용되지 않기도합니다.

둘째, 특정 요소를 포함시키기 위한 용도의 단어들

LoRa는 그림체 뿐만 아니라 캐릭터, 특정 포즈, 특정 사물을 그림에 추가시키는 용도로도 쓸 수 있기 때문에 제작자의 의도에 따라 제시하는 트리거 워드 중 자신이 원하는 단어만 골라 써도 됩니다.

예) 특정 캐릭터를 집중적으로 학습시킨 LoRa의 경우 해당 캐릭터의 이름을 써야 그 캐릭터가 등장합니다.