Traditional Korean Painting Model

(Translated from English using DeepL)

불필요한 오해를 만드는 것 같아서 모델명 이름을 바꾸었습니다. 조선시대의 화가와 현대 한국화 작품, 그리고 수묵화 데이터를 가지고 미세조정 했습니다.

I renamed the model because I felt it was creating unnecessary misunderstandings. I fine-tuned it with data from Joseon era painters, modern Korean paintings, and ink paintings.

하이퍼네트워크와 SD1.5 기반의 모델을 만들고 난 뒤 몇 달 지나지 않아 SDXL이란 모델이 나왔습니다. 그 당시 SD2.1 기반의 모델은 작업을 하지 않았습니다. 그 이유는 컨트롤넷을 사용하기 어려운 점과 명확하게 SD1.5 보다는 낫지 않았기 때문에 꺼려졌습니다. 프롬프트에 따른 변화는 명확하게 줄 수 있고, 알려진 피사체에 대한 재현은 좀 더 나아 보이지만 높아진 사양에 비해서는 명확한 이점은 없었습니다. 하지만 SDXL의 경우 컨트롤넷과 여러 가지 기능이 바로 지원될 것이라고 이야기와 지원되는 해상도에 대비해서 그렇게 많은 사양을 요구하지 않았기에 시도를 해보았습니다.

A few months after creating the hypernetwork and the SD1.5-based model, a model called SDXL came out. At that time, I didn't work on the SD2.1-based model because I was reluctant to use ControlNet and because it wasn't clearly better than SD1.5. You can definitely change things based on prompts, and the reproduction of known subjects looks a little bit better, but there was no clear advantage over the higher specs. But with SDXL, they said that ControlNet and a bunch of other things would be supported out of the box, and they didn't ask for that many specs for the supported resolutions, so I gave it a shot.

제작 과정에 대해서는 이 글을 참고해 주세요.

For more information on how it was created, see this article.

HuggingFace Link

https://huggingface.co/gagong/Traditional-Korean-Painting-Model-v2.0

https://huggingface.co/gagong/korean-sumukhwa-model-ver-1

Used data

조선시대 화가 / Joseon Dynasty Painters Link

조선시대 화가의 그림은 수량이 적기 때문에, 그림을 조각내고 좌우 반전을 통해서 그림 장수를 늘렸습니다. 총 5684장.

Since the paintings of Joseon Dynasty painters are few in number, the paintings were fragmented and reversed to increase their longevity. 5684 paintings in total.

디지털 K-art 데이터 / Digital K-art data Link

11246장 중 6253장으로 줄였습니다. aihub에 있는 자료는 정말 엄청나게 많기 떄문에, 일단 그중 라벨링이 되어있는 데이터로 줄였습니다. 그렇게 11246장이 나왔으며 그 중 정사각형에 가까운 이미지를 골라서 내서 6253장이 나왔습니다.

So out of the 11,246 images, I narrowed it down to 6,253. There's a lot of data on AIHUB, so I just narrowed it down to the data that was labeled, and that gave me 11,246 images, and I picked out the ones that were close to a square, and that gave me 6,253 images.

한국 전통 수묵화 화풍별 제작 데이터 / Production data for traditional Korean ink paintings by style Link

5860장의 이미지를 정사각형으로 잘라낸 자료를 사용했습니다. 이 데이터도 엄청 많기 때문에 수량을 늘릴 수 있으나 조선시대 화가의 데이터와 비슷한 양으로 설정했습니다.

I used a baseline of 5860 images cropped into squares. This is a lot of data, so you can increase the quantity, but I set it to a similar amount to that of a Joseon painter.

이 데이터의 샘플은 아래와 같습니다.

A sample of this data is shown below

사용 가이드 / User Guide (SDXL ver)

사용 팁 / Usage Tips

1. 일반적으로 CFG scale이 높을수록 품질이 좋지 않습니다. 10 이상으로 설정하는 것은 추천하지 않습니다. 다만 짧은 단어는 영향을 거의 받지 않는 것으로 보입니다.
   In general, the higher the CFG scale, the worse the quality. We don’t recommend setting it above 10. However, shorter words seem to be less affected.

2. 긴 문장을 입력할수록 일반적인 사진으로 나올 가능성이 높습니다. 그렇다고 트리거 단어의 가중치를 늘린다고 하더라도 결과물이 더 나아지지 않습니다.
   The longer sentences you type, the more likely you are to get a generic photo, and increasing the weight of the trigger word doesn’t make the result any better.

3. 추천하는 CFG scale은 4-8 사이입니다.
   The recommended CFG scale is between 4-8.

4. 품질이 떨어지는 트리거 단어를 단독으로 사용하지 마세요.
   Don’t use poor-quality Trigger Words in isolation.

5. 트리거 단어 여러개를 동시에 사용해서 테스트를 하진 않았지만, 일반적으로 더 좋게 나올 것으로 추측됩니다.
   I haven’t tested using multiple trigger words at the same time, but I’m guessing it will generally work better.

6. 이미지가 사진처럼 나올 경우 'painting' 이나 'style'이란 프롬프트도 같이 사용하면 좀 더 나은 결과를 볼 수 있습니다. ex) kimhongdo painting
   If your image comes out looking like a photo, you may see better results if you also use the "painting" or "style" prompts. ex) kimhongdo painting

7. 아직은 많이 사용하지 않아서 이후에 제시된 방법이 수정될 수 있습니다.
   I haven't used it much yet, so the methods presented here may be modified in the future.

트리거 단어 리스트 / Trigger Words List

참고로 화가의 실제 그림체를 제대로 반영하지는 못합니다.

Note that this is not a true representation of the painter’s actual painting style.

큰 이미지로 보기 / View as a larger image Link

• whtjs
  조선시대 화가의 평균적인 화풍을 구현합니다.
  Emulates the average painting style of a Joseon era painter.

• kangsehwang
  가장 단순한 형태로 그려집니다.
  It is drawn in its simplest form.

• kimhongdo
  가장 품질이 뛰어납니다.
  The highest quality.

• sinyunbok
  두 번째로 품질이 뛰어납니다.
  Second highest quality.

• simsajeong
  그림에서 여성의 얼굴이 나올 확률이 높습니다.
  A woman’s face is more likely to be in the image.

• anjungsik
  가장 품질이 좋지 않습니다.
  The lowest quality.

• jangseungeop
  두 번째로 품질이 좋지 않습니다.
  Second worst quality.

• heoryeon
  가장 색상이 적은 결과물이 나옵니다.
  The result is the one with the least colour.

• gksrnr
  현대적인 형태를 만듭니다. 신체 오류가 자주납니다.
  Creates modern shapes. Body errors are frequent.

• tnanr
  아래 세 가지 수묵화 기법의 평균적인 모습을 만듭니다.
  Produces an average look of the three ink painting techniques below.

• baengmyo
  whtjs의 결과와 유사하게 나올 때가 많습니다.
  The results are often similar to those of ‘whtjs’

• gureuk
  얇은 경계가 있는 느낌으로 그림이 나옵니다.
  The result is a picture with a thin border.

• molgol
  경계가 없는 결과물을 만들어 냅니다.
  Produces results that have no boundaries.

사용 가이드 / User Guide (SD 1.5 ver)

Trigger Words: GKSRNRGHK, RLAGHDEH

한국 수묵화 데이터는 6000장 정도 김홍도 그림은 1000장 정도 사용되었습니다. 그런 이유인지, 한국 수묵화 스타일로 하려면 CFG Scale를 2-7 사이로 김홍도 그림의 스타일로 하려면 4-12사이를 추천합니다. 두개의 스타일 모두 활용할 경우 중간 값으로 하는 것을 추천합니다. 스텝수에도 영향을 받기 때문에 적절한 값을 찾는 것이 중요합니다.

For Korean ink wash painting style, it is recommended to use CFG Scale between 2-7. For Kim Hong-do's painting style, a range of 4-12 is recommended. If you want to utilize both styles, it is recommended to use an intermediate value. The step count also affects the output, so finding an appropriate value is important.

작동을 잘 하지않지만 기법에 대한 프롬프트도 적용이 되어있으며 사용할 때는 아래 프롬프트를 사용하면 됩니다. (하지만 미묘한 차이만이 발생합니다.)

Although it does not perform well, the prompts for the techniques are applied, and when using it, you can use the following prompts. (However, only subtle differences may occur.) Translate it into English.

• 백묵법/Baekmukbeob: baegmyobeob

• 몰골법/molgolbeob: molgolbeob

• 구륵법/guleugbeob: guleugbeob

김홍도 그림을 강조하고 싶으면 rlaghdeh style, rlaghdeh painting이란 프롬프트를 같이 사용하면 좀더 강조가 됩니다.

If you want to emphasize Kim Hong-do's painting style, using the prompts "rlaghdeh style" and "rlaghdeh painting" together will enhance the emphasis.

샘플 이미지 / Sample Images

txt2img의 샘플이미지 입니다.

Here is a sample image from txt2img