I'm learning to trains LoRAs, have a few in my profile already that im satisfated with the results but im struggling with multiple clothes/character in a single LoRA, my last two LoRAs i tried training together in a single one, i tried training as two different concepts, creating a folder 20_character1 and 20_character2 and putting images of the characters accordingly to each folder (26 images for one and 24 for the other), all images was hand picked and i also tagged the image captions with the characters name to try to separete them, but when i tried using it, i get mixes of the two characters in one and cant get to prompt them especificaly.
I use the following paramaters for training
"learning_rate": "0.0001",
"lr_scheduler": "constant",
"lr_warmup": "0",
"epoch": "4",
"enable_bucket": true,
"text_encoder_lr": "5e-5",
"unet_lr": "0.0001",Anyone can give me any tips for what i might be doing that may cause those undesirable results?
1 Answer
По поводу одежды. Пока что у меня лучше всего работало увеличение количества исходных изображений, где есть разная одежда. Вроде бы, лора таким образом выделяет общее на всех изображениях, и этим общим является человек с определённым лицом, а не человек в определённой одежде. Это, кстати, так же касается окружения, цветов и так далее. Например, если фотографии сделаны на одном и том же фоне, то фон тоже уйдёт в неотъемлемую часть объекта.
Поэтому, я видел рекомендации, по которым на исходные изображения специально добавляли шум, чтобы сместить внимание нейросети от окружения объекта в пользу самому объекту. Но сам я так попробовал лишь один раз и у меня нормального результата не получилось. :)