Discoveries About Training LoRAs

Over the past weeks, I’ve been experimenting with different approaches to LoRA training, and I’d like to share some insights that might be useful. Many experienced creators probably already know this, but I think it’s valuable to put it into words and spark discussion with the community.

🔹 1. Single-style datasets

When the dataset is made up of images of a character in the same style (for example, anime or movie screencaps), the LoRA learns not only the character’s traits but also the visual style. This works great if you want to faithfully replicate a particular aesthetic.

🔹 2. Multi-style datasets

If the dataset includes images of the same character but drawn in different styles, the LoRA focuses on learning the character’s core features: hair color and type, eye color, clothing (if it has a consistent design). The generations tend to be more flexible and “free.” When combined with style LoRAs, the character keeps its essence while also absorbing much of the applied style.

🔹 3. The role of tagging

Tagging images makes a noticeable difference:

• If you tag every detail such as hair type, length, color, and eye traits, the LoRA will require more specific prompts to reproduce them.

• If you omit those tags, the traits are absorbed directly during training, so the LoRA handles them automatically.

✨ These findings are just one part of the process, but sharing them might help others experiment and improve their own training results.

👉 How about you? Do you prefer single-style datasets or mixing different approaches? I’d love to hear your experiences, tips, and tricks in the comments!

Descubrimientos sobre el entrenamiento de LoRAs

Durante las últimas semanas he estado experimentando con diferentes formas de entrenar LoRAs y quiero compartir algunos hallazgos que quizás resulten útiles. Seguramente muchos creadores con más experiencia ya dominan estos aspectos, pero me parece valioso dejar constancia de lo aprendido y abrir el diálogo con la comunidad.

🔹 1. Datasets de un solo estilo

Cuando el dataset está compuesto por imágenes de un personaje en un mismo estilo (por ejemplo, capturas de pantalla de un anime o película), la LoRA no solo aprende las características del personaje, sino también el estilo visual en el que aparece. Esto puede ser útil si lo que buscas es replicar fielmente esa estética.

🔹 2. Datasets con múltiples estilos

Si el dataset reúne imágenes del mismo personaje pero en diferentes estilos de dibujo, la LoRA se enfocará en aprender los rasgos esenciales del personaje: color y tipo de cabello, color de ojos, vestimenta (si esta mantiene un diseño reconocible). Al momento de usarla, los resultados tienden a ser más flexibles y “libres”. Además, al combinarla con LoRAs de estilo, se logra que el personaje conserve su esencia mientras absorbe gran parte de la estética aplicada.

🔹 3. El papel de los tags

El etiquetado de las imágenes también marca una diferencia importante.

• Si detallamos en todas las imágenes aspectos como tipo, color y largo de cabello o rasgos de los ojos, la LoRA pedirá prompts más específicos para reproducirlos en la generación.

• En cambio, si eliminamos esas etiquetas del dataset, esas características quedan absorbidas directamente durante el entrenamiento, haciendo que la LoRA las incorpore de manera más automática.

✨ Estos descubrimientos son solo una parte del proceso, pero compartirlos puede ayudar a otros a experimentar y optimizar sus propios entrenamientos.

👉 ¿Tú cómo lo haces? ¿Prefieres datasets de un solo estilo o mezclas diferentes enfoques? Me encantaría leer sus experiencias, consejos y trucos en los comentarios.