Creazione di un personaggio cartoon e delle sue espressioni

L’obiettivo di questo workflow è creare un personaggio, Hiro, un bambino giapponese in stile cartoon Pixar, a partire da un’idea iniziale. Attraverso una combinazione di strumenti e tecniche, il workflow illustra come realizzare un character sheet, correggere errori e incongruenze, creare espressioni facciali dinamiche e addestrare un modello LoRA.

Obiettivo del Workflow

Fase 1: Creazione del Personaggio

Il punto di partenza è stata l’idea di creare Hiro, un bambino giapponese in stile cartoon. Prima di arrivare al design definitivo, ho generato diversi personaggi fino a trovare quello che rispecchiava al meglio la mia visione dal punto di vista creativo e tecnico.

Per sviluppare il character sheet del personaggio, ho utilizzato un workflow basato su OpenPose, integrato con ControlNet, che mi ha permesso di generare:

• T-Pose come base statica.

• Pose dinamiche che riflettono il movimento e la personalità del personaggio.

Le immagini di partenza erano omini stick di OpenPose, usate come input per posizionare Hiro in pose specifiche attraverso un sistema di Text-to-Image. Questo processo mi ha consentito di posizionare il personaggio in modo preciso, mantenendo coerenza tra le pose.

Successivamente, ho effettuato un upscale delle immagini e un ripristino dei dettagli, concentrandomi sul miglioramento del volto per garantire una resa finale di alta qualità.

Dopo aver generato il character sheet, ogni posizione del personaggio ogni immagine è stata ridimensionata a una forma uniforme di 1024x1024 pixel. Questo passaggio è stato essenziale per garantire coerenza tra le immagini e prepararle per le fasi successive.

Durante questa fase, ho corretto manualmente errori e incongruenze, come:

• Mani malformate.

• Dettagli incoerenti nei capelli.

• Scarpe malformate e proporzioni errate.

Per queste correzioni ho utilizzo di modificare aree specifiche delle immagini mantenendo l’apparenza dello stile originale. Questo processo ha assicurato che ogni immagine fosse pronta per il training successivo senza perdere la coerenza visiva del personaggio.

Fase 2: Preparazione delle Immagini

Fase 3: Creazione delle Espressioni Facciali

L’obiettivo finale era sviluppare un modello LoRA completo per il personaggio Hiro. Per raggiungere questo risultato, ho creato una vasta gamma di espressioni facciali utilizzando un workflow dedicato alle espressioni facciali.

Questo workflow permette di:

• Input a immagini di riferimento: Generare espressioni facciali specifiche basate su una foto.

• Modifica di parametri manuali: Personalizzare dettagli come:

• Apertura e chiusura della bocca.

• Posizione degli occhi.

• Inclinazione della testa.

• Posizione delle palpebre.

Grazie a questo processo, sono riuscito a creare una serie di espressioni che rappresentano Hiro in varie emozioni, come: Felicità, Sorpresa, Concentrazione, Imbarazzo, Atteggiamenti da “combina guai”. Questa fase è stata cruciale per rendere Hiro un personaggio versatile e vivo, pronto per essere utilizzato nel training del LoRA.

Fase 4: Creazione del Modello LoRA

Una volta completato il dataset, ho preparato i dati per il training LoRA, includendo immagini e file di testo associati. Per generare le descrizioni accurate delle immagini, ho utilizzato il mio programma di captioning personalizzato, LoraDBEdit versione 2.

Il training è stato effettuato con:

• Network DIM: 64.

• Network Alpha: 64.

• Un massimo di 1500 step, ottimizzato per un dataset limitato.

Nonostante un Loss leggermente alto, abbiamo comunque ottenuto buoni risultati. Grazie a questa configurazione, il modello LoRA è stato addestrato per mantenere la coerenza visiva di Hiro e la sua versatilità in diverse pose ed espressioni.

Fase 5: Utilizzo del Modello LoRA

Dopo il completamento del training, Hiro è pronto per essere utilizzato in una vasta gamma di contesti. Grazie al modello LoRA, è possibile:

• Creare immagini dinamiche e contestuali che riflettono il lore del personaggio.

• Integrare Hiro in fumetti, illustrazioni o scene narrative.

Questo workflow dimostra come sviluppare un modello versatile, utile per la creazione di immagini e ambientazioni creative, mostrando la potenza di un approccio integrato tra strumenti tecnici e creatività.