Workflow architecture IA : Stable Diffusion avec Comfy UI

Introduction à Stable Diffusion (SD) et ses Interfaces

• Vue d'ensemble de Stable Diffusion et de l'importance de choisir la bonne interface en fonction des besoins spécifiques.
• Comparaison entre Comfy UI et Automatic1111 (A1111) : avantages et inconvénients, avec une mention spéciale sur le processus plus chronophage d'A1111 qui peut impliquer des retouches dans Photoshop.

Premiers Pas avec Comfy U/I

• Découverte de l'interface de Comfy UI : navigation, compréhension des nodes et de leur fonctionnement.
• Introduction au Manager de Comfy UI : comment installer et gérer des nodes.
• Exploration des ressources en ligne pour télécharger des modèles, workflows, ControlNets, et plus encore, avec une orientation sur Civitai et Hugging Face.
• Mise en garde sur le contenu de Civitai, tout en soulignant son utilité pour trouver des modèles divers.

Installation de Nodes et Modèles

• Atelier pratique guidant les participants à travers l'installation de nodes supplémentaires dans Comfy UI.
• Exploration des sites recommandés pour télécharger des modèles spécifiques à l'architecture et autres ressources utiles.
• Discussion sur la sélection et l'évaluation des ControlNets et modèles en fonction des besoins de projet.

Création et Sauvegarde de Workflows

• Explication de comment construire un workflow efficace dans Comfy UI pour les projets d'architecture.
• Démonstration de la sauvegarde d'un workflow, facilitant sa réutilisation comme un preset pour des projets futurs.
• Atelier pratique où les participants développent et sauvegardent leur propre workflow, adapté à un scenario de rendu architectural typique.

Récapitulatif et Discussion

• Synthèse de la journée, avec un focus sur l'importance de choisir les bons outils et ressources pour optimiser les flux de travail en architecture.
• Session de questions-réponses pour clarifier les doutes et discuter des applications pratiques de ce qui a été appris.
• Approfondissement des workflows professionnels et exploration des techniques avancées pour la personnalisation et le rendu architectural.

Introduction aux ControlNet

• Explication des ControlNet : Canny, LineArt, MLSd, et leur utilité pour convertir des sketchs en rendus.
• Démonstration de comment cumuler plusieurs ControlNet pour augmenter la précision du rendu.

LoRAs et leur Utilité dans la Génération

• Compréhension des LoRAs (Local Refinement Attention) et de leur rôle dans l'ajustement fin des détails dans les images générées.
• Atelier pratique : expérimentation avec les LoRAs pour voir leur impact sur la qualité des rendus.

IP Adapters et leur Rôle

• Exploration des IP Adapters pour incorporer des styles spécifiques dans les rendus.
• Application pratique des IP Adapters pour personnaliser les images avec un style désiré.

Workflow de Rendu en Temps Réel Développé

• Présentation d'un workflow spécifique pour le rendu en temps réel : utilisation de SD15 avec des ControlNet et un LoRA LCM pour réduire le nombre de steps et accélérer l'exécution.
• Incorporation d'un IP Adapter dans le workflow pour ajouter un style particulier aux rendus.
• Atelier pratique : les participants appliquent le workflow sur un projet d'architecture, depuis la conception initiale jusqu'au rendu stylisé.

Récapitulatif et Discussion

• Revue des concepts clés du jour : ControlNet, LoRAs, IP Adapters, et leur application dans le workflow de rendu en temps réel.
• Partage des rendus créés par les participants, discussion sur les défis rencontrés et les solutions trouvées.
• Aperçu du Jour 3 : finalisation des projets, révisions, et approfondissement des connaissances et compétences acquises.

Introduction au Workflow de Rendu Final

• Présentation d'un workflow avancé intégrant IP Adapters, LoRAs, et ControlNet pour des rendus détaillés et de haute qualité.
• Discussion sur l'importance de séparer les passes de rendu, par exemple, entre le mobilier et l'architecture, pour optimiser les détails et la qualité.

Application Pratique du Workflow Avancé

• Mise en œuvre pratique du workflow sur un projet d'architecture complexe. Les participants sont guidés à travers le processus de séparation des passes de rendu pour les différents éléments architecturaux.
• Exploration des stratégies pour maintenir une cohérence visuelle tout en améliorant les détails et la qualité des rendus.

Ultimate SD Upscaler et ControlNet Tile

• Introduction au Ultimate SD Upscaler pour agrandir les images générées sans perte significative de qualité.
• Explication et démonstration de l'utilisation du ControlNet Tile pour créer des tuiles de rendu, permettant d'ajouter des détails tout en conservant la cohérence avec l'image de base.
• Atelier pratique : application de ces techniques sur les projets de rendu final pour affiner le résultat.

Finalisation et Présentation des Projets

• Les participants finalisent leurs projets de rendu, en appliquant les techniques apprises pour créer des rendus architecturaux complexes et détaillés.
• Séance de présentation où chaque participant partage son projet avec le groupe, discute des défis rencontrés et des solutions trouvées.

Récapitulatif et Discussion Finale

• Synthèse des compétences et techniques couvertes durant la formation.
• Discussion sur l'intégration des workflows et des outils de Comfy UI dans les pratiques professionnelles des architectes.