Rekonstruktion und künstlerische Stilsynthese von Mustern des immateriellen Kulturerbes mittels eines Deep-Learning-Frameworks mit semantischer Segmentierungsführung

Zhi Zhan; Guang Luo

doi:10.3791/71577

Forschungsartikel

Rekonstruktion und künstlerische Stilsynthese von Mustern des immateriellen Kulturerbes mittels eines Deep-Learning-Frameworks mit semantischer Segmentierungsführung

DOI:

10.3791/71577

⸱

14. August 2026

Zhi Zhan¹ , Guang Luo²

¹School of Art and Design, Guangdong Engineering Polytechnic, ²School of Fine Arts, South China Normal University

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Protokoll beschreibt einen Deep-Learning-Workflow zur semantischen Segmentierung, Rekonstruktion und künstlerischen Stilsynthese von Mustern des immateriellen Kulturerbes mithilfe einer auf Transformatoren basierenden Merkmalsextraktion, adversarialer Rekonstruktion und räumlich adaptiver Bilddarstellung, um die digitale Konservierung und kreative Anwendungen im Kulturerbe zu unterstützen.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die digitale Bewahrung und Rekonstruktion immaterieller Kulturerbe-Muster (ICH) hat mit dem Fortschritt bildsynthetisierender Techniken auf Basis von Deep Learning zunehmend an Aufmerksamkeit gewonnen. Bestehende, auf SegCycle-SPADE basierende Ansätze haben Potenzial für die strukturelle Segmentierung und künstlerische Rekonstruktion traditioneller Handwerksmuster gezeigt; dennoch bestehen weiterhin Einschränkungen, darunter begrenzte Datensatzvielfalt, unzureichende Einbindung kultureller Semantik und mangelhafte Erhaltung struktureller Mustereigenschaften während der Rekonstruktion. Um diese Herausforderungen zu bewältigen, schlägt diese Studie einen verbesserten SegCycle-SPADE- Rahmen für die semantische Segmentierung und künstlerische Rekonstruktion von ICH-Musterarten vor. Ein auf Transformatoren basierendes Segmentierungsmodell, SegFormer, wird eingesetzt, um Motivgrenzen und Musterbereiche präzise zu identifizieren. Zusätzlich wird ein Modul zur kulturellen Merkmalsfusion mit Kreuz-Attention eingeführt, um kulturell bedeutungsvolle Motive zu verstärken und die Merkmalsrepräsentation zu verbessern. Die Musterverwandlung und -rekonstruktion erfolgt mithilfe von CycleGAN, während eine räumlich adaptive Denormalisierung (SPADE) für die künstlerische Stilsynthese genutzt wird, um die semantische Konsistenz zwischen Segmentierungskarten und generierten Bildern aufrechtzuerhalten. Um die Generalisierungsfähigkeit des Modells und die künstlerische Vielfalt zu verbessern, wird das Framework sowohl mit dem kulturellen Motivdatensatz Miao Batik als auch mit dem WikiArt-Datensatz trainiert. Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene, auf Attention basierende SegCycle-SPADE-Ansatz die Segmentierungsgenauigkeit und die Leistung bei der Rekonstruktion von Kulturerbe-Mustern im Vergleich zu bestehenden, auf generativen adversariellen Netzwerken (GAN) basierenden Rekonstruktionsmethoden verbessert. Der vorgeschlagene Ansatz bietet eine skalierbare Lösung für die KI-gestützte Dokumentation, Rekonstruktion und künstlerische Wiederbelebung traditioneller Mustergestaltungen.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Das kulturelle Erbe, das sowohl immaterielle Elemente wie Bräuche, Sprachen und Glaubensvorstellungen als auch materielle Elemente wie Kunstwerke, Gebäude und schriftliche Aufzeichnungen umfasst, ist eine grundlegende Erscheinungsform der menschlichen Geschichte, Kreativität und Identität¹. Der Erhalt des kulturellen Erbes zielt darauf ab, Gemeinschaften die Wiederverbindung mit ihren Ursprüngen zu ermöglichen und künftigen Generationen den Nutzen aus ihrem kollektiven kulturellen Gedächtnis zu sichern. Er fördert zudem das interkulturelle Verständnis, die Wertschätzung vielfältiger Traditionen und Bräuche sowie die Anerkennung unterschiedlicher historischer Narrative. Diese kulturellen Güter helfen uns, die Werte, Sichtweisen und Erfahrungen vergangener Generationen zu verstehen, und tragen zur Bildung zeitgenössischer sozialer Identitäten und kultureller Kontinuität bei. Die grundlegenden Prinzipien der Bewahrung des kulturellen Erbes sind in Abbildung 1 dargestellt.

SegCycle-SPADE-Framework-Diagramm; umfasst SegFormer, CycleGAN und SPADE zur Bildrekonstruktion.
Abbildung 1. Konzeptionelle Übersicht der Rekonstruktion kultureller Muster mithilfe des SegCycle-SPADE-Frameworks. Schematische Darstellung des vorgeschlagenen Ansatzes zur Rekonstruktion und Verbesserung immaterieller kultureller Muster. Der Arbeitsablauf umfasst Datensammlung aus den Datensätzen Miao Batik und WikiArt, Bildvorverarbeitung, semantische Segmentierung mittels SegFormer-B2, Merkmalsfusion unter Verwendung des Cross-Attention Cultural Feature Fusion Module (CAFFM), Musterrekonstruktion mittels CycleGAN, künstlerische Stilsynthese mittels SPADE und abschließende Bewertung anhand von Segmentierungs- und Rekonstruktionsmetriken. Pfeile zeigen den Daten- und Merkmalsfluss innerhalb des Frameworks an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das kollektive Gedächtnis und kulturelle Erbe der menschlichen Gesellschaft verkörpert sich im immateriellen Kulturerbe (ICH), das als wichtiges Medium für künstlerischen Ausdruck und kulturelle Identität dient. Das ICH steht jedoch vor erheblichen Herausforderungen aufgrund der Auswirkungen von Globalisierung und Digitalisierung²^,³^,⁴. Viele gefährdete ICH-Praktiken erfordern neue Ansätze zur Bewahrung und Entwicklung, da die Zahl erfahrener Handwerker sinkt und die Anpassungsfähigkeit an moderne Märkte begrenzt ist⁵^,⁶. Als wichtiger Bereich der ICH-Forschung betont das nachhaltige Design die integrierte Entwicklung von Kultur, Gesellschaft und Umwelt und bietet einen praktikablen Weg zur fortgesetzten Erhaltung des ICH. Durch Ansätze des nachhaltigen Designs kann das ICH revitalisiert und gleichzeitig an die Bedürfnisse der heutigen Gesellschaft angepasst werden⁷^,⁸.

In dieser Studie bezeichnet der Begriff „Muster des immateriellen Kulturerbes“ visuelle Motivdarstellungen, die zugrundeliegende immaterielle kulturelle Werte vermitteln und bewahren. Demzufolge zielt der vorgeschlagene Rahmen darauf ab, die mit diesen Motiven verbundenen kulturellen Informationen zu bewahren und zu dokumentieren, während gleichzeitig ihre visuellen Formen rekonstruiert werden.

Die Miao-Stickerei und die Batik sind bedeutende Formen des chinesischen immateriellen Kulturerbes (ICH), die die Geschichte, Glaubensvorstellungen und Traditionen der Miao-Gemeinschaft durch symbolische Motive wie Vögel, Schmetterlinge und Ahnentotems widerspiegeln⁹. Diese Motive sind tief in rituelle Kleidung und Festbräuche eingebettet und tragen zur lokalen kulturellen und wirtschaftlichen Entwicklung bei¹⁰^,¹¹. Fortschritte in der digitalen Technologie, insbesondere künstliche Intelligenz (AI) und Deep Learning (DL), haben neue Möglichkeiten für die Bewahrung, Analyse, Rekonstruktion und Dokumentation des kulturellen Erbes geschaffen. Die Batik der Miao aus Guizhou, eine der am besten erhaltenen Batik-Traditionen Chinas, dient als wichtiges Medium zur Weitergabe des kulturellen Wissens, der Glaubenssysteme, Bräuche und Rituale des Miao-Volkes¹²^,¹³^,¹⁴^,¹⁵^,¹⁶.

Jüngste Studien haben das Potenzial von Deep Learning (DL) für die Bewahrung des kulturellen Erbes und die Rekonstruktion von Mustern aufgezeigt und dabei im Vergleich zu U-Net und DeepLabV3+1 eine verbesserte Segmentierungsgenauigkeit (Pixelgenauigkeit = 88,6 %, mittlerer Schnitt über Vereinigung [IoU] = 78,1 %) sowie eine bessere Rekonstruktionsleistung erzielt. Dennoch bestehen mehrere Herausforderungen. Bestehende auf generativen adversariellen Netzwerken (GAN) basierende Ansätze haben häufig Schwierigkeiten, feine strukturelle Details in komplexen Mustern zu bewahren¹⁷, während eine begrenzte Datensatzvielfalt die Generalisierungsfähigkeit der Modelle über verschiedene kulturelle Bereiche hinweg einschränkt¹⁸. Außerdem können Bild-zu-Bild-Übersetzungsmodelle wie CycleGAN versagen, die semantische Konsistenz zwischen Segmentierungskarten und generierten Bildern aufrechtzuerhalten¹⁹, und das Fehlen von Aufmerksamkeitsmechanismen kann zum Verlust kulturell bedeutsamer Motivdetails während der Rekonstruktion führen²⁰. Daher ist ein erweitertes Framework erforderlich, das eine auf Transformatoren basierende Segmentierung, eine aufmerksamkeitsgeleitete Merkmalslernung und ein Training mit mehreren Datensätzen integriert, um eine effektive Rekonstruktion von Mustern des immateriellen kulturellen Erbes (ICH) zu ermöglichen.

Neue Möglichkeiten zur Bewahrung des kulturellen Erbes ergeben sich durch die Digitalisierung der Miao-Stickerei und den rasanten Fortschritt generativer KI-Technologien. Diffusionsmodelle, eine neuartige Klasse tiefer generativer Modelle, haben aufgrund ihrer leistungsstarken Inhaltsgenerierungsfähigkeiten bemerkenswerte Ergebnisse in Aufgaben der Computer Vision erzielt²¹^,²²^,²³^,²⁴^,²⁵. Im umgekehrten Diffusionsprozess lernt das Modell schrittweise, die ursprünglichen Eingabedaten aus verrauschten Darstellungen rekonstruieren²⁶^,²⁷^,²⁸. Frühere Studien haben zudem die Anwendung von Technologien zur dreidimensionalen Rekonstruktion und computergestützten Konstruktion (CAD) zur Bewahrung und Verbreitung des kulturellen Erbes untersucht.

Obwohl faltende neuronale Netze (CNNs) und GANs bei der Bildgenerierung und Merkmalsbewahrung gut abschneiden, stehen sie weiterhin vor Herausforderungen im Zusammenhang mit begrenzten Rezeptivfeldern, Modus-Kollaps und Instabilität während des Trainings²⁹. Auf Transformatoren basierende Architekturen wie SegFormer und Segmenter sind hervorragend darin, globalen Kontext und semantische Beziehungen zu erfassen; sie sind jedoch rechenintensiv und können bei feinkörnigen Details Schwierigkeiten haben. Obwohl Diffusionsmodelle wie Stable Diffusion starke Fähigkeiten bei der Bildgenerierung zeigen, fehlt ihnen oft eine präzise Kontrolle über die strukturellen und künstlerischen Eigenschaften der generierten Entwürfe. Darüber hinaus verwenden die meisten bestehenden Ansätze unabhängige Trainingsstrategien, die einen effektiven Austausch von Informationen und eine kollaborative Optimierung zwischen Segmentierungs- und Generierungskomponenten einschränken, was zu einem Kompromiss zwischen struktureller Genauigkeit und künstlerischer Authentizität führt³⁰.

Aktuelle diffusionsbasierte Modelle wie latente Diffusion und Stable Diffusion erreichen eine hochwertige Bildsynthese, erfordern jedoch eine iterative Rauschunterdrückung, was zu höheren Rechenkosten und längeren Inferenzzeiten führt. Zudem bleibt die Wahrung feiner kultureller Motive und struktureller Konsistenz ohne spezialisierte Konditionierungsmechanismen eine Herausforderung. Transformatorbasierte generative Modelle erfassen globale kontextuelle Beziehungen effektiv, benötigen jedoch oft umfangreiche Datensätze und erhebliche Rechenressourcen. Im Gegensatz dazu kombiniert das vorgeschlagene SegCycle-Spatially Adaptive Denormalization (SegCycle-SPADE)-Framework die SegFormer-basierte Segmentierung, eine Merkmalsfusion mittels Cross-Attention, die CycleGAN-Rekonstruktion und eine SPADE-gesteuerte Synthese, um eine explizite strukturelle Steuerung zu ermöglichen, wodurch die Erhaltung von Motiven, die semantische Konsistenz sowie die kontrollierbare Rekonstruktion kultureller Muster verbessert werden.

Die Mehrheit der modernen Techniken zur semantischen Segmentierung basiert auf vollständig faltenden neuronalen Netzen (FCNNs) mit U-förmigen Architekturen³¹. Während der Kodierungsphase werden tiefe Merkmale mit großen Empfangsfeldern durch eine Serie von Faltungs- und Downsampling-Operationen extrahiert. In der Dekodierungsphase wird die räumliche Auflösung schrittweise durch Upsampling wiederhergestellt, wodurch letztendlich semantische Vorhersagen auf Pixel-Ebene ermöglicht werden. Durch den Ausgleich des Verlusts räumlicher Informationen während des Downsamplings und die Verbesserung der Segmentierungsleistung über eine breite Palette von Anwendungen hinweg ermöglichen Skip-Verbindungen die direkte Integration hochauflösender Informationen aus verschiedenen Kodierer-Ebenen in den Dekodierer³².

Während neuere, auf GANs, CNNs und Diffusionsmethoden basierende Ansätze erfolgversprechende Ergebnisse bei der Bildgenerierung und der Restaurierung des kulturellen Erbes gezeigt haben, haben sie häufig Schwierigkeiten, die semantische Kohärenz aufrechtzuerhalten, feine strukturelle Motive zu bewahren und eine reproduzierbare Rekonstruktion über verschiedene kulturelle Muster hinweg sicherzustellen. Die meisten bestehenden Ansätze behandeln Segmentierung, Rekonstruktion und Stilsynthese als getrennte Prozesse, was zum Verlust kulturell bedeutsamer Elemente und zu inkonsistenten Ergebnissen führen kann. Um diese methodische Lücke zu schließen, schlägt diese Studie einen einheitlichen SegCycle-SPADE-Rahmen vor, der die auf SegFormer basierende semantische Segmentierung, ein neuartiges Cross-Attention Cultural Feature Fusion Module (CAFFM), die auf CycleGAN basierende Rekonstruktion und die SPADE-gesteuerte Stilsynthese integriert. Durch die explizite Integration struktureller Segmentierungsinformationen mit der generativen Merkmalslernung ermöglicht der vorgeschlagene Rahmen eine zuverlässigere, semantisch konsistente und reproduzierbare Rekonstruktion von ICH-Motiven, wobei sowohl die kulturelle Authentizität als auch die künstlerische Qualität erhalten bleiben.

In dieser Studie werden drei wesentliche Einschränkungen der derzeitigen Ansätze zur Rekonstruktion des kulturellen Erbes identifiziert: (i) unzureichende Erhaltung feiner struktureller Motive bei GAN-basierten Rekonstruktionsverfahren; (ii) eingeschränkte Generalisierungsfähigkeit aufgrund des Trainings mit kleinen oder domänenspezifischen Datensätzen; und (iii) ungenügende semantische Konsistenz zwischen den Segmentierungsergebnissen und den erzeugten Bildern in Bild-zu-Bild-Übersetzungsverfahren. Außerdem werden Segmentierung, Rekonstruktion und Stilsynthese häufig als getrennte Prozesse betrachtet, was zu einem Verlust kulturell wichtiger Elemente während der Rekonstruktion führt. Durch die Kombination von transformerbasierter semantischer Segmentierung, Cross-Attention-Funktionsfusion, CycleGAN-Rekonstruktion und SPADE-gesteuerter künstlerischer Synthese innerhalb einer einheitlichen Architektur behebt das vorgeschlagene SegCycle-SPADE-Framework diese Einschränkungen und verbessert die Erhaltung von Motiven, die semantische Konsistenz sowie die künstlerische Authentizität bei der Rekonstruktion von ICH-Mustern.

Das Hauptziel dieser Studie ist die Entwicklung eines erweiterten SegCycle-SPADE-Modells für die semantische Segmentierung gestützte künstlerische Rekonstruktion von ICH-Mustern. Das Modell integriert SegFormer zur präzisen Segmentierung kultureller Motive, CycleGAN zur Musterrekonstruktion und SPADE zur stilistisch konsistenten künstlerischen Synthese. Um die Merkmalsdarstellung zu verbessern und feine strukturelle Details zu bewahren, wird ein CAFFM eingeführt, das eine effektive Interaktion zwischen Segmentierungs- und generativen Merkmalen ermöglicht. Das vorgeschlagene Modell wurde anhand der Datensätze Miao Batik und WikiArt trainiert und verbessert dadurch die Authentizität der Rekonstruktion, die Stilkonsistenz sowie die Bewahrung kulturell bedeutsamer Motive.

Durch die Kombination von semantischer Segmentierung, aufmerksamkeitsgeleiteter Merkmalsfusion, Musterrekonstruktion und Stilsynthese in einer einheitlichen Architektur stellt diese Studie einen neuartigen SegCycle-SPADE-Ansatz für die künstlerische Rekonstruktion von ICH-Mustern vor. Die wichtigsten Beiträge dieser Arbeit sind wie folgt. Erstens wird ein neuartiger, durch semantische Segmentierung gesteuerter Rekonstruktionsrahmen durch die Integration von SegFormer entwickelt, der eine genaue Extraktion und Erhaltung komplexer kultureller Motive und struktureller Elemente ermöglicht. Zweitens wird ein neues CAFFM eingeführt, um Segmentierungsmerkmale effektiv mit generativen Darstellungen zu verbinden, wodurch das Modell langreichweitige Beziehungen zwischen kulturellen Motiven und künstlerischen Stilmustern erfassen kann. Drittens verbessert das vorgeschlagene CAFFM die Erhaltung kulturell bedeutender Elemente, während gleichzeitig die visuelle Realitätstreue und strukturelle Kohärenz der rekonstruierten Kulturerbemuster erhöht wird. Viertens gewährleistet der Ansatz durch die Integration von CycleGAN für die Rekonstruktion kultureller Muster und SPADE für die segmentierungsgesteuerte künstlerische Synthese sowohl semantische Genauigkeit als auch stilistische Authentizität der erzeugten Ergebnisse. Fünftens wird zur Verbesserung der Generalisierungsfähigkeit und künstlerischen Vielfalt das Modell mit dem Miao-Batik-Kulturmotiv-Datensatz zum Erlernen kultureller Muster und dem WikiArt-Datensatz zur Darstellung künstlerischer Stile trainiert. WikiArt dient dabei als Hilfsdatensatz zur Bewertung der Generalisierungsfähigkeit, der Robustheit des Merkmalserlernens und der Wirksamkeit der Stilsteuerung in unterschiedlichen visuellen Kontexten, nicht jedoch als Zielstil für die direkte Anwendung in Produkten des Miao-Kulturerbes. Schließlich zeigen experimentelle Ergebnisse im Vergleich zu bestehenden, auf GANs basierenden Methoden zur Rekonstruktion von Kulturerbe, dass der vorgeschlagene SegCycle-SPADE-Ansatz eine verbesserte Segmentierungsgenauigkeit, Rekonstruktionsqualität und stilistische Konsistenz erreicht.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der vorgeschlagene Rahmen von SegCycle-SPADE ist darauf ausgelegt, traditionelle Kulturerbemuster durch semantische Segmentierung, Merkmalsverbesserung mittels Attention, generative Rekonstruktion und künstlerische Stilsynthese zu rekonstruieren und zu verbessern. Diese Studie verwendete öffentlich verfügbare Datensätze kulturellen Erbes und künstlerischer Bilder, darunter den Miao-Batik-Datensatz und den WikiArt-Datensatz. Es wurden keine menschlichen Probanden, Patientendaten, personenbezogenen Informationen, Tierexperimente oder klinische Aufzeichnungen in die Forschung einbezogen; daher waren eine Genehmigung durch einen institutionellen Ethikausschuss und eine informierte Einwilligung nicht erforderlich. Zunächst werden der kulturelle Motiv-Datensatz der Miao-Batik und der WikiArt-Datensatz zur Evaluierung verwendet. Der Miao-Batik-Datensatz wurde von Quan et al. (2024)32 beschrieben und enthält 15.148 annotierte Bilder traditioneller Miao-Batik-Motive. Die vorhandenen Annotationen der Datensatzersteller wurden direkt übernommen; in dieser Studie wurden keine zusätzlichen manuellen Annotationen erstellt. Anschließend erfolgt die Vorverarbeitung der Bilder durch Größenänderung, Normalisierung, Rauschunterdrückung und Erstellung einer Segmentierungsmaske. Die genauen Parameter der Vorverarbeitung sind im Unterabschnitt „Daten-Vorverarbeitung“ beschrieben. Der vorgeschlagene Rahmen nutzt ein auf Transformatoren basierendes Modell namens SegFormer-B2 zur semantischen Segmentierung der Daten. Das Verfahren ist darauf ausgelegt, Schlüsselbereiche kultureller Motive zu erkennen und deren Strukturen zu lernen. Die segmentierten Merkmale werden anschließend durch einen Attention-Mechanismus verbessert, wobei wichtige Informationen im Zusammenhang mit kulturellen Motiven hervorgehoben und irrelevante Informationen verworfen werden. Die Konfiguration des Attention-Mechanismus ist im Unterabschnitt CAFFM beschrieben. Die verbesserten Merkmale werden dann durch CycleGAN geleitet, wobei beschädigte Strukturen durch zyklisches Lernen rekonstruiert werden. Während des Trainings wurden unvollständige Motivbeispiele künstlich erzeugt, indem auf die ursprünglichen Miao-Batik-Bilder zufällige Maskierungen und teilweise Verdeckungen angewendet wurden. Diese Degradationsverfahren simulierten fehlende Motivbereiche und strukturelle Schäden, wie sie häufig bei beschädigten Objekten des kulturellen Erbes beobachtet werden. Die resultierenden unvollständigen Bilder dienten als Eingaben für das Rekonstruktionsmodul von CycleGAN, während die entsprechenden Originalbilder als Rekonstruktionsziele fungierten. Die rekonstruierten Kulturerbemuster werden anschließend durch SPADE verbessert, wobei eine künstlerische Verbesserung basierend auf den generierten Segmentierungskarten durchgeführt wird. Die Leistung des vorgeschlagenen Rahmens wird anhand quantitativer Segmentierungs- und Bildqualitätsmetriken bewertet, während die visuelle Authentizität der rekonstruierten kulturellen Motive qualitativ beurteilt wird. Die visuelle Authentizität wurde durch visuelle Inspektion der generierten kulturellen Muster bewertet und nicht als unabhängige quantitative Metrik verwendet. Die Beurteilung konzentrierte sich auf Motiverhaltung, semantische Konsistenz, kulturelle Merkmale, strukturelle Kohärenz und künstlerisches Erscheinungsbild im Vergleich zu den entsprechenden Referenzkulturmotiven. Die quantitative Bewertung der Modellleistung erfolgte anhand von Segmentierungsgenauigkeit, IoU, Dice-Koeffizient, Structural Similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR) und Fréchet Inception Distance (FID). Abbildung 2 veranschaulicht den gesamten Arbeitsablauf des vorgeschlagenen SegCycle-SPADE-Frameworks und fasst die in dieser Studie verwendeten Evaluationsmetriken zusammen.

Diagramm der Datensatzverarbeitung unter Verwendung von SegFormer, CycleGAN zur künstlerischen Stilgenerierung; eingeschlossene Evaluierungsmetriken.
Abbildung 2. Übersichtsarchitektur des vorgeschlagenen SegCycle-SPADE-Frameworks. Überblick über den gesamten SegCycle-SPADE-Arbeitsablauf. Bilder aus den Datensätzen Miao Batik und WikiArt werden vorverarbeitet und anschließend durch semantische Segmentierung mittels SegFormer-B2, Merkmalsverbesserung mittels CAFFM, Musterrekonstruktion mittels CycleGAN und künstlerische Stilgenerierung mittels SPADE verarbeitet. Die Modellleistung wird anhand von Segmentierungsgenauigkeit, Intersection over Union (IoU), Dice-Koeffizient, Structural Similarity Index Measure (SSIM), PSNR und Fréchet Inception Distance (FID) bewertet, während die visuelle Authentizität qualitativ beurteilt wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das SegCycle-SPADE-Framework zur Rekonstruktion kultureller Muster wurde entwickelt, um mehrere Deep-Learning-Komponenten zur präzisen Segmentierung, Rekonstruktion und künstlerischen Verbesserung von Motiven zu integrieren, wie in Abbildung 2 veranschaulicht. Bilder aus dem Datensatz kultureller Muster der Miao-Batik sowie aus dem WikiArt-Datensatz dienen zur Bereitstellung vielfältiger kultureller Muster und künstlerischer Stile. Zunächst werden die Bilder mithilfe eines auf SegFormer basierenden semantischen Segmentierungsmoduls verarbeitet, um kulturelle Motive vom Hintergrund zu trennen und abzugrenzen. Die Gesamtarchitektur umfasst vier Hauptphasen. Zuerst extrahiert das SegFormer-Modell semantische Segmentierungskarten aus den Bildern der kulturellen Muster. Danach integriert CAFFM Segmentierungsmerkmale mit generativen Darstellungen, um das Merkmalslernen zu verbessern. Im dritten Schritt rekonstruiert das CycleGAN-Modul kulturelle Muster unter Verwendung der fusionierten Merkmalsdarstellungen. Schließlich erzeugt das SPADE-Modul stilistisch verbesserte Ausgaben, wobei die strukturelle Konsistenz durch segmentierungsgesteuerte Synthese erhalten bleibt. Die verfeinerten Merkmalskarten werden anschließend vom CycleGAN-Rekonstruktionsmodul verarbeitet, das lernt, unvollständige kulturelle Motive wiederherzustellen, indem es degradierte Muster ihren jeweiligen vollständigen Formen zuordnet. Unvollständige Motivproben wurden erzeugt, indem den ursprünglichen Miao-Batik-Bildern zufällige Maskierungen und teilweise Verdeckungen hinzugefügt wurden, um fehlende Musterbereiche und strukturelle Degradationen zu simulieren, wie sie häufig bei beschädigten kulturellen Artefakten beobachtet werden. Jedes degradierte Bild wurde mit dem entsprechenden Originalbild gepaart, das während des Trainings als Rekonstruktionsziel diente. Diese Strategie ermöglichte es dem CycleGAN-Modul, die Wiederherstellung fehlender Motivstrukturen zu erlernen, während semantische Konsistenz und kulturell bedeutende Merkmale bewahrt blieben. Abschließend erzeugt der SPADE-Generator visuell verbesserte künstlerische Ausgaben, indem er die Bildsynthese anhand der generierten Segmentierungskarten bedingt und so die strukturelle Integrität der kulturellen Motive während des gesamten künstlerischen Verbesserungsprozesses erhält.

Die folgenden Schritte sind im vorgeschlagenen SegCycle-SPADE-Framework enthalten.

Schritt 1: Datensammlung
Zwei Datensätze wurden verwendet, um die Ziele des kulturellen Musterlernens und der künstlerischen Stilgenerierung zu erreichen. Der Miao Batik Cultural Motif Dataset diente der Bereitstellung traditioneller kultureller Musterinformationen. Der Datensatz ist öffentlich über Zenodo (https://doi.org/10.5281/zenodo.20807658) zugänglich und enthält 15.148 annotierte Bilder traditioneller Miao-Batik-Motive. Die vom Datensatz bereitgestellten bestehenden Annotationen wurden direkt verwendet, und in dieser Studie wurden keine zusätzlichen manuellen Annotationen erstellt. Der WikiArt-Datensatz wurde zur Bereitstellung vielfältiger künstlerischer Stilinformationen für die Generierung künstlerischer Stile verwendet und aus dem öffentlich zugänglichen WikiArt-Repository (https://www.wikiart.org/) bezogen.

Schritt 2: Daten-Präprozessing
Alle Bilder wurden durch Größenänderung, Normalisierung und Rauschunterdrückung vorverarbeitet. Vorhandene kulturelle Motivannotationen, die aus den ursprünglichen Datensatzquellen stammten, wurden zur Unterstützung der semantischen Segmentierungsphase verwendet. Im Rahmen dieser Studie wurden keine zusätzlichen Annotationen oder Umetikettierungsverfahren durchgeführt.

Schritt 3: Semantische Mustersegmentierung mithilfe von SegFormer
Für die Segmentierung kultureller Motive wurde das SegFormer-Modell verwendet. Der genaue SegFormer-Backbone und die Initialisierungsstrategie sind im Unterabschnitt Semantische Mustersegmentierung mithilfe von SegFormer beschrieben. Konkret kam die SegFormer-B2-Architektur mit einem auf ImageNet vortrainierten MIT-B2-Backbone für die semantische Motivsegmentierung zum Einsatz. Dieses Modell erfasst effektiv globale Kontextinformationen und bewahrt gleichzeitig die komplexen strukturellen Details traditioneller kultureller Muster.

Schritt 4: CAFFM
Die CAFFM kombiniert semantische Segmentierungsmerkmale mit generativen Darstellungen, wodurch das Framework sowohl strukturelle Motivmerkmale als auch künstlerische Stilinformationen lernen kann. Die Integrationsdetails der CAFFM sind im Unterabschnitt CAFFM beschrieben. Das Modul ist zwischen der auf SegFormer basierenden semantischen Segmentierungsstufe und der generativen Rekonstruktionsstufe positioniert, wo es segmentierungsbezogene strukturelle Merkmale mit Rekonstruktionsmerkmalen über eine Multi-Head-Cross-Attention verbindet. Dieser Prozess verbessert die Erhaltung kultureller Motive und erhöht die Realitätsnähe der rekonstruierten Ausgaben.

Schritt 5: Musterrekonstruktion (CycleGAN)
Die fusionierten Merkmale werden anschließend vom CycleGAN-Modul verarbeitet, um kulturelle Musterstrukturen zu rekonstruieren. Die Architektur und Trainingskonfiguration von CycleGAN werden im Unterabschnitt Pattern Reconstruction Using CycleGAN beschrieben. Das Rekonstruktionsmodul besteht aus zwei Generatoren und zwei Diskriminatoren, verwendet eine Residual-Netzwerk-Generatorarchitektur mit neun Residualblöcken, setzt einen PatchGAN-Diskriminator ein und wird mithilfe von adversarialen und zyklischen Konsistenzverlusten trainiert. Diese Konfiguration ermöglicht eine bidirektionale Domänenabbildung und erleichtert die Rekonstruktion unvollständiger kultureller Musterstrukturen.

Schritt 6: Künstlerische Stilerzeugung (SPADE)
Die rekonstruierten Muster werden anschließend über das SPADE-Modul geleitet, um eine segmentierungsgesteuerte künstlerische Stilsynthese durchzuführen. Die Konfiguration des SPADE-Generators wird im Unterabschnitt Artistic Style Generation Using SPADE beschrieben. Das Modul verwendet SPADE-Residualblöcke, räumlich adaptive Normalisierungsschichten sowie semantische Bedingungen, die aus SegFormer-Segmentierungskarten und CAFFM-Feature-Darstellungen abgeleitet sind. Durch die bedingte Bildgenerierung anhand von Segmentierungskarten behalten die synthetisierten Ausgaben die strukturelle Ausrichtung zu den ursprünglichen kulturellen Motiven bei, während gleichzeitig künstlerische Stilmerkmale integriert werden.

Schritt 7: Leistungsbewertung
Der vorgeschlagene Ansatz wurde anhand mehrerer Metriken zur Segmentierung und Bildqualitätsbewertung evaluiert, darunter Segmentierungsgenauigkeit, IoU, Dice-Ähnlichkeitskoeffizient (Dice), SSIM, PSNR und FID. Zur Beurteilung der experimentellen Konsistenz wurden alle Experimente fünfmal mit unterschiedlichen Zufallszahlen wiederholt, und die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben. Die statistische Signifikanz wurde mittels gepaarter t-Tests bewertet, mit einer Signifikanzschwelle von p < 0,05.

Datensammlung
Im vorgeschlagenen Rahmenwerk von SegCycle-SPADE werden zwei Datensätze zur Erkennung kultureller Muster und zum Erlernen von Stilen verwendet. Der erste im vorgeschlagenen Rahmenwerk verwendete Datensatz ist der Datensatz kultureller Motive der Miao-Batik. Dieser Datensatz enthält kulturelle Motive der Miao-Batik, die im Allgemeinen Bilder traditioneller Miao-Batik darstellen, versehen mit Motiven wie Tieren, Pflanzen und geometrischen Formen, wie sie in der Kunst der Miao-Ethnie verwendet werden. Der Datensatz umfasst Bilder mit reichhaltigen Texturinformationen, die im Allgemeinen wichtig für den Erhalt des kulturellen Erbes sind. Der zweite im vorgeschlagenen Rahmenwerk von SegCycle-SPADE verwendete Datensatz ist der WikiArt-Datensatz. Dieser Datensatz enthält eine große Anzahl von Kunstwerken unterschiedlicher Stilrichtungen. Er wird für das Erlernen komplexer Stile verwendet, was sich im Allgemeinen zur Verbesserung von Kunstwerken eignet. Der Datensatz umfasst 80.000 Kunstwerke in HD mit 27 verschiedenen Stilrichtungen und ist daher besonders nützlich für auf Deep Learning basierende Aufgaben der Stilgenerierung oder -umwandlung.

Miao-Batik-Datensatz:
Der Miao-Batik-Datensatz (https://doi.org/10.5281/zenodo.20807658) umfasst 15.148 Bilder von Batikmustern mit kulturell bedeutungsvollen Motiven. Die Bilder enthalten eine Vielzahl traditioneller Gestaltungen, wie beispielsweise Tiermotive (z. B. Schmetterlinge und Fische), pflanzliche Muster und geometrische Motive, die kulturelle Symbolik tragen. Dieser Datensatz ist eine wesentliche Komponente des vorgeschlagenen Frameworks, da er authentische kulturelle Strukturen bereitstellt, die es dem Segmentierungsmodul ermöglichen, Motivgrenzen während der Musterrekonstruktion genau zu identifizieren und zu bewahren (Tabelle 1). In dieser Studie beziehen sich kulturell bedeutende Motive auf symbolische visuelle Elemente, die in der Literatur zum kulturellen Erbe der Miao häufig dokumentiert sind und in den Anmerkungen des Datensatzes enthalten sind, darunter Vögel, Schmetterlinge, florale Muster und Ahnentotems. Diese Motive wurden aufgrund ihrer belegten kulturellen Bedeutung und ihres wiederkehrenden Auftretens in traditionellen Miao-Batik- und Stickereimustern ausgewählt, nicht allein aufgrund ihrer Häufigkeit oder räumlichen Zusammensetzung. Die von Experten erstellten Motivanmerkungen und Segmentierungskennzeichnungen stammen aus der ursprünglichen Quelle des Miao-Batik-Datensatzes und wurden in dieser Studie direkt verwendet. Die Autoren führten keine zusätzlichen manuellen Annotationen, Umetikettierungen oder erneuten, expertengestützten Annotationen durch. Die vom Datensatz-Ersteller bereitgestellten bestehenden Annotationen wurden für das Training und die Evaluierung der semantischen Segmentierung genutzt.

Parameter	Beschreibung
Datensatzname	Miao Batik Kultureller Mustersatz
Datensatzquelle	Zenodo-Repository (DOI: 10.5281/zenodo.20807658)
Bereich	Immaterielles Kulturerbe (ICH) / Analyse textiler Muster
Gesamtanzahl der Bilder	15.148 Bilder
Bildtyp	Digitalbilder traditioneller textiler Miao-Batikmuster
Musterkategorien	Tiermotiven, Pflanzenmotiven und geometrischen Motiven
Kultureller Ursprung	Kultur der Miao-Ethnie, Provinz Guizhou, China
Ursprüngliche Bildauflösung	Hochauflösende Bilder (typischerweise ≥ 1.000 Pixel auf der kürzeren Seite), erfasst als Rohabtastungen oder -fotografien vor der Vorverarbeitung
Trainingsauflösung	Bilder wurden während der Vorverarbeitung auf 256 × 256 Pixel skaliert
Verfügbarkeit von Annotationen	Die vom Datensatz-Ersteller bereitgestellten Segmentierungsannotationen wurden ohne Änderung für Training und Evaluierung verwendet. In dieser Studie wurden keine zusätzlichen manuellen Annotationen, Umetikettierungen oder Bestätigungsverfahren durch Experten durchgeführt.
Anwendung in dieser Studie	Segmentierung kultureller Motive, Merkmalsextraktion, Motiverhaltung und Musterrekonstruktion

Tabelle 1: Eigenschaften des Datensatzes kultureller Muster der Miao-Batik. Zusammenfassung des Datensatzes kultureller Motive der Miao-Batik, der für die semantische Segmentierung, die Analyse kultureller Muster und die Rekonstruktion von Motiven verwendet wurde. Die Tabelle beschreibt die Datenquelle, Bildmerkmale, Motivkategorien, kulturelle Herkunft, Bildauflösung und die Rolle des Datensatzes im vorgeschlagenen SegCycle-SPADE-Framework.

WikiArt-Datensatz:
Der WikiArt-Datensatz [https://www.wikiart.org/] ist ein beliebtes großangelegtes digitales Kunstarchiv, das aus über 80.000 Bildern aus 27 verschiedenen künstlerischen Stilen in Tabelle 2 besteht. Zu den Stilen gehören Renaissancekunst, Impressionismus, Kubismus und Surrealismus. Der Datensatz ist im vorgeschlagenen Framework von großer Bedeutung, da er Wissen bereitstellt, das es dem SPADE-Modul ermöglicht, kulturell angereicherte Muster zu erzeugen, während gleichzeitig die aus dem Segmentierungsprozess gewonnenen strukturellen Informationen erhalten bleiben. Der Datensatz umfasst 56.000 Bilder zum Trainieren und 12.000 Bilder für Validierung und Test. Die Bilder im Datensatz tragen dazu bei, das DL-Modell effektiv zu trainieren.

Parameter	Beschreibung
Dataset-Name	WikiArt-Datensatz
Quelle des Datensatzes	WikiArt-Repository (https://www.wikiart.org/)
Bereich	Digitale Kunst und Gemälde
Gesamtanzahl der Bilder	Ungefähr 80.000 Kunstwerke
Trainingsbilder	56.000
Validierungsbilder	12.000
Testbilder	12.000
Künstlerische Stile	27 künstlerische Stile, darunter Renaissance, Impressionismus, Kubismus, Surrealismus, Expressionismus, Realismus und Abstrakte Kunst
Ursprüngliche Bildauflösung	Die ursprünglichen Bildauflösungen variieren je nach Kunstwerk und Quelle. Die Bilder wurden während der Vorverarbeitung auf eine einheitliche Auflösung von 256 × 256 Pixeln skaliert.
Trainingsauflösung	Die Bilder wurden während der Vorverarbeitung vor dem Erlernen künstlerischer Stile und der segmentierungsgesteuerten Bildsynthese auf 256 × 256 Pixel skaliert.
Datensatz-Aufteilung	Stratifizierte zufällige Aufteilung (70 % Training, 15 % Validierung und 15 % Test) unter Verwendung eines festen Zufallsstarts (Seed) von 42
Stichprobenstrategie für künstlerische Stile	Es wurde eine stratifizierte, proportionale Stichprobenziehung angewandt, um die Verteilung der 27 künstlerischen Stile über die Trainings-, Validierungs- und Test-Teilmengen hinweg zu erhalten
Anwendung in dieser Studie	Lernen künstlerischer Stile, Darstellung von Stilmerkmalen und segmentierungsgesteuerte künstlerische Synthese

Tabelle 2: Merkmale des WikiArt-Datensatzes. Zusammenfassung des WikiArt-Datensatzes, der für das Erlernen künstlerischer Stile und die stilgeleitete Bildsynthese verwendet wird. Die Tabelle beschreibt die Datenquelle, die Verteilung der Bilder, die Abdeckung künstlerischer Stile, die Aufteilung des Datensatzes, die Bildauflösung sowie die Anwendung innerhalb des vorgeschlagenen SegCycle-SPADE-Frameworks.

Der Miao-Batik-Datensatz enthält 15.148 Bilder, die traditionelle kulturelle Miao-Motive darstellen.32 Der Datensatz ist öffentlich über Zenodo verfügbar (https://doi.org/10.5281/zenodo.20807658). Vor dem Modelltraining wurden alle Bilder visuell überprüft, auf eine Größe von 256 × 256 Pixeln skaliert, normalisiert und auf beschädigte oder doppelte Proben hin untersucht. Die Qualitätskontrolle führte nicht zum Ausschluss von Bildern; daher wurden alle 15.148 Bilder für die anschließende Analyse beibehalten. Der Datensatz wurde zufällig in Trainings- (70 %), Validierungs- (15 %) und Testanteile (15 %) unter Verwendung eines festen Zufallsstarts (random seed) von 42 aufgeteilt, um die Reproduzierbarkeit der Datensatz-Aufteilung zu gewährleisten. Auf den WikiArt-Datensatz wurde über das offizielle WikiArt-Repository zugegriffen (https://www.wikiart.org/) und umfasst mehr als 80.000 Kunstwerke aus 27 künstlerischen Stilrichtungen. Für Experimente zum Stil-Lernen wurden 56.000 Bilder zum Training, 12.000 zur Validierung und 12.000 zum Testen verwendet.

Daten-Vorverarbeitung
Bevor das vorgeschlagene SegCycle-SPADE-Framework trainiert wurde, wurden der Datensatz kultureller Muster der Miao-Batik und der WikiArt-Datensatz mehreren Vorverarbeitungsschritten unterzogen, um eine einheitliche Bildqualität und eine genaue Merkmalsdarstellung sicherzustellen. Beide Datensätze durchliefen eine identische grundlegende Vorverarbeitungspipeline, die eine Gauss’sche Rauschunterdrückung, Normalisierung, Größenanpassung auf eine einheitliche Eingabematrix und Überprüfung der Bildqualität umfasste. Die Datensätze erfüllten jedoch unterschiedliche Funktionen innerhalb des Frameworks. Der WikiArt-Datensatz diente dem Erlernen und der Synthese künstlerischer Stile, während der Miao-Batik-Datensatz hauptsächlich der Segmentierung und Rekonstruktion kultureller Motive diente. Abgesehen von diesen aufgabenbezogenen Rollen wurden keine datensatzspezifischen Änderungen in der Vorverarbeitung vorgenommen. Um eine konsistente Verarbeitung durch das Deep-Learning-Modell zu gewährleisten, wurden die Bilder zunächst auf eine feste Auflösung skaliert. Dieser Schritt war notwendig, da die Auflösung der Bilder in beiden Datensätzen je nach Quelle variierte. Die Größenanpassung verbesserte die Recheneffizienz und verhinderte, dass dimensionsbedingte Inkonsistenzen das Training beeinträchtigten. Der zweite Vorverarbeitungsschritt war die Normalisierung, bei der die Pixelwerte auf einen standardisierten Bereich skaliert wurden, um die Gradientenaktualisierungen während des Trainings zu stabilisieren. Anschließend wurden die Bilder mithilfe eines Gaußschen Filters bearbeitet, um Rauschen zu reduzieren, das die Struktur kultureller Motive stören könnte. Für den Miao-Batik-Datensatz wurden die vorhandenen Segmentierungsmasken kultureller Motive, die direkt aus der ursprünglichen Datensatzquelle stammten, ohne Änderung für das Training und die Evaluierung der semantischen Segmentierung verwendet. Es wurden keine neuen Segmentierungsmasken speziell für diese Studie erstellt.

Sofern nicht anders angegeben, wurden Gleichungen, die etablierte Methoden beschreiben, aus früheren Studien übernommen und entsprechend zitiert. Gleichungen, die das vorgeschlagene CAFFM und das kombinierte SegCycle-SPADE-Optimierungsframework beschreiben, wurden von den Autoren für diese Studie entwickelt.

Es sei ein Eingabebild aus dem Datensatz dargestellt als Gleichung 1:

Vektorraum-Darstellung, I ∈ ℝⁿˣʷˣᶜ, Formelabbildung, pädagogisches mathematisches Konzept. (1)

Hier bezeichnen H, W und C die Höhe, Breite und Anzahl der Farbkanäle des Bildes. Alle Bilder werden wie in Gleichung 2 gezeigt auf eine feste Dimension H′ × W′ skaliert:

Formel zur Bildverarbeitung, Ir = Resize(I,H'×W'), bezogen auf Größenänderungsmethoden.

Hier ist I_r das skalierte Bild. Die normalisierten Pixelwerte werden gemäß Gleichung 3 berechnet:

Mathematische Formel für die normalisierte Intensität, Gleichung: In = Ir/255, relevant in der Datenanalyse. (3)

Dies trägt zur Stabilisierung des Trainingsverfahrens bei. Die Rauschfilterung erfolgt mithilfe eines Gaußschen Filters, wie in Gleichung 4 dargestellt:

Gleichung des statischen Gleichgewichts Is=In*G(σ), Symbol, mathematikorientierte Forschungsanalyse.

Hierbei ist G(σ) ein Gauß-Filter und * steht für die Faltung. Ein Gauß-Filter mit einem 5 × 5-Kern und einer Standardabweichung von σ = 1,0 wurde verwendet. Um Randartefakte zu reduzieren, wurden die Randpixel durch reflektierende Auffüllung ergänzt. Vor der Skalierung und Normalisierung wurde der Entstörungsprozess unmittelbar nach dem Laden des Bildes durchgeführt. Um eine einheitliche Vorverarbeitung über die gesamte Studie hinweg sicherzustellen, wurde die gleiche Filterkonfiguration auf alle Bilder der Datensätze Miao Batik und WikiArt angewendet. Für den Miao-Batik-Datensatz werden die Segmentierungsmasken gemäß Gleichung 5 erstellt:

Mathematische Formel zur Identifizierung von Motivbereichen, die Kriterien für die Pixelklassifizierung zeigt.

Hier ist M eine Segmentierungsmaske, die verwendet wird, um das SegFormer-Modell zu steuern.

Die Vorverarbeitungspipeline beginnt mit der Erfassung der Bilder aus dem Miao-Batik-Datensatz und dem WikiArt-Datensatz, wie in Abbildung 3 dargestellt. Während des Trainings kamen keine Techniken zur Datenaugmentierung zum Einsatz. Nach der Vorverarbeitung, zu der das Ändern der Bildgröße, die Normalisierung, die Gauss’sche Rauschunterdrückung und die Vorbereitung der Segmentierungsmasken gehörten, wurden die Bilder direkt für das Training, die Validierung und die Testung des vorgeschlagenen SegCycle-SPADE-Frameworks verwendet. Der erste Schritt der Vorverarbeitungspipeline besteht darin, die Bilder auf eine feste Größe umzuwandeln, wodurch das DL-Modell die Bilder effizienter verarbeiten kann. Der zweite Schritt umfasst die Normalisierung, bei der die Pixelwerte in einen standardisierten numerischen Bereich umgewandelt werden, um die Konvergenz des Modells zu erleichtern. Der dritte Schritt beinhaltet die Rauschunterdrückung, bei der unerwünschtes Rauschen aus den Bildern entfernt wird, um die Mustererkennung zu verbessern. Zusätzlich werden für den Miao-Batik-Datensatz die Bereiche kultureller Motive annotiert, was die Erzeugung von Masken ermöglicht, die im Segmentierungsmodul des vorgeschlagenen Modells verwendet werden und sicherstellen, dass kulturelle Motive während der Generierung erhalten bleiben. Die endgültige Ausgabe dieses Schritts ist ein bereinigter Datensatz, der für das Training der Segmentierungs- und Generierungsmodule des vorgeschlagenen Modells bereitsteht.

Diagramm der Datensatzverarbeitung; Schritte umfassen Größenänderung, Normalisierung, Rauschentfernung, Motivannotation.
Abbildung 3. Daten-Vorverarbeitungspipeline für Bilder des kulturellen Erbes. Workflow zur Veranschaulichung der Bildvorverarbeitungsschritte, die vor dem Modelltraining durchgeführt werden. Die Pipeline umfasst die Datensatzerfassung, Größenänderung der Bilder, Normalisierung, Gaußsche Rauschunterdrückung, vorhandene Annotationen kultureller Motive sowie die Vorbereitung von Segmentierungsmasken. Die resultierenden verarbeiteten Bilder und Masken dienen als Eingaben für die semantische Segmentierung und die Musterrekonstruktion. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Jedes Bild wurde vor dem Modelltraining einem Qualitätskontrollprozess unterzogen. Der Miao-Batik-Datensatz enthielt 15.148 Bilder. Beschädigte, doppelte und minderwertige Proben waren bereits von den ursprünglichen Erstellern des Datensatzes bearbeitet worden; daher wurden im Rahmen dieser Studie während der Qualitätskontrolle keine weiteren Bilder ausgeschlossen. Folglich blieben alle 15.148 Bilder für die Analyse erhalten. Die Bilder wurden im RGB-Format während der Vorverarbeitung geladen und mittels bilinearer Interpolation auf 256 × 256 Pixel skaliert. Die Pixelewerte wurden durch Division durch 255 aus dem Bereich [0, 255] in den Bereich [0, 1] skaliert. Anschließend wurde eine kanalweise Normalisierung unter Verwendung der Mittelwerte [0,485, 0,456, 0,406] und der Standardabweichungen [0,229, 0,224, 0,225] für die roten, grünen und blauen Kanäle durchgeführt. Die Vorverarbeitungspipeline umfasste das Laden der Bilder, die Umwandlung in das RGB-Format, die Größenänderung, die Skalierung der Pixelewerte, die Normalisierung und die Umwandlung in Tensoren. Bei Bedarf wurden Graustufenbilder in das dreikanalige RGB-Format umgewandelt, um die Kompatibilität mit den DL-Modellen sicherzustellen. Nach der Vorverarbeitung wurden die Bilder in Trainings-, Validierungs- und Testuntergruppen aufgeteilt. Alle Phasen des SegCycle-SPADE-Frameworks – einschließlich semantischer Segmentierung, Merkmalsfusion, Motivrekonstruktion und künstlerischer Synthese auf SPADE-Basis – verwendeten eine einheitliche Eingabematrix von 256 × 256 Pixeln.

Semantische Mustersegmentierung mithilfe von SegFormer
Nach diesem Vorverarbeitungsschritt werden die bereinigten und normalisierten Bilder des kulturellen Motiv-Datensatzes der Miao-Batik sowie des WikiArt-Datensatzes in das Modul zur semantischen Segmentierung eingespeist, das auf dem vorgeschlagenen SegFormer-B2-Framework basiert. Ziel dieses Schritts ist es, kulturelle Motive, die in Erbe-Mustern enthalten sind, korrekt zu erkennen und voneinander zu trennen. Das vorgeschlagene SegFormer-Framework basiert auf einer Transformer-Architektur, die einen hierarchischen Transformer-Encoder und einen leichten MLP-Decoder kombiniert, um sowohl globale Kontextinformationen als auch detaillierte strukturelle Informationen aus komplexen Erbe-Mustern präzise zu erfassen. Das Modell extrahiert zunächst Merkmalsrepräsentationen in mehreren Skalen aus dem Eingabebild, die anschließend im Decoder fusioniert werden, um genaue segmentierte Muster zu erzeugen. Dadurch wird sichergestellt, dass die Muster im Erbe-Bild korrekt in Motive wie geometrische Muster, florale Muster und symbolische Muster unterteilt werden, wodurch sie vom Hintergrund getrennt werden, während ihre strukturelle Integrität erhalten bleibt. Diese strukturelle Information wird anschließend in den späteren Phasen der Mustererzeugung innerhalb des SegCycle-SPADE-Frameworks verwendet.

Es sei das vorverarbeitete Eingangsbild dargestellt als Gleichung 6:

Gleichung zur Veranschaulichung des Bildraums aus reellwertigen Dimensionen; Formel: I_p ∈ ℝ^(H×W×C) (6)

Der SegFormer-Encoder teilt das Bild in Patches auf und extrahiert hierarchische Merkmale mithilfe von Transformer-Schichten, wie in Gleichung 7¹ dargestellt:

Gleichung zur Darstellung des Merkmalscodierungsprozesses; Formel: F = Encoder(Ip).

Hier bezeichnet F die Multiskalen-Feature-Karten, die aus dem Transformer-Encoder gewonnen werden. Diese Merkmale kodieren sowohl lokale Texturmuster als auch globale kontextuelle Beziehungen zwischen Motivbereichen. Das SegFormer-Modell extrahiert Feature-Karten auf verschiedenen Skalen, wie in Gleichung 8 definiert:

Vektornotation Formel F={F1,F2,F3,F4}, verwendet in der statischen Gleichgewichtsanalyse, mathematische Notation.

Die Verwendung von Multiskalen-Darstellungen erleichtert die Erkennung von Mustern unterschiedlicher Größe innerhalb kultureller Motive. Abschließend werden die Merkmale mithilfe des MLP-Decoders kombiniert, wie in Gleichung 9¹ dargestellt:
Gleichung: S=Decoder(F₁,F₂,F₃,F₄); mathematische Formel, Dekodierungsfunktion.

Hier bezeichnet S die endgültige vorhergesagte Segmentierungskarte.

Der SegFormer-B2-Backbone wurde mit ImageNet-vortrainierten Gewichten initialisiert und anschließend für die Segmentierung kultureller Motive auf dem Miao-Batik-Datensatz feinabgestimmt. Der vortrainierte Checkpoint wurde aus der offiziellen SegFormer-Implementierung bezogen. Konkret wurde der vom offiziellen SegFormer-Repository bereitgestellte ImageNet-1K-vortrainierte MIT-B2-Checkpoint (mit_b2.pth) zur Initialisierung des SegFormer-B2-Backbones vor der Feinabstimmung verwendet. Die vortrainierten Gewichte entsprechen dem vom SegFormer-Autorenteam veröffentlichten MIT-B2-Backbone und dienten als Initialmodell für das Training der semantischen Segmentierung. Die verbleibenden aufgabenbezogenen Schichten wurden vor dem Training mit den standardmäßigen PyTorch-Gewichtsinitialisierungsverfahren initialisiert.

Ein vierstufiger hierarchischer Transformer-Encoder mit überlappenden Patch-Embeddings wird in der Architektur verwendet. In der ersten Stufe wurde die Patch-Größe auf 7 × 7 mit einer Schrittweite von 4 festgelegt. Für jede der vier Encoder-Stufen betrugen die Embedding-Dimensionen 64, 128, 320 und 512. Über die vier Stufen hinweg gab es 1, 2, 5 und 8 Multi-Head-Selbst-Aufmerksamkeitsköpfe, und die entsprechenden Encoder-Tiefen betrugen 3, 4, 6 und 3 Schichten. Multiskalige Merkmale, die aus dem Encoder abgerufen wurden, wurden mithilfe eines leichten reinen MLP-Decoders aggregiert. Vor der Erstellung der endgültigen Segmentierungskarte projizierte der Decoder Merkmale aus jeder Encoder-Stufe in einen einzigen Embedding-Raum. Alle Transformer-Blöcke verwendeten die Gaussian Error Linear Unit (GELU) als Aktivierungsfunktion. Während des Trainings wurde eine Dropout-Rate von 0,1 verwendet, um die Generalisierung zu verbessern und Überanpassung zu verringern.

Während der Trainingsphase erhält das SegFormer-Framework die vorverarbeiteten Bilder aus beiden Datensätzen. Die Bilder aus dem Miao-Batik-Datensatz enthalten Motivbereiche, die als Labels für das überwachte Lernen des Segmentierungsmodells dienen. Der Transformer-Encoder verarbeitet das gesamte Bild und erfasst langreichweitige Beziehungen zwischen Bildkomponenten, was besonders wichtig ist bei traditionellen Batikmustern mit räumlich verteilten Motiven. Der hierarchische Mechanismus zur Merkmalsextraktion erfasst gleichzeitig lokale Strukturen wie wiederholte geometrische Texturen. Der MLP-Decoder verarbeitet diese extrahierten Merkmale und erzeugt eine Segmentierungsmaske, die die Motivbereiche hervorhebt. Die in diesem Stadium erzeugten Segmentierungskarten werden anschließend als strukturelle Eingaben für das Attention-Modul und die Musterrekonstruktionsphase verwendet, wodurch die Authentizität der generierten Muster bewahrt bleibt.

Kulturelle Motive wurden gemäß ihren visuellen und kulturellen Merkmalen in verschiedene Klassen für die semantische Segmentierung unterteilt. Die Segmentierungstaxonomie umfasste Tiermotive (z. B. Schmetterlinge, Fische, Vögel und andere symbolische Tierarten), Pflanzenmotive (z. B. Blumen, Blätter, Ranken und botanische Muster), geometrische Motive (z. B. sich wiederholende Formen, Bordüren und abstrakte geometrische Strukturen) sowie Hintergrundbereiche, die nicht-motivische Flächen darstellen. Zur Zuweisung jedes Pixels zu einer der vordefinierten Klassen wurden Segmentierungsmasken auf Pixelebene verwendet. Ganzzahlig codierte Kennzeichnungen waren wie folgt festgelegt: Kennzeichnung 0 = Hintergrund, Kennzeichnung 1 = Tiermotive, Kennzeichnung 2 = Pflanzenmotive und Kennzeichnung 3 = geometrische Motive. Die Segmentierungsannotationen und Motivkennzeichnungen stammten direkt aus der ursprünglichen Quelle des Miao-Batik-Datensatzes. In dieser Studie wurden keine zusätzlichen manuellen Annotationen, Umetikettierungen, Grenzverifizierungen oder expertenbasierten Bestätigungsverfahren durchgeführt. Die vom Datensatz-Ersteller bereitgestellten Annotationen wurden ohne Änderungen für Training und Evaluierung verwendet.

Das SegFormer-Modell zur Segmentierung kultureller Motive verarbeitet die vorverarbeiteten Bilder aus dem Miao-Batik-Datensatz und dem WikiArt-Datensatz mithilfe eines auf Transformatoren basierenden Mechanismus zur genauen Erkennung kultureller Musterbereiche, wie in Abbildung 4 gezeigt. Zunächst wird das Eingabebild, das traditionelle kulturelle Motive enthält, dem SegFormer-Modell zugeführt. Der Transformer-Encoder extrahiert sowohl globale Kontextinformationen als auch lokale strukturelle Merkmale aus Bildausschnitten. Die resultierenden mehrskaligen Merkmale werden an den Segmentierungs-Decoder übergeben, der ein gemischtes Feed-Forward-Netzwerk nutzt, um die Merkmalsdarstellungen zu verfeinern und die Motiverkennung zu verbessern. Die Ausgabe des SegFormer-Modells ist eine Segmentierungsmaske, die Pixel hervorhebt, die kulturellen Mustern entsprechen, und irrelevante Hintergrundinformationen unterdrückt. Die isolierten kulturellen Muster dienen anschließend als strukturelle Vorgabe für die folgenden Phasen des SegCycle-SPADE-Frameworks.

SegFormer-Diagramm; Bildsegmentierung mit Transformer-Encodern, Merkmalsextraktion, Segmentierungsmaske.
Abbildung 4. Semantische Segmentierung kultureller Motive basierend auf SegFormer-B2. Architektur des SegFormer-B2-Moduls zur semantischen Segmentierung, das zur Extraktion kultureller Motive verwendet und ausschließlich auf dem Miao-Batik-Datensatz trainiert wurde. Das Framework besteht aus einem auf Transformatoren basierenden Encoder zur mehrskaligen Merkmalsextraktion und einem leichten Segmentierungs-Decoder zur Erzeugung von Motivmasken. Das Modell prognostiziert vier semantische Klassen – Tier, Pflanze, geometrisch und Hintergrund –, wobei die resultierenden Segmentierungsmasken kulturell bedeutende Motivbereiche identifizieren und irrelevante Hintergrundinformationen unterdrücken. Diese Segmentierungsergebnisse liefern strukturelle Vorgaben für die nachfolgenden Phasen der Merkmalsfusion, Rekonstruktion und künstlerischen Synthese im vorgeschlagenen SegCycle-SPADE-Framework. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Es ist nicht erforderlich, im vorgeschlagenen Rahmen neue Segmentierungsannotationen zu erstellen. Der Miao-Batik-Datensatz wurde aus einer bereits vorhandenen öffentlichen Quelle bezogen, und das Modell wurde mit den von den Erstellern des Datensatzes bereitgestellten Motivinformationen trainiert. Während des Lernprozesses erzeugte das SegFormer-Modell semantische Segmentierungskarten. Daher benötigte die vorliegende Studie keine zusätzliche manuelle Annotationssoftware, keine Annotationsrichtlinien und keine Verfahren zur Qualitätssicherung der Annotationen.

CAFFM
Um die Interaktion zwischen den Merkmalen der semantischen Segmentierung und den Darstellungen der generativen Rekonstruktion zu verbessern, schlug die Studie außerdem eine CAFFM vor. Der SegFormer-B2-Encoder stellt der CAFFM-Komponente semantische Merkmalskarten bereit, während der CycleGAN-Rekonstruktionsschritt generative Merkmalskarten liefert. Zunächst werden lineare Projektionsschichten verwendet, um beide Merkmalsströme in einen gemeinsamen Einbettungsraum zu projizieren. Für die Berechnung der Cross-Attention werden mithilfe der erzeugten Merkmalstensoren Query- (Q), Key- (K) und Value- (V)-Darstellungen erzeugt. Die Beziehungen zwischen strukturellen Motivinformationen und künstlerischen Stilelementen werden anschließend mittels Multi-Head-Cross-Attention modelliert. Anschließend werden Schichten-Normalisierung, Residualverbindungen und Feed-Forward-Schichten mit GELU-Aktivierung auf die fusionierten Merkmalsdarstellungen angewendet. Die Ausgabe des CAFFM-Moduls gelangt in die auf SPADE basierende Synthese-Phase, wodurch kulturell bedeutsame Themen bewahrt werden, ohne die künstlerische Kohärenz zu beeinträchtigen.

Um die Merkmalskompatibilität sicherzustellen, werden die Eingabemerkmale zunächst mithilfe linearer Projektionsschichten in einen gemeinsamen Einbettungsraum mit einer Einbettungsdimension von 256 projiziert. Die Verbindungen zwischen semantischen strukturellen Informationen und generativen Stilrepräsentationen werden anschließend mit einem MultiHead-Cross-Attention-Mechanismus mit acht Attention-Köpfen modelliert. Bei der Cross-Attention-Berechnung werden die Abfragevektoren (Q), Schlüsselvektoren (K) und Wertvektoren (V) verwendet, die durch spezifische lineare Transformationsschichten erzeugt werden. Um die Stabilität des Trainings zu erhöhen und die Integrität der Merkmale zu bewahren, werden Residualverbindungen und Layer-Normalisierung eingesetzt, um die fusionierten Merkmalsrepräsentationen weiter zu verbessern. Das nichtlineare Merkmal-Lernen wird anschließend durch ein Feed-Forward-Netzwerk mit der Aktivierungsfunktion Gaussian Error Linear Unit (GELU) verstärkt. Das Modul erzeugt eine Ausgabe-Merkmalsrepräsentation der Dimension 256, die an nachfolgende Stufen zur kreativen Synthese weitergeleitet wird. Der CAFFM kombiniert erfolgreich künstlerische Stildaten mit kulturellen Motivstrukturen, indem er eine auf Cross-Attention basierende Fusionsmethode verwendet, wodurch die Erhaltung der Motive und die visuelle Kohärenz bei den rekonstruierten Mustern des kulturellen Erbes verbessert werden.

In dem vorgeschlagenen System werden die strukturellen Merkmale aus dem Miao-Batik-Datensatz abgeleitet, während die stilistischen Merkmale aus dem WikiArt-Datensatz gelernt werden. Sei die aus dem SegFormer-Segmentierungsnetzwerk unter Verwendung von Bildern aus dem Miao-Batik-Datensatz abgeleitete Merkmalskarte mit F_s bezeichnet, während die aus dem Stil-Merkmalsextraktionszweig unter Verwendung von WikiArt-Bildern abgeleitete Merkmalskarte mit F_a bezeichnet wird. Der vorgeschlagene CAFFM kombiniert die beiden Merkmalsbereiche mithilfe eines Cross-Attention-Mechanismus, um sowohl strukturelle als auch stilistische Abhängigkeiten kultureller Muster zu lernen. Tabelle 3 gibt alle architektonischen Eigenschaften an, einschließlich Einbettungsdimensionen, Normalisierungsschichten, Aktivierungsfunktionen und Konfiguration der Attention-Köpfe. Bei einer Eingabebildgröße von 256 × 256 Pixeln erzeugte der SegFormer-B2-Encoder semantische Merkmalskarten der Größe 64 × 64 × 128, während der Stil-Merkmalsextraktionszweig Merkmalskarten der Größe 64 × 64 × 128 erzeugte. Beide Merkmalskarten wurden vor der Fusion mittels Cross-Attention durch lernbare lineare Schichten in einen gemeinsamen Einbettungsraum der Dimension 256 projiziert.

Parameter	Konfiguration
Vorgeschlagenes Framework	SegCycle-SPADE
Semantisches Segmentierungsmodell	SegFormer-B2
SegFormer-Encoder-Stufen	4
Gewichtsinitialisierung	Imagenet-1K vortrainiertes SegFormer-B2 (MIT-B2-Backbone)
Checkpoint-Quelle	Offizielles NVIDIA SegFormer-Repository (https://github.com/NVlabs/SegFormer); Checkpoint: segformer.b2.512x512.ade.160k
Feinabstimmungsstrategie	End-to-end-Feinabstimmung am Miao-Batik-Datensatz
Größe der Patch-Embeddings	7 × 7
Patch-Schrittweite	4
Embedding-Dimensionen	64, 128, 320 und 512
Encoder-Tiefen	3, 4, 6 und 3
Attention-Köpfe	1, 2, 5 und 8
Decoder-Typ	All-MLP-Decoder
Aktivierungsfunktion	GELU
Dropout-Rate	0,1
Feature-Verbesserungsmodul	Cross-Attention Cultural Feature Fusion Module (CAFFM)
CAFFM-Embedding-Dimension	256
CAFFM-Attention-Köpfe	8
CAFFM-Fusionsskalen	4
Rekonstruktionsmodell	CycleGAN
Stilgenerierungsmodell	SPADE
Kulturdatensatz	Miao-Batik-Datensatz
Stildatensatz	WikiArt-Datensatz
Miao-Batik-Bilder	15.148
WikiArt-Bilder	Ungefähr 80.000
Eingabebildauflösung	256 × 256 Pixel
Farbformat	RGB
Interpolationsmethode	Bilineare Interpolation
Entrauschungsmethode	Gaußsche Filterung
Gaußsche Kernelgröße	5 × 5
Gaußsche Sigma (σ)	1
Normalisierungsbereich	[0, 1]
Batch-Größe	16
Anzahl der Epochen	100
Optimierer	Adam
Lernrate	0,0002
Adam-Parameter	β₁ = 0,5, β₂ = 0,999, ε = 1 × 10⁻⁸, Gewichtsverfall = 0
Verlustfunktionen	Segmentierungsverlust, adversarialer Verlust, zyklische Konsistenzverlust, Rekonstruktionsverlust, Motiverhaltungsverlust und Stilkonsistenzverlust
Datensatz-Aufteilungsstrategie	Training / Validierung / Test
Trainingsdatensatz	70 %
Validierungsdatensatz	15 %
Testdatensatz	15 %
Zufallsseed	42
Evaluierungsmetriken	Segmentierungsgenauigkeit, IoU, Dice-Koeffizient, SSIM, PSNR und FID
Programmiersprache	Python 3.8.10
Tiefenlern-Framework	PyTorch 1.10.0
Hardwareplattform	NVIDIA RTX 3090 GPU (24 GB VRAM), Intel Core i7 (11. Generation), 32 GB RAM
Betriebsumgebung	Ubuntu 20.04 LTS

Tabelle 3: Experimenteller Aufbau und Modellkonfiguration. Zusammenfassung der architektonischen Komponenten, Trainingskonfiguration, Vorverarbeitungseinstellungen, Datensätze, Optimierungsparameter, Evaluierungsmetriken und des rechnerischen Umfelds, die für die Implementierung und Evaluierung des vorgeschlagenen SegCycle-SPADE-Frameworks verwendet wurden.

Das Attention-Modul bildet die Merkmalskarte zunächst mithilfe von Gleichung 10 in Query-, Key- und Value-Darstellungen um:

Formeln für das statische Gleichgewicht, Q=FsWq, K=FsWk, V=FsWv, Gleichung für die mechanische Analyse.

Hier sind W_q, W_k und W_v lernbare Gewichtungsmatrizen. Die Attention-Gewichte werden basierend auf der Ähnlichkeit zwischen dem Query-Vektor und dem Key-Vektor unter Verwendung von Gleichung 11¹⁷ berechnet:

Formel der Softmax-Funktion, A=Softmax((QK^T)/√d_k), Gleichung für den Attention-Mechanismus.

Hier ist d_k die Dimension des Schlüsselvektors. Die verbesserte Merkmalsdarstellung wird berechnet, indem die Attention-Gewichte mit der Wertematrix gemäß Gleichung 12 multipliziert werden:

$Formel für das statische Gleichgewicht $F_a = A \cdot V$ dargestellt; zentraler Begriff in der Kraftbilanzanalyse.$

Hier ist F_a die verbesserte Merkmalsrepräsentation der Merkmalskarte. Die verbesserte Merkmalsrepräsentation wird berechnet, indem die ursprünglichen Segmentierungsmerkmale mit den unter Verwendung des Aufmerksamkeitsmechanismus gewonnenen verbesserten Merkmalen gemäß Gleichung 13 kombiniert werden:

$Gleichung für das statische Gleichgewicht $ F_e = F_s + F_a $, beschreibt die Kräfte, Formel.$

Hier ist F_e die verbesserte Merkmalskarte, die zur Musterrekonstruktion verwendet wird. Die CAFFM wird um einen mehrskaligen Cross-Attention-Mechanismus erweitert, um Merkmale für kulturelle Motive in verschiedenen Skalen zu extrahieren. Sei F_sⁱ die Segmentierungsmerkmale in der Skala i und F_a^j die künstlerischen Stilmerkmale in derselben Skala. Die endgültige Merkmalsdarstellung wird mithilfe von Gleichung 14 definiert:

$Formel des Aufmerksamkeitsmechanismus $F_{\text{fusion}} = \sum_{i=1}^{N} \text{Attention}(Q_i, K_i, V_i)$.$

Hier bezeichnen Q_i, K_i und V_i jeweils die Abfrage-, Schlüssel- und Wertematrizen auf der Skala i, während N die Anzahl der Merkmalskalen angibt. In dieser Studie beträgt N = 4, was den auf räumlichen Auflösungen von 1/4, 1/8, 1/16 und 1/32 der Eingabebildgröße extrahierten Merkmalskarten entspricht. Diese mehrskaligen Merkmalsdarstellungen wurden vor der Rekonstruktion und künstlerischen Synthese mithilfe lernbarer Aufmerksamkeitsgewichte fusioniert. Die oben beschriebene Erweiterung ermöglicht es der Methode, globale kulturelle Motive und Texturen zu extrahieren, um kulturelle Muster rekonstruieren zu können. CAFFM befindet sich im vorgeschlagenen SegCycle-SPADE-System zwischen der auf SegFormer basierenden Segmentierungsstufe und der auf SPADE basierenden kreativen Synthesestufe. Zunächst erzeugt CycleGAN gleichzeitig Rekonstruktionsmerkmale mit stilistischen und musterspezifischen Informationen, während SegFormer-B2 semantische Merkmalskarten rekonstruiert, die die strukturellen Eigenschaften kultureller Motive darstellen. Das CAFFM-Modul empfängt diese beiden Merkmalsströme und nutzt eine auf Cross-Attention basierende Fusion, um Beziehungen zwischen strukturellen und künstlerischen Darstellungen zu identifizieren. Um kulturell authentische Muster zu erzeugen, dabei jedoch semantische Konsistenz und strukturelle Merkmale beizubehalten, werden die resultierenden fusionierten Merkmalskarten anschließend an das SPADE-Modul zur segmentierungsgesteuerten kreativen Synthese weitergeleitet.

Rekonstruktion von Mustern mithilfe von CycleGAN
Sobald die merkmalsbasierte Verstärkungsphase abgeschlossen ist, enthalten die Merkmalskarten die verstärkten Strukturen kultureller Motive. Die Merkmalskarten können jedoch weiterhin unvollständige oder beschädigte Musterbereiche enthalten. Um das Problem der Musterrekonstruktion zu lösen, verwendet der vorgeschlagene Ansatz das CycleGAN-Modell. In diesem Ansatz stellen die beiden Domänen die ursprünglichen kulturellen Motivmuster und die rekonstruierten kulturellen Motivmuster dar. Mithilfe der verstärkten Merkmale aus den vorherigen Phasen rekonstruiert das CycleGAN-Modell die kulturellen Muster, wobei die strukturelle Kohärenz erhalten bleibt. Dadurch wird sichergestellt, dass kulturelle Muster wie geometrische, florale oder symbolische Muster ihre räumliche Anordnung beibehalten. Die ursprünglichen Miao-Batik-Bilder wurden zufälligen Maskierungs- und teilweisen Verdeckungsoperationen unterzogen, um unvollständige oder beschädigte kulturelle Motive zu erzeugen. Diese Degradationsverfahren simulierten fehlende Musterbereiche und strukturelle Schäden, wie sie typischerweise bei verfallenden kulturellen Artefakten beobachtet werden. Die degradierten Bilder dienten als Eingaben für das Rekonstruktionsmodul, während die entsprechenden Originalbilder als Referenzbilder zur Leistungsbeurteilung und Qualitätsbewertung der Rekonstruktion fungierten. Diese Strategie ermöglichte es dem Modell, die Wiederherstellung fehlender Motivstrukturen zu erlernen, während gleichzeitig die semantische Kohärenz und die kulturellen Merkmale bewahrt blieben.

Sei X der Bereich unvollständiger kultureller Muster und Y der Bereich rekonstruierter kultureller Muster. Die beiden Generatoren lernen, eine bidirektionale Abbildung mithilfe von Gleichung 15 durchzuführen:

Diagramm von Funktionen und Abbildungen GF:X→Y, FM:Y→X, mathematische Transformationen in Gleichungen.

Hier wird G_E zur Rekonstruktion von Motivstrukturen verwendet und F_M zur Abbildung der Muster zurück auf die ursprüngliche Domäne. Der adversarielle Verlust wird verwendet, um sicherzustellen, dass die rekonstruierten Muster realistisch sind (Gleichung 16)³⁰

$GAN-Verlustgleichung $L_{GAN}$; Formel zur Verbesserung generativer Modelle; mathematischer Ausdruck.$

Hier ist D_Y der Diskriminator, der verwendet wird, um echte und rekonstruierte Muster zu unterscheiden, und G_E(x) bezeichnet das erzeugte rekonstruierte Muster. CycleGAN erzwingt außerdem die Zyklenkonsistenz, um das strukturelle Layout kultureller Motive beizubehalten (Gleichung 17)³⁰.

$Mathematische Formel für die Verlustfunktion $L_{cycle}(G_F, F_M)$ in der computerbasierten Modellierung.$

Die endgültige Verlustfunktion wird mithilfe von Gleichung 18³⁰ definiert:

Gleichung des statischen Gleichgewichts, L_total=L_GAN(G_E,D_Y,X,Y)+L_GAN(F_M,D_X,Y,X)+λ_L_cycle(G_E,F_M).

Hier bezeichnet λ_i den Gewichtungskoeffizienten für den Zyklenkonsistenzverlust, der während des Trainings auf 10 festgelegt wurde, was mit der ursprünglichen CycleGAN-Formulierung übereinstimmt. Dieser Wert wurde gewählt, um das gegnerische Lernen und die Rekonstruktionskonsistenz zwischen den Quell- und Zielbereichen auszugleichen.

Das CycleGAN-Rekonstruktionsmodul besteht aus zwei Generatoren und zwei Diskriminatoren für die bidirektionale Bildübersetzung. Jeder Generator folgt einer Residualnetzwerk-Architektur, die aus einer initialen 7 × 7-Faltungsschicht besteht, gefolgt von zwei herunterskalierenden Faltungsschichten, neun Residualblöcken und zwei hochskalierenden Schichten. Alle Faltungsoperationen verwenden eine Kernelgröße von 3 × 3, mit Ausnahme der Eingangsschicht, die einen 7 × 7-Kernel zur verbesserten Merkmalsextraktion nutzt. Nach jeder Faltungsschicht wird eine Instanznormalisierung (Instance Normalization) angewendet, um die Stabilität des Trainings zu verbessern, während im gesamten Generatornetzwerk die ReLU-Aktivierungsfunktion verwendet wird. Die Ausgabeschicht verwendet eine Tanh-Aktivierungsfunktion, um normalisierte Bildausgaben zu erzeugen. Der Diskriminator folgt einer 70 × 70-PatchGAN-Architektur, die aus einer Reihe von Faltungsschichten mit Kernelgrößen von 4 × 4 und schrittweise zunehmenden Merkmalskanälen besteht. Im Diskriminator werden Instanznormalisierung und LeakyReLU-Aktivierung (negativer Anstieg = 0,2) eingesetzt, um die Merkmalsdiskriminierung und das antagonistische Lernen zu verbessern. Das CycleGAN-Modul erhält vorverarbeitete Bilder kultureller Motive als Eingabe und erzeugt rekonstruierte Musterdarstellungen, die anschließend zur Integration mit Segmentierungsmerkmalen an das CAFFM weitergeleitet werden. Das Training des CycleGAN wurde mit dem Adam-Optimierer (β₁ = 0,5, β₂ = 0,999) und einer anfänglichen Lernrate von 0,0002 durchgeführt. Die Lernrate wurde für die ersten 100 Epochen beibehalten und anschließend linear über den verbleibenden Trainingszeitraum auf null abgebaut. Zur Stabilisierung des Diskriminator-Trainings wurde ein Replay-Puffer verwendet, der 50 zuvor generierte Bilder enthielt. Die Generatoren und Diskriminatoren wurden mit einem Aktualisierungsverhältnis von 1:1 aktualisiert, wobei während jeder Trainingsepoche eine Generatoraktualisierung auf eine Diskriminatoraktualisierung folgte.

Der Rekonstruktionsprozess des CycleGAN basiert auf den verbesserten Merkmalskarten, die mithilfe des CAFFM-Mechanismus in Abbildung 5 gewonnen wurden. Die Merkmalskarten enthalten verstärkte kulturelle Motive, die aus den vorherigen Stufen der Segmentierung und des CAFFM stammen. Diese Merkmalskarten werden als Eingabe an den ersten Generator G_E übergeben. Der erste Generator G_E lernt die Abbildung, die zur Rekonstruktion kultureller Muster erforderlich ist. Die Ausgaben werden anschließend an den Diskriminator D_Y weitergeleitet, um zwischen echten kulturellen Mustern und rekonstruierten Mustern zu unterscheiden. Der Diskriminator D_Y unterstützt den Generator G_E dabei, realistische Ausgaben zu erzeugen. Um sicherzustellen, dass kulturelle Muster während der Rekonstruktion nicht verfälscht werden, führt der zweite Generator F_M eine zyklische Konsistenzabbildung durch. Der zweite Generator F_M bildet die Ausgaben zurück in die ursprüngliche Domäne ab. Die Ergebnisse werden danach vom Diskriminator hinsichtlich ihrer Realitätsnähe bewertet. Die endgültigen Ausgaben werden im Anschluss an das SPADE-Modul weitergeleitet, um im nächsten Schritt des vorgeschlagenen SegCycle-SPADE-Frameworks die künstlerische Stilgenerierung durchzuführen.

Prozess der Musterrekonstruktion; Diagramm zur Verwendung von GANs zur Generierung kultureller Motive.
Abbildung 5. Arbeitsablauf der patternbasierten Rekonstruktion mittels CycleGAN. Arbeitsablauf des CycleGAN-Rekonstruktionsmoduls. Aufmerksamkeitsverstärkte Merkmalsdarstellungen werden als Eingaben an das Generator-Netzwerk übermittelt, um unvollständige kulturelle Motive zu rekonstruieren. Der Diskriminator bewertet die rekonstruierten Ausgaben anhand von Referenzmustern, während die zyklische Konsistenzabbildung die strukturelle Integrität während der bidirektionalen Bildübersetzung erhält. Die rekonstruierten Motive werden anschließend an das SPADE-Modul zur künstlerischen Stilsynthese weitergeleitet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Künstlerische Stilgenerierung mithilfe von SPADE
Anschließend werden die rekonstruierten kulturellen Motive dem SPADE-Modul zur Generierung eines künstlerischen Stils unterzogen. Das Hauptziel des SPADE-Moduls besteht darin, den rekonstruierten kulturellen Motiven visuell anspruchsvollere Texturmerkmale künstlerischer Stile hinzuzufügen, ohne dabei die strukturelle Anordnung der Motive zu beeinträchtigen. Das SPADE-Modul ist eine bedingte Bildgenerierungstechnik, die das Konzept der Bildsegmentierung zur Bilderzeugung nutzt. Mehrkanalige semantische Karten, die den vordefinierten Motivklassen entsprachen, wurden aus den durch SegFormer-B2 erzeugten semantischen Segmentierungsmasken kodiert. Diese kodierten Karten dienten als konditionierende Eingaben für den SPADE-Generator. Die räumlich adaptive Skalierung (γ) und die Verzerrung (β) wurden erzeugt, indem die semantischen Karten innerhalb jeder SPADE-Schicht durch Faltungsschichten verarbeitet wurden. Auf diese Weise konnte der Generator durch Anwendung dieser Parameter auf die normalisierten Merkmalsaktivierungen Motivgrenzen, strukturelle Anordnungen und semantische Informationen während der künstlerischen Synthese bewahren. Da der Konditionierungsprozess in mehreren Schichten des SPADE-Generators durchgeführt wurde, konnte die semantische Steuerung sowohl die rekonstruierte Struktur auf hoher Ebene als auch die Textursynthese auf niedriger Ebene beeinflussen. Folglich enthielten die erzeugten künstlerischen Muster stilistische Merkmale, die aus dem WikiArt-Datensatz stammten, behielten dabei jedoch die kulturellen Motivstrukturen bei, die im Segmentierungsschritt erfasst wurden.

Der WikiArt-Datensatz, der Werke aus 27 verschiedenen künstlerischen Kategorien umfasst – wie Renaissance, Impressionismus, Kubismus, Expressionismus, Surrealismus, Realismus und Abstrakte Kunst –, wurde als zentrale Ressource zur Erfassung künstlerischer Stile verwendet. Um das Modell verschiedenen kreativen Merkmalen auszusetzen und die Verallgemeinerungsfähigkeit bezüglich Stil zu verbessern, wurden während des Trainings Stilbilder zufällig aus den verschiedenen Kategorien ausgewählt. Der Datensatz wurde in Trainings-, Validierungs- und Testanteile unter gleichmäßiger Berücksichtigung aller künstlerischen Kategorien aufgeteilt, um Stilverzerrungen zu verringern. Um eine ausgewogene Repräsentation aller 27 künstlerischen Kategorien sicherzustellen, kam eine stratifizierte Stichprobenziehung zum Einsatz. Die Proben jeder Kategorie wurden anteilig den Trainings-, Validierungs- und Testanteilen zugewiesen, wobei die ursprüngliche Klassenverteilung erhalten blieb. Das CAFFM-Modul diente dazu, die aus WikiArt-Bildern abgeleiteten Stilmerkmale mit den von CycleGAN erzeugten Rekonstruktionsmerkmalen zu verbinden. Um dem Synthesenetzwerk die Übertragung künstlerischer Qualitäten zu ermöglichen, während die semantische Struktur und die Grenzen kultureller Motive aus den Segmentierungskarten erhalten bleiben, wurden die resultierenden fusionierten Darstellungen als konditionierende Information an den SPADE-Generator übergeben. Dank dieser stilbasierten Konditionierungstechnik konnte das vorgeschlagene Framework kulturell authentische künstlerische Muster mit konsistenten strukturellen und stilistischen Darstellungen erzeugen.

SPADE führt außerdem räumlich adaptive Parameter ein, die von der Segmentierungskarte abhängen. Die Parameter können wie in Gleichung 19¹ gezeigt definiert werden:

Gleichung der linearen Transformation: y=γ(S)x̂+β(S) (Gl. 19), mathematische Darstellung.

Hier ist γ(S) der räumlich variierende Skalenparameter und β(S) der räumlich variierende Bias-Parameter. Diese Parameter helfen dem Generator, je nach semantischer Region in den Bildern unterschiedliche Texturen und Stile zu erzeugen. Das endgültige kulturelle Kunstwerk kann wie in Gleichung 20 gezeigt definiert werden:

Gleichung für den genetischen Bewertungsprozess Formel I_gen=G_E(X^P_r,SM).

Hier ist G_E der SPADE-Generator, X_r^P das rekonstruierte Muster und SM die Segmentierungskarte. Das endgültige Kunstwerk bewahrt die strukturelle Integrität kultureller Motive, während es das künstlerische Erscheinungsbild verbessert. Zur Optimierung der vorgeschlagenen SegCycle-SPADE-Architektur wurde eine zusammengesetzte Verlustfunktion verwendet, die semantische Segmentierungsgenauigkeit, Erhaltung kultureller Motive, Qualität der Musterrekonstruktion und konsistente künstlerische Stilistik ausbalanciert. Eine gewichtete Kombination aus Segmentierungsverlust (L_seg), adversarialem Verlust (L_adv), zyklischer Konsistenzverlust (L_cycle), Rekonstruktionsverlust (L_recon), Motiverhaltungsverlust (L_motif) und Stilkonsistenzverlust (L_style) diente der Definition des Gesamtlernziels. Die gesamte Verlustfunktion ist in Gleichung 21 definiert:

Formel für den Gesamtverlust, L_Total, setzt sich aus mehreren Komponenten zusammen, dargestellt als mathematische Gleichung zur Analyse. (21)

Um eine strukturelle Konsistenz zwischen den Eingabe- und rekonstruierten kulturellen Motiven sicherzustellen, wurde der Zyklus-Konsistenzverlust-Koeffizient auf 10 festgelegt. Um fein abgestufte Motivmerkmale beizubehalten und die visuelle Genauigkeit zu verbessern, wurde der Rekonstruktionsverlust-Koeffizient auf 5 gesetzt. Um die Erhaltung kulturell wesentlicher Strukturmuster während der künstlerischen Synthese hervorzuheben, wurde für den Motiv-Erhaltungsverlust ein Koeffizient von 2 verwendet. Um den künstlerischen Stiltransfer zu fördern, ohne semantische Motivstrukturen übermäßig zu verzerren, wurde der Stil-Konsistenzverlust-Koeffizient auf 1 eingestellt. Um einen ausgewogenen Beitrag zwischen realistischer Bilddarstellung und präziser Motivsegmentierung sicherzustellen, erhielten die Segmentierungs- und die adversariellen Verluste gleiche Gewichtungen. Die auf Merkmalen basierenden Stildarstellungen des WikiArt-Datensatzes wurden zur Berechnung des Stil-Konsistenzverlusts herangezogen. Insbesondere wurden künstlerische Stilmerkmale mithilfe von Gram-Matrix-Korrelationen erfasst, die aus tiefen Merkmalskarten abgeleitet wurden. Die Differenz der Frobenius-Norm zwischen den Gram-Matrizen des Zielstilbilds und des generierten Bilds wurde zur Berechnung des Stilverlusts verwendet, wie in Gleichung 22 dargestellt:

Berechnungsformel für den Stilverlust in neuronalen Netzwerken, zeigt die L_Stil-Formel, Methodendarstellung.

Hier ist G_l die Gram-Matrix, die aus der l^ten Merkmalschicht berechnet wird, I_gen bezeichnet das generierte künstlerische Bild, I_style bezeichnet das Ziel-Stilbild aus dem WikiArt-Datensatz und F bezeichnet die Frobenius-Norm. Diese Formulierung ermöglicht es dem vorgeschlagenen Framework, künstlerische Merkmale zu bewahren, während die strukturelle und semantische Integrität kultureller Motive erhalten bleibt.

Die durch das CAFFM-Modul erzeugten fusionierten Merkmalsdarstellungen werden als konditionierende Eingaben für das SPADE-Modul verwendet, das die künstlerische Synthesekomponente des vorgeschlagenen Frameworks darstellt. Der SPADE-Generator besteht aus sieben SPADE-Residualblöcken mit einer latenten Merkmalsdimension von 256 Kanälen und erzeugt Ausgabebilder mit einer Auflösung von 256 × 256 Pixeln. Semantische Segmentierungskarten, die vom SegFormer–CAFFM-Modul stammen, werden als konditionierende Eingaben in allen SPADE-Residualschichten verwendet. SPADE-Schichten werden vor den Aktivierungsfunktionen innerhalb jedes Residualblocks angewendet, wodurch eine segmentierungsgesteuerte semantische Konditionierung ermöglicht wird. Durch sukzessive Hochabtastung und faltungsartige Operationen wird die latente Merkmalsdarstellung schrittweise verfeinert, um hochauflösende künstlerische Muster zu erzeugen, wobei die semantische Konsistenz und die Motivstruktur erhalten bleiben. Im gesamten Generator kommen LeakyReLU-Aktivierungsfunktionen zum Einsatz, und im Ausgabelayer wird eine Tanh-Aktivierungsfunktion angewendet, um normalisierte Bilder zu erzeugen.

Algorithmus und Arbeitsablauf
Das SegCycle-SPADE-Framework integriert semantische Segmentierung, Merkmalsfusion, Musterrückgewinnung und künstlerische Stilsynthese in einer einheitlichen Trainingspipeline. Der Arbeitsablauf beginnt mit der Datensammlung und Vorverarbeitung, einschließlich Größenänderung der Bilder, Normalisierung, Rauschunterdrückung und Vorbereitung der Segmentierungsmasken. Die vorverarbeiteten Bilder werden anschließend mit dem SegFormer-B2-Segmentierungsnetzwerk verarbeitet, um semantische Motivrepräsentationen zu extrahieren. Die resultierenden Segmentierungsmerkmale werden über das CAFFM mit Rückgewinnungsmerkmalen fusioniert, wodurch eine Interaktion zwischen strukturellen Motivinformationen und künstlerischen Merkmalsdarstellungen ermöglicht wird. Die fusionierten Merkmalskarten werden dann dem CycleGAN-Rückgewinnungsmodul zugeführt, das unvollständige kulturelle Motivstrukturen wiederherstellt, während die semantische Konsistenz erhalten bleibt. Die rekonstruierten Muster werden anschließend dem SPADE-Generator für die segmentierungsgesteuerte künstlerische Synthese übergeben, wodurch eine stilistische Verbesserung unter Beibehaltung der Motivgrenzen und strukturellen Authentizität ermöglicht wird. Während des Trainings werden die Modellparameter mithilfe der in Gleichungen 21 und 22 beschriebenen zusammengesetzten Verlustfunktion optimiert, die Segmentierungsgenauigkeit, Motiverhaltung, Rückgewinnungsqualität und stilistische Konsistenz ausbalanciert. Ein detaillierter schrittweiser Implementierungsarbeitsablauf, einschließlich Laden des Datensatzes, Vorverarbeitung, Modellinitialisierung, Trainingsiterationen, Validierungsverfahren, Checkpoint-Auswahl und abschließender Bewertung, ist in Zusatzdatei 1 (Algorithmus 1) enthalten. Der vollständige algorithmische Arbeitsablauf wurde mit einer Batch-Größe von 16, einer Lernrate von 0,0002 und 100 Trainingsepochen implementiert. Ein fester Zufallsstartwert von 42 wurde für die Datensatzpartitionierung, Modellinitialisierung und alle Trainingsexperimente verwendet. Der Startwert wurde einheitlich auf die Zufallszahlengeneratoren von Python, NumPy und PyTorch angewendet, um Reproduzierbarkeit zu gewährleisten. Der Adam-Optimierer wurde mit β₁ = 0,5, β₂ = 0,999 und ohne Gewichtsverfall (weight decay = 0) konfiguriert. Modell-Checkpoints wurden basierend auf dem höchsten auf dem Validierungsdatensatz erreichten Validierungs-IoU-Wert ausgewählt.

Optimierung der Verlustfunktion
Um die Struktur kultureller Motive während der Rekonstruktion und künstlerischen Synthese zu bewahren, verwendet das vorgestellte Framework ein zusammengesetztes Optimierungsziel, das Segmentierungs-, Adversarial-, Zyklenkonsistenz-, Rekonstruktions-, Motiv-Erhaltungs- und Stilkonsistenzverluste kombiniert. Die vollständige mathematische Formulierung, die Gewichtungskoeffizienten sowie die Definition des Stilverlusts sind in Gleichung 21 und 22 im Unterabschnitt Künstliche Stilerzeugung mittels SPADE angegeben. Die Motiv-Erhaltungskomponente bestraft strukturelle Abweichungen zwischen vorhergesagten Motivbereichen und den entsprechenden Segmentierungsmasken des Ground Truth und fördert dadurch die Bewahrung kulturell bedeutsamer Musterstrukturen während des gesamten Rekonstruktionsprozesses.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der vorgeschlagene SegCycle-SPADE-Ansatz wurde anhand zweier Datensätze evaluiert: dem Miao-Batik-Kulturmotiv-Datensatz und dem WikiArt-Datensatz. Der Miao-Batik-Datensatz enthält traditionelle Bilder des kulturellen Erbes und wurde hauptsächlich für semantische Segmentierung und strukturelle Rekonstruktionsaufgaben verwendet, während der WikiArt-Datensatz vielfältige künstlerische Stile umfasst und für das Erlernen sowie die Generierung künstlerischer Stile genutzt wurde. Bilder aus beiden Datensätzen wurden durch die vollständige SegCycle-SPADE-Pipeline verarbeitet, einschließlich semantischer Segmentierung, CAFFM, Mustervervollständigung und der auf SPADE basierenden Generierung künstlerischer Stile. Durch die Integration von Informationen zu kulturellen Motiven und Darstellungen künstlerischer Stile konnte das Framework kulturell bedeutungsvolle und visuell kohärente Ergebnisse erzeugen.

Alle Experimente wurden auf einer GPU-fähigen Workstation durchgeführt, die mit einem Intel Core i7-Prozessor und einer NVIDIA-GPU ausgestattet ist. Konkret wurden die Experimente auf einer Workstation mit einer Intel Core i7-CPU (11. Generation), einer NVIDIA RTX 3090-GPU mit 24 GB VRAM und 32 GB Arbeitsspeicher durchgeführt. Die Modelle wurden mithilfe von Python 3.8 und PyTorch 1.10 mit CUDA-Beschleunigung implementiert. Das Training erfolgte in einer Einzel-GPU-Konfiguration ohne verteiltes Training. Durchgängig wurden alle Experimente mit Standard-FP32-Genauigkeit durchgeführt, wobei kein Mixed-Precision-Training eingesetzt wurde. Als Optimierer kam Adam zum Einsatz, bei einer Batch-Größe von 16 über 100 Trainingsepochen. Tabelle 3 fasst die Implementierungsparameter und die rechnerische Umgebung dieser Studie zusammen.

Die vorgeschlagene Architektur besteht aus vier Hauptkomponenten: SegFormer-B2 für die semantische Segmentierung, CAFFM für die Merkmalsfusion, CycleGAN für die Motivrekonstruktion und SPADE für die künstlerische Stilsynthese. Bilder aus beiden Datensätzen wurden vor dem Training auf 256 × 256 Pixel skaliert. Diese standardisierte Auflösung gewährleistete eine effiziente Berechnung, bewahrte gleichzeitig wichtige Motivdetails und trug zu einem stabilen adversariellen Training beider Module, CycleGAN und SPADE, bei.

Die Leistung des vorgeschlagenen Frameworks wurde mithilfe von Metriken zur Segmentierung und Bildqualitätsbewertung bewertet, einschließlich Segmentierungsgenauigkeit, IoU, Dice-Ähnlichkeitskoeffizient (Dice), SSIM, PSNR und FID. Die visuelle Authentizität wurde qualitativ durch visuelle Inspektion der erzeugten kulturellen Muster beurteilt. Die qualitative Bewertung konzentrierte sich auf die Erhaltung von Mustern, semantische Konsistenz, kulturelle Merkmale und künstlerisches Erscheinungsbild im Vergleich zu den Referenzkulturmotiven. Die visuelle Authentizität wurde nicht als unabhängige quantitative Evaluierungsmetrik verwendet.

Die quantitative Bewertung des vorgeschlagenen Frameworks erfolgte anhand der folgenden Metriken.

Die Segmentierungsgenauigkeit wurde mithilfe von Gleichung 23 berechnet:

Formel für Genauigkeit, TP+TN/TP+TN+FP+FN, statistische Analysegleichung zur Modellbewertung.

Hier bezeichnen TP, TN, FP und FN jeweils die richtigen Positiven, richtigen Negativen, falschen Positiven und falschen Negativen.

Der IoU wurde mithilfe von Gleichung 24 berechnet:

IoU-Formel, TP/(TP+FP+FN), mathematische Gleichung zur Genauigkeitsbewertung der Bildsegmentierung.

Der Dice-Ähnlichkeitskoeffizient (Dice) wurde mithilfe von Gleichung 25 berechnet:

$Formel für den Dice-Koeffizienten, $ \frac{2*TP}{2*TP+FP+FN} $, zur Bewertung der Datenanalyse.$

Der SSIM wurde verwendet, um die wahrnehmbare Bildähnlichkeit zu bewerten, und ist mithilfe von Gleichung 26³³ definiert:

SSIM-Index-Gleichung; mathematische Formel zur Bildqualitätsbewertung; Diagramm. (26)

Hier bezeichnet μ die mittlere Intensität, σ die Varianz, σ_xy die Kovarianz zwischen den Bildern und C₁ sowie C₂ sind stabilisierende Konstanten.

Der PSNR ist eine gebräuchliche Metrik zur Bewertung der Qualität generierter Bilder und ist in Gleichung 27³³ definiert:

PSNR-Formel, Bildqualitätsbewertung, Gleichung zur Berechnung des Spitzenwert-Rauschabstands

Hier bezeichnet Max_I den maximal möglichen Pixelwert des Bildes und MSE den mittleren quadratischen Fehler zwischen dem ursprünglichen und dem rekonstruierten Bild.

FID kann unter Verwendung von Mittelwerten und Kovarianzmatrizen wie in Gleichung 28³³ berechnet werden:

Fréchet-Inception-Distanz (FID)-Gleichung; statistische Methode; Formel zur Bildqualitätsbewertung. (28)

Hier ist μ_r der Mittelwert des Originalbilds, μ_g der Mittelwert des generierten Bilds und Σ_r sowie Σ_g sind die Kovarianzmatrizen der Original- bzw. generierten Bilder.

Zum Leistungsvergleich wurde das vorgeschlagene Framework gegenüber repräsentativen Methoden bewertet, die üblicherweise für die semantische Segmentierung, die Bildrekonstruktion und die künstlerische Bildgenerierung eingesetzt werden. U-Net und DeepLabV3+ wurden als Segmentierungs-Baselines einbezogen, während Pix2Pix und CycleGAN als Rekonstruktions-Baselines dienten. StyleGAN und AttentionGAN wurden als repräsentative Methoden zur künstlerischen Bildgenerierung verwendet. Diese Vergleiche wurden durchgeführt, um die Wirksamkeit von SegCycle-SPADE bei der Erhaltung struktureller Motivinformationen zu bewerten, während gleichzeitig die künstlerische Qualität verbessert wird.

Jedes Experiment wurde fünfmal wiederholt, um die Leistungsstabilität und Reproduzierbarkeit zu bewerten. Für die Aufteilung des Datensatzes wurde ein fester Zufallsstartwert („random seed“) von 42 verwendet, um konsistente Teilmengen für Training, Validierung und Test in allen Experimenten sicherzustellen. Die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben. Die niedrigen Werte der Standardabweichung für Genauigkeit (Accuracy), IoU, Dice, SSIM, PSNR und FID zeigen, dass das vorgeschlagene Framework bei wiederholten experimentellen Durchläufen eine stabile Leistung erzielte. Die statistische Signifikanz wurde mittels gepaarter t-Tests bewertet, und Unterschiede wurden als statistisch signifikant angesehen, wenn p < 0,05 waren. Da alle Modelle an denselben Datensatzpartitionen bewertet wurden, lagen gepaarte Leistungsmessungen aus den wiederholten Durchläufen vor, was die Anwendung gepaarter t-Tests rechtfertigt. Um die fehlerweite Familienfehlerrate im Zusammenhang mit mehrfachen paarweisen Vergleichen zu kontrollieren, wurde eine Bonferroni-Korrektur angewendet, und die statistische Signifikanz wurde anhand eines angepassten Schwellenwerts von α/n bestimmt, wobei n die Anzahl der paarweisen Vergleiche bezeichnet.

Die experimentellen Ergebnisse unterstützen nachdrücklich die Wirksamkeit des vorgeschlagenen SegCycle-SPADE-Frameworks. Die überlegene Segmentierungsleistung von SegFormer-B2 zeigt seine Fähigkeit, kulturell bedeutsame Motivgrenzen genau zu erkennen und zu erhalten. Verbesserungen der IoU- und Dice-Werte deuten zudem auf eine effektive Bewahrung der semantischen Motivstrukturen während der gesamten Verarbeitungspipeline hin. Die Integration von CycleGAN und SPADE rekonstruierte erfolgreich unvollständige Motivstrukturen, während feinkörnige visuelle Details erhalten blieben, wie die verbesserten SSIM- und PSNR-Werte belegen. Darüber hinaus weisen niedrigere FID-Werte darauf hin, dass die generierten künstlerischen Muster eine größere Ähnlichkeit mit authentischen kulturellen und künstlerischen Bildern aufweisen, was auf eine verbesserte stilistische Kohärenz und visuelle Realität schließen lässt.

Der CAFFM trug maßgeblich zu diesen Verbesserungen bei, indem er eine effektive Interaktion zwischen aus der Segmentierung abgeleiteten strukturellen Informationen und generativen Stilrepräsentationen ermöglichte. Durch eine merkmalsbasierte Fusion mittels Cross-Attention verbesserte der CAFFM sowohl die strukturelle Genauigkeit als auch die künstlerische Authentizität, wobei langreichweitige Beziehungen zwischen kulturellen Motiven erhalten blieben.

Abbildung 6 zeigt den Vergleich der Segmentierungsgenauigkeit zwischen dem vorgeschlagenen SegCycle-SPADE-Framework und bestehenden Methoden auf den Datensätzen Miao Batik und WikiArt. Traditionelle Segmentierungsansätze wie U-Net und DeepLabV3+ erzielten aufgrund ihrer Fähigkeit, räumliche Darstellungen zu lernen, konkurrenzfähige Ergebnisse. Pix2Pix und CycleGAN hingegen wiesen eine geringere Segmentierungsgenauigkeit auf, da sie nicht speziell für Segmentierungsaufgaben konzipiert wurden. Das vorgeschlagene SegCycle-SPADE-Framework erreichte auf beiden Datensätzen die höchste Segmentierungsgenauigkeit, was auf die Integration von SegFormer-B2 und der auf CAFFM basierenden Merkmalsverbesserung zurückzuführen ist.

Diagramm zur Segmentierungsgenauigkeit; Vergleich der Methoden U-Net, DeepLabV3+, Pix2Pix, CycleGAN und SegCycle-SPADE.
Abbildung 6. Vergleich der Segmentierungsgenauigkeit verschiedener Methoden. Vergleich der Segmentierungsgenauigkeit, erzielt mit U-Net, DeepLabV3+, Pix2Pix, CycleGAN und dem vorgeschlagenen SegCycle-SPADE-Framework, anhand der Datensätze Miao Batik und WikiArt. Die Ergebnisse werden als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) angegeben. Die Fehlerbalken entsprechen einer Standardabweichung. Höhere Werte zeigen eine verbesserte Segmentierungsleistung an. Das vorgeschlagene SegCycle-SPADE-Framework erreichte bei beiden Datensätzen die höchste Segmentierungsgenauigkeit. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 7 zeigt den IoU-Vergleich zwischen den evaluierten Methoden. U-Net und DeepLabV3+ erzielten eine hohe Überlappungsleistung aufgrund ihrer auf Segmentierung ausgerichteten Architekturen. Im Gegensatz dazu lieferten Pix2Pix und CycleGAN niedrigere IoU-Werte, da ihr primäres Ziel die Bildübersetzung und nicht die semantische Segmentierung ist. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte die höchsten IoU-Werte auf beiden Datensätzen, was auf eine verbesserte Lokalisierung und Erhaltung der kulturellen Motivbereiche hinweist.

Vergleich der IoU-Score, Balkendiagramm; Segmentierungsverfahren im Vergleich mit Miao Batik, WikiArt-Datensätzen; Mittelwert ± SD.
Abbildung 7. Vergleich der Intersection-over-Union- (IoU-) Scores für die Segmentierung kultureller Motive. Vergleich der IoU-Leistung verschiedener Segmentierungsverfahren anhand der Datensätze Miao Batik und WikiArt. Die Ergebnisse werden als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) angegeben. Die Fehlerbalken repräsentieren eine Standardabweichung. Höhere IoU-Werte zeigen eine bessere Übereinstimmung zwischen den vorhergesagten und den Referenz-Motivbereichen sowie eine verbesserte Erhaltung der Motivgrenzen an. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte auf beiden Datensätzen die höchsten IoU-Scores. Klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 8 zeigt den Vergleich des Dice-Ähnlichkeitskoeffizienten. Der Dice-Koeffizient misst die Überschneidung zwischen vorhergesagten Segmentierungsmasken und den tatsächlichen Motivbereichen. Herkömmliche Segmentierungsansätze erzielten relativ hohe Dice-Werte, da sie effektiv räumliche Strukturen lernen. Das vorgeschlagene SegCycle-SPADE-Framework erreichte jedoch die höchsten Dice-Werte auf beiden Datensätzen, was eine verbesserte Konsistenz der Segmentierung und eine bessere Erhaltung der Motive belegt.

Dice-Koeffizienten-Diagramm für die Motivsegmentierung; Methoden: U-Net, DeepLabV3+, Pix2Pix, CycleGAN.
Abbildung 8. Vergleich des Dice-Koeffizienten für die kulturelle Motivsegmentierung. Vergleich der Dice-Koeffizientenwerte, die mit verschiedenen Segmentierungsansätzen auf den Datensätzen Miao Batik und WikiArt erzielt wurden. Der Dice-Koeffizient bewertet die Überschneidung zwischen vorhergesagten Segmentierungsmasken und Referenzmasken, wobei höhere Werte eine verbesserte Segmentierungsleistung und genauere Identifizierung von Motivbereichen anzeigen. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte in beiden Datensätzen die höchsten Dice-Koeffizientenwerte. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 9 zeigt den SSIM-Vergleich zwischen rekonstruierten kulturellen Mustern. GAN-basierte Verfahren wie Pix2Pix, CycleGAN und StyleGAN erzielten höhere SSIM-Werte als herkömmliche Segmentierungsverfahren, da sie speziell für die Bildgenerierung entwickelt wurden. Dennoch erreichte das vorgeschlagene SegCycle-SPADE-Framework die höchsten SSIM-Werte auf beiden Datensätzen, was auf eine überlegene Erhaltung struktureller Details und künstlerischer Kohärenz hinweist. Balkendiagramm des strukturellen Ähnlichkeitsvergleichs; SSIM-Werte für Pix2Pix, CycleGAN usw. auf Datensätzen.

Abbildung 9. Vergleich des Structural Similarity Index (SSIM). Vergleich der Structural Similarity Index (SSIM)-Werte, die mit verschiedenen Rekonstruktionsmethoden auf den Datensätzen Miao Batik und WikiArt erzielt wurden. Die Ergebnisse werden als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) angegeben. Die Fehlerbalken zeigen eine Standardabweichung an. Höhere SSIM-Werte deuten auf eine größere strukturelle Ähnlichkeit zwischen den rekonstruierten und den Referenzmustern hin. Der vorgeschlagene SegCycle-SPADE-Ansatz erzielte in beiden Datensätzen die höchsten SSIM-Werte. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

FID wurde verwendet, um die Realitätsnähe und die Verteilungsähnlichkeit generierter künstlerischer Muster zu bewerten. Die FID-Berechnung erfolgte mithilfe eines vortrainierten Inception-v3-Netzwerks, wobei Merkmalsvektoren aus der pool3-Schicht extrahiert wurden, was zu 2048-dimensionalen Merkmalsdarstellungen führte. Vor der Merkmalsextraktion wurden generierte und Referenzbilder mithilfe bilinearer Interpolation auf 299 × 299 Pixel skaliert und gemäß dem standardmäßigen Inception-v3-Preprocessing-Protokoll normalisiert. Die FID wurde anhand der aus dem unabhängigen Testdatensatz extrahierten Merkmalsverteilungen berechnet. Die Mittelwert- und Kovarianzstatistiken wurden aus den Merkmalseinbettungen geschätzt und in der standardmäßigen FID-Formulierung verwendet.

Wie in Tabelle 4 gezeigt, erzielten herkömmliche Ansätze zur Bildgenerierung wie Pix2Pix und CycleGAN relativ hohe FID-Werte, da ihnen eine explizite strukturelle Steuerung fehlte. StyleGAN und AttentionGAN erreichten niedrigere FID-Werte durch verbesserte Fähigkeiten zum Lernen von Merkmalen. Das vorgeschlagene SegCycle-SPADE-Framework erzielte jedoch die niedrigsten FID-Werte auf beiden Datensätzen und zeigte damit überlegene Bildrealität, stilistische Konsistenz und Erhaltung kultureller Motive.

Methode	Miao Batik-Datensatz (FID)	WikiArt-Datensatz (FID)
Pix2Pix	48,6	52,3
CycleGAN	42,8	46,5
StyleGAN	39,7	43,1
AttentionGAN	36,9	40,4
SegCycle-SPADE (vorgeschlagen)	28,5	31,2

Tabelle 4: Frechet-Inception-Distanz (FID)-Ergebnisse für die Rekonstruktion kultureller Muster. Vergleich der Frechet-Inception-Distanz (FID)-Werte, die vom vorgeschlagenen SegCycle-SPADE-Framework und von baseline-generativen Modellen auf den Datensätzen Miao Batik und WikiArt erzielt wurden. Niedrigere FID-Werte weisen auf eine größere Ähnlichkeit zwischen den Merkmalsverteilungen generierter und realer Bilder hin und spiegeln somit eine verbesserte visuelle Realitätstreue bei der Rekonstruktion kultureller Muster wider.

Abbildung 10 vergleicht die Rekonstruktionsqualität, die mit verschiedenen Methoden erreicht wurde. Die Rekonstruktionsqualität (%) wurde berechnet, indem der SSIM zwischen dem rekonstruierten Bild und dem entsprechenden Referenzbild in eine prozentuale Skala umgewandelt wurde (SSIM × 100). Höhere Prozentwerte weisen auf eine größere strukturelle Treue und visuelle Ähnlichkeit zum ursprünglichen kulturellen Motiv hin. Herkömmliche generative Modelle wie Pix2Pix und CycleGAN erzielten eine moderate Rekonstruktionsleistung. Fortgeschrittenere Architekturen, darunter StyleGAN und AttentionGAN, erreichten eine verbesserte Rekonstruktionsqualität aufgrund ihrer erweiterten Fähigkeiten zum Lernen von Merkmalen. Das vorgeschlagene SegCycle-SPADE-Framework erzielte jedoch die höchste Rekonstruktionsqualität, da es semantische Segmentierungsanleitung, Merkmalsfusion mittels Cross-Attention, Rekonstruktionslernen und künstlerische Synthese integriert.

Vergleich des Rekonstruktionsqualitätsdiagramms; Methoden: Pix2Pix, CycleGAN, StyleGAN, AttentionGAN, SegCycle-SPADE.
Abbildung 10. Vergleich der Qualität der Musterrekonstruktion. Vergleich der mit Pix2Pix, CycleGAN, StyleGAN, AttentionGAN und dem vorgeschlagenen SegCycle-SPADE-Framework erzielten Rekonstruktionsqualität anhand der Datensätze Miao Batik und WikiArt. Die Ergebnisse werden als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) angegeben. Die Fehlerbalken zeigen eine Standardabweichung an. Höhere Werte deuten auf eine verbesserte Erhaltung struktureller Details, semantischer Konsistenz und visueller Genauigkeit hin. Das vorgeschlagene SegCycle-SPADE-Framework erzielte bei beiden Datensätzen die höchsten Bewertungen hinsichtlich der Rekonstruktionsqualität. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Der PSNR-Wert wurde verwendet, um die Rekonstruktionsgenauigkeit durch Messung der Ähnlichkeit auf Pixel-Ebene zwischen rekonstruierten Bildern und den entsprechenden Referenzbildern zu bewerten. Der PSNR-Wert wurde für jedes rekonstruierte Bild und das entsprechende ursprüngliche Miao-Batik-Bild als Referenz berechnet. Höhere PSNR-Werte deuten auf geringere Rekonstruktionsfehler hin. Wie in Tabelle 5 dargestellt, erreichten Pix2Pix und CycleGAN moderate PSNR-Werte, da sie Muster ohne explizite strukturelle Vorgaben rekonstruierten. StyleGAN und AttentionGAN erzielten durch tiefere Merkmalslernverfahren höhere PSNR-Werte. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte in beiden Datensätzen die höchsten PSNR-Werte und zeigte damit eine überlegene Rekonstruktionsgenauigkeit sowie eine bessere Erhaltung der kulturellen Motivstrukturen.

Methode	Miao Batik-Datensatz (PSNR, dB)	WikiArt-Datensatz (PSNR, dB)
Pix2Pix	25,8	24,6
CycleGAN	27,3	26,1
StyleGAN	28,7	27,5
AttentionGAN	29,9	28,6
SegCycle-SPADE (vorgeschlagen)	32,4	31,2

Tabelle 5: Ergebnisse des Spitzenwert-zu-Rausch-Verhältnisses (PSNR) für die Rekonstruktion kultureller Muster. Vergleich der vom vorgeschlagenen SegCycle-SPADE-Framework und den Baseline-Methoden auf den Datensätzen Miao Batik und WikiArt erzielten Werte des Spitzenwert-zu-Rausch-Verhältnisses (PSNR). Höhere PSNR-Werte weisen auf eine verbesserte Rekonstruktionsgenauigkeit und geringere Verzerrungen im Vergleich zu den entsprechenden Referenzbildern hin.

Abbildung 11 veranschaulicht das Konvergenzverhalten des vorgeschlagenen SegCycle-SPADE-Frameworks während des Trainings. Die Verlustkurven stellen die mittleren Trainingsverluste dar, die über fünf unabhängige Trainingsserien gemittelt wurden. Um stochastische Schwankungen zu reduzieren und eine robustere Darstellung der Trainingskonvergenz zu erhalten, wurden die Verlustwerte in jeder Epoche über alle Läufe hinweg gemittelt. Zu Beginn des Trainings waren die Verlustwerte relativ hoch, da das Modell noch dabei war, Merkmalsdarstellungen aus den Eingabedaten zu lernen. Im weiteren Verlauf des Trainings nahmen alle Verlustkomponenten schrittweise ab und stabilisierten sich, was auf eine erfolgreiche Optimierung der Ziele in Bezug auf Segmentierung, Rekonstruktion und künstlerische Synthese hinweist. Das beobachtete Konvergenzverhalten zeigt die Wirksamkeit, Stabilität und Reproduzierbarkeit des vorgeschlagenen Frameworks während des Trainingsprozesses.

Trainingskonvergenzdiagramm, SegCycle-SPADE-Framework. Verlust gegenüber Epochen; L_total, L_seg, L_G, L_D.
Abbildung 11. Trainingskonvergenz des vorgeschlagenen SegCycle-SPADE-Frameworks. Verlauf der Trainingsverlustkurven des vorgeschlagenen SegCycle-SPADE-Frameworks über 100 Trainingsepochen, gemittelt über fünf unabhängige Trainingsdurchläufe (n = 5). Die Abbildung zeigt die Entwicklung des Gesamtverlusts (LTotal), des Segmentierungsverlusts (LSeg), des Generatorverlusts (LG) und des Diskriminatorverlusts (LD) während des Trainings. Die schrittweise Abnahme und anschließende Stabilisierung aller Verlustkomponenten weist auf eine erfolgreiche Konvergenz und stabile Optimierung des vorgeschlagenen Frameworks hin. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Auswertung der Einzelkomponenten
Um den Beitrag jeder Komponente innerhalb des vorgeschlagenen SegCycle-SPADE-Frameworks zu bewerten, wurde eine Auswertung der Einzelkomponenten anhand mehrerer kontrollierter Modellkonfigurationen durchgeführt. Die Ergebnisse sind in Tabelle 6 und 7 zusammengefasst.

Modellkonfiguration	Segmentierungsgenauigkeit (%)	IoU	SSIM
Nur SegFormer	87,3	0,76	0,82
SegFormer + CAFFM	89,6	0,79	0,86
SegFormer + CAFFM + CycleGAN	91,4	0,82	0,89
SegFormer + CAFFM + CycleGAN + SPADE (vorgeschlagen)	93,8	0,86	0,93

Tabelle 6: Ablationsstudie der SegCycle-SPADE-Komponenten. Leistungsvergleich schrittweise verbesserter Modellkonfigurationen zur Bewertung des Beitrags einzelner Framework-Komponenten. Die Studie untersucht die Auswirkungen der semantischen Segmentierung, des Cross-Attention Cultural Feature Fusion Modules (CAFFM), der CycleGAN-basierten Rekonstruktion und der SPADE-basierten künstlerischen Synthese auf die Segmentierungsgenauigkeit, den Intersection over Union (IoU) und den Structural Similarity Index (SSIM). Höhere Werte weisen auf eine verbesserte Motivsegmentierung, Rekonstruktionsqualität und strukturelle Erhaltung hin.

Variante	IoU (%)	Dice (%)	SSIM	PSNR (dB)	FID ↓
Nur SegFormer	84,2 ± 0,4	88,5 ± 0,3	0,82 ± 0,01	24,8 ± 0,2	31,8 ± 0,6
SegFormer + CycleGAN	86,7 ± 0,3	90,2 ± 0,2	0,85 ± 0,01	26,3 ± 0,2	27,5 ± 0,5
SegFormer + SPADE	87,0 ± 0,3	90,5 ± 0,2	0,88 ± 0,01	27,8 ± 0,2	23,4 ± 0,4
SegFormer + CAFFM	90,0 ± 0,2	93,1 ± 0,2	0,90 ± 0,01	29,6 ± 0,1	20,3 ± 0,3
SegCycle-SPADE (Vollständiges Modell)	93,0 ± 0,2	95,4 ± 0,1	0,92 ± 0,01	31,2 ± 0,1	17,6 ± 0,2

Tabelle 7: Komponentenbeitragsanalyse des vorgeschlagenen SegCycle-SPADE-Frameworks. Leistungsvergleich einzelner Framework-Varianten zur Bewertung des Beitrags von CAFFM, CycleGAN, SPADE und der vollständigen SegCycle-SPADE-Architektur. Die Ergebnisse werden angegeben mittels Intersection over Union (IoU), Dice-Koeffizient, Strukturähnlichkeitsindex (SSIM), Peak Signal-to-Noise Ratio (PSNR) und Frechet Inception Distance (FID). Höhere IoU-, Dice-, SSIM- und PSNR-Werte weisen auf eine verbesserte Segmentierungs- und Rekonstruktionsqualität hin, während niedrigere FID-Werte auf eine größere visuelle Realität der erzeugten kulturellen Muster hindeuten.

Tabelle 6 bewertet den kumulativen Beitrag der wichtigsten Framework-Komponenten anhand von vier Konfigurationen: (i) nur SegFormer, (ii) SegFormer + CAFFM, (iii) SegFormer + CAFFM + CycleGAN und (iv) SegFormer + CAFFM + CycleGAN + SPADE (vorgeschlagenes Framework). Das Baseline-SegFormer-Modell erreichte eine Segmentierungsgenauigkeit von 87,3 %, einen IoU-Wert von 0,76 und einen SSIM-Wert von 0,82. Die Integration des CAFFM-Moduls verbesserte die Leistung in allen Bewertungsmetriken und erhöhte die Segmentierungsgenauigkeit auf 89,6 %, den IoU-Wert auf 0,79 und den SSIM-Wert auf 0,86. Die Hinzunahme von CycleGAN verbesserte die Fähigkeit zur strukturellen Rekonstruktion weiter und führte zu einem IoU-Wert von 0,82 und einem SSIM-Wert von 0,89. Das vollständige SegCycle-SPADE-Framework erzielte die beste Gesamtleistung mit einer Segmentierungsgenauigkeit von 93,8 %, einem IoU-Wert von 0,86 und einem SSIM-Wert von 0,93. Diese Ergebnisse zeigen, dass jeder Bestandteil schrittweise zu einer verbesserten Segmentierungsgenauigkeit, strukturellen Erhaltung und Bildrekonstruktionsqualität beiträgt.

Tabelle 7 untersucht weitergehend den Beitrag einzelner Framework-Komponenten anhand von fünf Modellvarianten: (i) nur SegFormer, (ii) SegFormer + CycleGAN, (iii) SegFormer + SPADE, (iv) SegFormer + CAFFM und (v) das vollständige Modell, das SegFormer, CAFFM, CycleGAN, SPADE und den Motiv-Erhaltungsverlust umfasst. Die Leistung wurde anhand der Metriken IoU, Dice-Koeffizient, SSIM, PSNR und FID bewertet.

Die Baseline-Konfiguration mit ausschließlich SegFormer erreichte einen IoU-Wert von 84,2 %, einen Dice-Koeffizienten von 88,5 %, einen SSIM-Wert von 0,82, einen PSNR-Wert von 24,8 dB und einen FID-Score von 31,8. Durch die Hinzunahme von CycleGAN verbesserte sich die Rekonstruktionsqualität und der FID-Score sank auf 27,5, was auf eine erhöhte Bildrealität hindeutet. Die Einbindung von SPADE führte zu weiteren Verbesserungen der strukturellen Ähnlichkeit und der Bildqualität, wodurch sich der SSIM-Wert auf 0,88 und der FID-Score auf 23,4 erhöhte. Die Integration des vorgeschlagenen CAFFM-Moduls bewirkte deutliche Steigerungen bei allen Metriken, wobei sich der IoU-Wert auf 90,0 %, der Dice-Koeffizient auf 93,1 %, der SSIM-Wert auf 0,90 und der PSNR-Wert auf 29,6 dB erhöhten, während der FID-Score auf 20,3 sank. Das vollständige Modell, das zusätzlich den Motiv-Erhaltungsverlust beinhaltet, erzielte die beste Gesamtleistung mit einem IoU-Wert von 93,0 %, einem Dice-Koeffizienten von 95,4 %, einem SSIM-Wert von 0,92, einem PSNR-Wert von 31,2 dB und einem FID-Score von 17,6.

Tabelle 8 zeigt einen vergleichenden Überblick über repräsentative Deep-Learning-Ansätze, die zur Rekonstruktion und Bewahrung kultureller Muster verwendet werden. Herkömmliche, auf CNNs basierende Methoden ermöglichen eine effektive Lernung lokaler Merkmale und eine gute Segmentierungsleistung, haben jedoch häufig Schwierigkeiten, komplexe Motivstrukturen beizubehalten, da sie nur begrenzt langreichweitige Abhängigkeiten modellieren können. GAN-basierte Ansätze verbessern die Bildsynthese und Stilübertragung, können jedoch unter semantischen Inkonsistenzen und dem Verlust feiner struktureller Details leiden. Transformer-basierte Verfahren verbessern das globale Kontextverständnis, weisen jedoch in der Regel keine generativen Rekonstruktionsfähigkeiten auf, während diffusionsbasierte Methoden hohe visuelle Realitätstreue bieten, allerdings mit erhöhtem rechentechnischem Aufwand verbunden sind. Hybride Transformer-GAN-Ansätze beheben diese Einschränkungen teilweise, indem sie Mechanismen zur Merkmalsextraktion und Bildgenerierung kombinieren. Im Gegensatz dazu integriert der vorgeschlagene SegCycle-SPADE-Ansatz transformerbasierte Segmentierung, cross-attention-basierte Merkmalsfusion, generative Rekonstruktion und segmentierungsgesteuerte künstlerische Synthese in einer einheitlichen Architektur, wodurch die strukturelle Genauigkeit, semantische Konsistenz und die Bewahrung kultureller Motive verbessert werden. Die Übersicht der Vergleichsergebnisse ist in Tabelle 8 zusammengefasst.

Ansatz	Kernmethodik	Stärken	Begrenzungen	Relevanz für das kulturelle Erbe
CNN-basierte Methoden (z. B. U-Net, DeepLabV3+)	Faltungsbasierte Merkmalsextraktion und semantische Segmentierung	Effektives Lernen lokaler Merkmale und genaue Segmentierung	Begrenzte Modellierung langreichweitiger Abhängigkeiten; Schwierigkeiten bei der Erhaltung komplexer Motivstrukturen	Geeignet zur Motivsegmentierung, jedoch weniger wirksam für künstlerische Rekonstruktion
GAN-basierte Methoden (z. B. Pix2Pix, CycleGAN)	Adversarielle Bildgenerierung und Bild-zu-Bild-Übersetzung	Erzeugung hochwertiger Bilder und Stilübertragung	Instabile Trainingseigenschaften; semantische Inkonsistenzen; potenzieller Verlust feiner struktureller Details	Nützlich zur Musterrestaurierung, jedoch möglicherweise ungenaue Wiedergabe kultureller Motive
Transformatorbasierte Methoden	Selbst-Attention und Modellierung des globalen Kontexts	Erfasst langreichweitige Abhängigkeiten und komplexe visuelle Beziehungen	Hoher Rechenaufwand; erfordert große Trainingsdatensätze	Effektiv zur Analyse komplexer Muster, jedoch begrenzte generative Fähigkeiten bei alleiniger Verwendung
Diffusionsbasierte Methoden	Iterative, auf Rauschunterdrückung basierende Bildgenerierung	Hohe visuelle Realitätstreue und Bildvielfalt	Langsame Inferenzgeschwindigkeit; hohe rechnerische Anforderungen; begrenzte strukturelle Kontrolle	Vielversprechend für die Generierung von Kulturerbe-Bildern, jedoch rechenintensiv
Hybride Transformator-GAN-Methoden	Kombination transformatorbasierter Merkmalsextraktion mit GAN-basierter Generierung	Verbesserte Repräsentation globaler Merkmale und Bildqualität	Mangeln oft an expliziter semantischer Steuerung zur Motiverhaltung	Verbessern die Generierungsqualität, sind jedoch nicht speziell für kulturelle Erbemotive konzipiert
Vorgeschlagener SegCycle-SPADE	SegFormer + CAFFM + CycleGAN + SPADE	Transformatorbasierte Segmentierung, attentiongesteuerte Merkmalsfusion, semantische Konsistenz, Motiverhaltung und steuerbare künstlerische Rekonstruktion	Höhere rechnerische Komplexität im Vergleich zu rein CNN-basierten Ansätzen	Speziell zur Rekonstruktion und Erhaltung kultureller Erbemuster entwickelt, mit verbesserter struktureller Genauigkeit und semantischer Konsistenz

Tabelle 8: Vergleich repräsentativer Deep-Learning-Ansätze zur Rekonstruktion und Bewahrung kultureller Muster. Qualitativer Vergleich repräsentativer Deep-Learning-Ansätze, die für die Bildsegmentierung, Musterrekonstruktion, Stilgenerierung und Bewahrung des kulturellen Erbes verwendet werden. Die Tabelle fasst die Kernmethodik, Stärken, Grenzen und Anwendbarkeit jedes Ansatzes zusammen und verdeutlicht, wie der vorgeschlagene SegCycle-SPADE- Rahmen semantische Segmentierung, Merkmalsfusion, Rekonstruktion und Stilsynthese kombiniert, um Herausforderungen im Zusammenhang mit der strukturellen Bewahrung und semantischen Konsistenz bei kulturellen Mustern zu bewältigen.

Die beobachteten Verbesserungen zeigen, dass das CAFFM-Modul die Interaktion zwischen aus der Segmentierung abgeleiteten strukturellen Merkmalen und künstlerischen Stildarstellungen durch eine merkmalsbasierte Fusion mittels Cross-Attention effektiv verbessert. Darüber hinaus trägt der Motiv-Erhaltungsverlust dazu bei, kulturell bedeutende Motivstrukturen während der Rekonstruktion und künstlerischen Synthese zu bewahren, was zu einer verbesserten Segmentierungskonsistenz, strukturellen Genauigkeit und visuellen Realität führt. Insgesamt bestätigen die Ablationsstudien, dass die Kombination aus SegFormer-B2, CAFFM, CycleGAN, SPADE und dem Motiv-Erhaltungsverlust für die überlegene Leistung des vorgeschlagenen SegCycle-SPADE-Frameworks verantwortlich ist.

Datenverfügbarkeit:
Der für das künstlerische Stil-Lernen verwendete WikiArt-Datensatz ist öffentlich über das Kaggle WikiArt-Repository verfügbar (https://www.kaggle.com/datasets/steubk/wikiart). Der in dieser Studie verwendete Miao-Batik-Datensatz ist öffentlich über Zenodo zugänglich (https://doi.org/10.5281/zenodo.20807658). Die verarbeiteten Datensätze, Segmentierungsmasken, vortrainierten Modellgewichte, generierten Ausgaben und Python-Implementierungsdateien, die mit dem vorgeschlagenen SegCycle-SPADE-Framework verbunden sind, sind ebenfalls über dasselbe Zenodo-Repository erhältlich.

ZUSÄTZLICHE DATEI:
Zusätzliche Datei 1. Algorithmus 1: Implementierungsablauf des vorgeschlagenen SegCycle-SPADE-Frameworks. Schrittweiser Pseudocode, der die vollständige Implementierungspipeline des vorgeschlagenen SegCycle-SPADE-Frameworks beschreibt, einschließlich Laden des Datensatzes, Vorverarbeitung, semantische Segmentierung mittels SegFormer-B2, Merkmalsfusion mittels des Cross-Attention Cultural Feature Fusion Module (CAFFM), Rekonstruktion kultureller Motive mittels CycleGAN, künstlerische Stilsynthese mittels SPADE, Modelltraining, Validierung, Auswahl von Kontrollpunkten und abschließende Leistungsbewertung. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Konservierung und digitale Rekonstruktion von ICH-Mustern hat in den letzten Jahren zunehmend an Bedeutung gewonnen, aufgrund des allmählichen Verlusts traditioneller Handwerkskunst. Frühere Studien haben versucht, den Verlust des kulturellen Erbes mithilfe DL-basierter Bildverarbeitungstechniken entgegenzuwirken. Beispielsweise schlugen Quan et al.³² einen Rahmen für den Erhalt des kulturellen Erbes basierend auf Wissensgraphen und DL für die batikartige Miao-Kultur in Guizhou vor. Obwohl sich diese Studie auf die digitale Rekonstruktion kultureller Muster konzentrierte, stützte sich ihre Methodik hauptsächlich auf Wissensgraph-Darstellungen. Ebenso schlugen Fu und Razmjooy¹⁶ einen auf dem Feature-Pyramid-Netzwerk (FPN) basierenden Ansatz zur Verbesserung und Wiederherstellung von Bildern des kulturellen Erbes vor. Obwohl diese Methode eine effektive Merkmalsextraktion für die Bildverbesserung ermöglichte, integrierte sie weder Segmentierungsanleitungen noch generative Rekonstruktionsmechanismen für unvollständige kulturelle Muster. Demgegenüber kombiniert der vorgeschlagene SegCycle-SPADE-Ansatz mehrere DL-Komponenten, um diese Herausforderungen zu bewältigen. Zunächst wird eine semantische Segmentierung mittels des SegFormer-Modells eingesetzt, um Motivbereiche innerhalb kultureller Muster präzise zu identifizieren. Anschließend verbessert ein auf CAFFM basierendes Feature-Enhancement-Modul die Merkmalsdarstellungen für fein strukturierte Motivarchitekturen. Ein CycleGAN-Rekonstruktionsmodul wird dann verwendet, um fehlende oder unvollständige Bereiche innerhalb kultureller Muster durch adversäres Lernen zu rekonstruieren. Schließlich führt ein SPADE-Modul eine stilistische Verbesserung durch, während es die strukturelle Ausrichtung an den Segmentierungskarten beibehält. Bestehende Methoden basierend auf CNNs, GANs, Transformatoren und Diffusionsmodellen¹⁷^,¹⁹^,²⁰^,²¹^,²²^,²³^,²⁴^,²⁵^,³⁰^,³⁴ bieten jeweils einzigartige Vorteile; weisen jedoch auch Einschränkungen beim Erhalt der semantischen Konsistenz, der Beibehaltung struktureller Merkmale oder der Erzielung rechnerischer Effizienz auf, wie in Tabelle 8 zusammengefasst. Die vorgeschlagene SegCycle-SPADE-Architektur kombiniert die Stärken der SegFormer-basierten Segmentierung, der Merkmalsfusion mittels Cross-Attention, der CycleGAN-Rekonstruktion und der SPADE-gesteuerten Synthese und behebt dabei diese Einschränkungen. Folglich erreicht das Framework eine verbesserte Rekonstruktionsqualität und eine stärkere Bewahrung kulturell bedeutender Motive.

Trotz der ermutigenden Leistung weist der vorgeschlagene SegCycle-SPADE-Ansatz weiterhin mehrere Einschränkungen auf. Erstens wurde die Bewertung ausschließlich anhand der Datensätze Miao Batik und WikiArt durchgeführt, was die Übertragbarkeit des Frameworks auf andere Bereiche des kulturellen Erbes einschränken könnte. Zweitens kann die Bereitstellung auf ressourcenbeschränkten Plattformen schwierig sein, da die Integration von SegFormer, CAFFM, CycleGAN und SPADE die rechnerische Komplexität und den Speicherbedarf erhöht. Drittens hängt die Segmentierungsleistung stark von der Qualität und Konsistenz der Motivannotationen ab, und Annotationen mit Verzerrungen könnten die Erhaltung kulturell bedeutsamer Strukturen beeinträchtigen. Schließlich könnten aufgrund der Evaluierung des Frameworks an nur zwei Datensätzen zusätzliche Trainingsdaten und anwendungsspezifische Anpassungen erforderlich sein, um die Anwendbarkeit über verschiedene Sammlungen des kulturellen Erbes hinweg sicherzustellen. Zukünftige Studien sollten daher robustere Trainingsstrategien, leichtgewichtigere Architekturen, verbesserte Annotationsverfahren sowie Querbewertungen unter Verwendung weiterer Datensätze aus dem Bereich des kulturellen Erbes untersuchen.

Die Skalierbarkeit des SegCycle-SPADE-Frameworks auf größere und vielfältigere Kulturerbedatensätze wird ein zentrales Thema zukünftiger Forschung darstellen. Die kulturübergreifende Bewertung von Erbe-Motiven aus verschiedenen Regionen und künstlerischen Traditionen wird untersucht, um die Generalisierungsfähigkeit des Modells und dessen kulturelle Anpassungsfähigkeit zu verbessern. Darüber hinaus könnten multimodale Erweiterungen, die textuelle Beschreibungen, historische Aufzeichnungen und kulturelle Metadaten einbeziehen, während der Rekonstruktion stärkere semantische Unterstützung bieten. Das Framework könnte ebenfalls erweitert werden, um die dreidimensionale Rekonstruktion von Kulturerbe zu unterstützen, indem bildbasierte Rekonstruktion mit 3D-Modellierungstechniken kombiniert wird. Außerdem wird die Implementierung in digitalen Archiven, Museen, virtuellen Ausstellungen und Plattformen zur Kulturerbeerhaltung erforscht, um praktische Anwendungen der KI-gestützten Konservierung und Dokumentation von Kulturerbe zu ermöglichen. Um die Interpretierbarkeit und kulturelle Authentizität weiter zu verbessern, wird zukünftige Arbeit die Integration von kulturellen Wissensgraphen, ethnographischen Dokumentationen, historischen Metadaten und von Experten kuratierten Wissensdatenbanken untersuchen, um eine kulturell fundierte Analyse und Rekonstruktion von Motiven zu ermöglichen³².

Bei der Implementierung des vorgeschlagenen SegCycle-SPADE-Frameworks sollten mehrere praktische Aspekte berücksichtigt werden. Während des CycleGAN-Trainings kann eine instabile adversarielle Konvergenz auftreten, wenn die Verluste von Generator und Diskriminator stark aus dem Gleichgewicht geraten. In solchen Fällen kann die Stabilität des Trainings durch eine Verringerung der Lernrate, eine Erhöhung des Gewichts des zyklischen Konsistenzverlusts oder eine Überwachung der Dominanz des Diskriminators verbessert werden. Ein Modus-Zusammenbruch (Mode collapse) kann auftreten, wenn der Generator wiederholt visuell ähnliche Ausgaben erzeugt; dieses Problem lässt sich durch ausgewogenes adversariales Training, die Nutzung eines Replay-Puffers und eine sorgfältige Beobachtung der Verlustentwicklung von Generator und Diskriminator verringern. Segmentierungsfehler können außerdem auftreten, wenn kulturelle Motive komplexe Texturen, geringen Kontrast oder unscharfe Grenzen aufweisen. Um dieses Problem zu beheben, sollte die Bildqualität vor dem Training überprüft und die Segmentierungsmasken visuell kontrolliert werden, um eine konsistente Annotation sicherzustellen. Die Einhaltung der empfohlenen Eingabeauflösung und Normalisierungseinstellungen ist ebenfalls wichtig, um eine zuverlässige Leistung des SegFormer-Modells zu erzielen. Eine Instabilität des Trainings kann außerdem durch ungeeignete Lernraten, unzureichende Trainingsdaten oder hardwarebedingte numerische Schwankungen verursacht werden. Um die Reproduzierbarkeit zu verbessern, sollten feste Zufallsseeds für NumPy-, PyTorch-, CUDA- und Datensatz-Mischvorgänge verwendet werden. Zudem sollten bei allen experimentellen Durchläufen derselbe Vorverarbeitungspipeline, dieselben Datensatzpartitionen, Modell-Hyperparameter und Softwareumgebung beibehalten werden. Regelmäßiges Speichern von Zwischenergebnissen (Checkpoints) sowie die Überwachung des Validierungsverlusts werden ebenfalls empfohlen, um Leistungseinbußen zu vermeiden und eine Wiederherstellung nach unterbrochenen Trainingssitzungen zu erleichtern.

Die vorgeschlagene Arbeit leistet einen Beitrag zur theoretischen Weiterentwicklung von KI-basierten Rahmenwerken für die Rekonstruktion des kulturellen Erbes. Herkömmliche Ansätze zur Bildrestaurierung behandeln Bildsegmentierung, Rekonstruktion und Stilerzeugung im Allgemeinen als unabhängige Prozesse¹⁷^,¹⁹^,²⁰^,³⁰. Im Gegensatz dazu schlägt diese Studie ein Rahmenwerk vor, das diese Prozesse durch eine segmentierungsgesteuerte generative Rekonstruktionsstrategie integriert. Dadurch leistet die Studie einen Beitrag zur theoretischen Entwicklung der KI-gestützten Rekonstruktion des kulturellen Erbes, indem sie aufzeigt, wie Segmentierung, Rekonstruktion und Stilerzeugung innerhalb eines einzigen Rahmenwerks vereint werden können. Eine solche Integration ist besonders wichtig für Anwendungen im Bereich des kulturellen Erbes, bei denen die Erhaltung der Motivstruktur und der semantischen Bedeutung entscheidend ist. Aus praktischer Sicht bietet das vorgeschlagene Rahmenwerk eine effektive Lösung für die digitale Bewahrung, Restaurierung und künstlerische Verbesserung traditioneller kultureller Muster. Kulturelle Einrichtungen, Museen und Designer können SegCycle-SPADE nutzen, um Motivbereiche automatisch zu identifizieren, beschädigte oder unvollständige Muster zu rekonstruieren und visuell verbesserte künstlerische Darstellungen traditioneller Designs zu erzeugen. Diese Fähigkeit ist besonders wertvoll für vom Aussterben bedrohte Handwerkstraditionen, wie beispielsweise die Batik-Textilmuster der Miao, bei denen historische Artefakte teilweise beschädigt oder unvollständig sein können. Darüber hinaus kann das Rahmenwerk durch die Einbindung generativer Stilsynthese moderne kulturelle Designanwendungen unterstützen, wie etwa Textildesign, digitale künstlerische Gestaltung und Bildung im Bereich des kulturellen Erbes. Auf diese Weise schließt das vorgeschlagene Rahmenwerk die Lücke zwischen der Bewahrung des kulturellen Erbes und zeitgenössischen kulturellen Designanwendungen.

Trotz der vielversprechenden Ergebnisse, die durch das vorgeschlagene SegCycle-SPADE-Framework erzielt wurden, bestehen dennoch mehrere Einschränkungen. Erstens wurde die Evaluierung ausschließlich anhand der Datensätze Miao Batik und WikiArt durchgeführt, was die Generalisierungsfähigkeit des Frameworks bei der Rekonstruktion anderer Formen kultureller Erbe-Muster beeinträchtigen könnte. Zweitens können die generierten Ausgaben aufgrund der rekonstruktionsbedingten Verwendung GAN-basierter Modelle gelegentlich Artefakte oder unnatürliche Texturen enthalten, insbesondere bei stark komplexen Motivstrukturen. Drittens konzentriert sich das Framework derzeit auf die Rekonstruktion zweidimensionaler Muster, während einige Kulturerbe-Artefakte inhärent dreidimensionale Strukturen aufweisen. Insgesamt zeigen die experimentellen Ergebnisse die Wirksamkeit des vorgeschlagenen SegCycle-SPADE-Frameworks für die künstlerische Rekonstruktion immateriellen Kulturerbes (ICH). Die Kombination aus semantischer Segmentierung basierend auf SegFormer, CAFFM, motifbasierter Rekonstruktion mittels CycleGAN und künstlerischer Synthese basierend auf SPADE führte durchgängig zu verbesserten Metriken hinsichtlich Segmentierung, Rekonstruktion und Bildqualität. Die Ablationsstudien bestätigten zudem den Beitrag der einzelnen Framework-Komponenten und zeigten, dass CAFFM sowie der Motiv-Erhaltungsverlust die strukturelle Treue und visuelle Authentizität deutlich verbesserten. Diese Ergebnisse stützen die zentrale Hypothese, dass eine semantische Segmentierungsgesteuerte Rekonstruktion in Kombination mit einer Cross-Attention-Feature-Fusion in der Lage ist, kulturell bedeutende Motive effektiv zu bewahren und gleichzeitig künstlerisch anspruchsvolle Ausgaben zu generieren. Folglich bietet das vorgeschlagene Framework einen zuverlässigen und reproduzierbaren computergestützten Ansatz zur digitalen Bewahrung, Restaurierung und kreativen Wiederbelebung von ICH-Mustern.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Interessenkonflikt:
Die Autoren erklären, dass kein Wettbewerbsinteresse besteht.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren danken Guangdong Engineering Polytechnic und der South China Normal University für die akademische und institutionelle Unterstützung während der Durchführung dieser Forschung. Diese Forschung wurde durch das Nationale Sozialwissenschafts-Fonds-Generalsprojekt 2023 (Nr. 23BH161) unterstützt, betitelt mit „Digital Regeneration Museum: Forschung zur Aktivierung und Vermittlung chinesischer klassischer Kalligraphie- und Malereikulturgüter“.

Materialien

Liste der in diesem Artikel verwendeten Materialien
Name	Unternehmen	Katalognummer	Kommentare
Adam-Optimierer	PyTorch-Optimierer-Bibliothek	Adam	Optimierungsalgorithmus, der während des Modelltrainings verwendet wird.
CUDA-Toolkit	NVIDIA Corporation	CUDA 11.3	GPU-Beschleunigung für Deep-Learning-Berechnungen.
cuDNN	NVIDIA Corporation	cuDNN 8.2	Bibliothek zur Beschleunigung tiefer neuronaler Netze, die für Training und Inferenz eingesetzt wird.
CycleGAN	University of California, Berkeley / Open Source	Offizielle PyTorch-Implementierung (https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)	Generatives adversariales Netzwerk zur Rekonstruktion kultureller Motive.
ImageNet-Vortrainierte Gewichte	ImageNet / Open Source	mit_b2.pth (ImageNet-1K-Vortrainierter Checkpoint)	Wird verwendet, um den SegFormer-B2-Backbone vor der Feinabstimmung auf dem Miao-Batik-Datensatz zu initialisieren.
Intel-Prozessor	Intel Corporation	Intel Core i7 (11. Generation)	CPU für die Bildvorverarbeitung, Unterstützung des Modelltrainings und Inferenz.
Matplotlib	Matplotlib-Entwicklungsteam	Matplotlib 3.5.1	Visualisierung von Trainingskurven und Evaluierungsergebnissen.
Miao-Batik-Datensatz	Zenodo-Repository	DOI: 10.5281/zenodo.20807658	Kultureller Motiv-Datensatz mit 15.148 Bildern, verwendet für semantische Segmentierung und Musterrekonstruktion.
NumPy	NumPy-Entwickler	NumPy 1.21.5	Numerische Berechnungen und Datensatzverarbeitung.
NVIDIA-GPU	NVIDIA Corporation	NVIDIA RTX 3090 (24 GB VRAM)	Hardwareplattform für Modelltraining und Inferenz.
OpenCV	OpenCV Foundation	OpenCV 4.5.5	Bildvorverarbeitung, Größenänderung, Interpolation und Gaußsche Rauschunterdrückung.
Betriebssystem	Canonical Ltd.	Ubuntu 20.04 LTS	Experimentelle Ausführungsumgebung.
Pillow (PIL)	Python Imaging Library	Pillow 8.4.0	Bildlade- und Bearbeitungsfunktionen.
Python	Python Software Foundation	Python 3.8.10	Programmiersprache für Implementierung und Experimente.
PyTorch	Meta AI	PyTorch 1.10.0	Deep-Learning-Framework für Modelltraining und Inferenz.
Zufallsseed	Experimentelle Einstellung	42	Fester Seed für Datensatzpartitionierung, Modellinitialisierung und experimentelle Reproduzierbarkeit.
Scikit-learn	Scikit-learn-Entwickler	Scikit-learn 1.0.2	Datensatzpartitionierung, statistische Analyse und Evaluierungsmetriken.
Seaborn	Open-Source-Community	Seaborn 0.11.2	Statistische Datenvisualisierung.
SegFormer-B2	NVIDIA Research / Open Source	SegFormer-B2 (MIT-B2-Backbone)	Transformer-basiertes Modell für semantische Segmentierung, verwendet für die Segmentierung kultureller Motive.
Segmentierungsmasken / Annotationen	Miao-Batik-Datensatz	Im Datensatz enthalten	Pixelgenaue semantische Segmentierungsetiketten für Motivklassifizierung und Training.
SPADE	NVIDIA Research / Open Source	Offizielle PyTorch-Implementierung (https://github.com/NVlabs/SPADE)	Segmentierungsgesteuertes Bildsynthesemodell für künstlerische Mustererzeugung.
TorchVision	Meta AI	TorchVision 0.11.1	Bildverarbeitungsfunktionen und Datensatztransformationen für die Verwendung mit PyTorch.
WikiArt-Datensatz	WikiArt	https://www.wikiart.org/	Künstlerischer Stildatensatz mit über 80.000 Kunstwerken aus 27 künstlerischen Stilen, verwendet für Stil-Lernen und -Synthese.

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Huang B, Mo L. SegCycle-SPADE: An end-to-end framework for semantic segmentation-based automated extraction and artistic reconstruction of traditional craft patterns using conditional GAN. PLoS ONE. 2025;20:e0329100.
Yan Z, et al. Digital sustainability of heritage: Exploring indicators affecting the effectiveness of digital dissemination of intangible cultural heritage through qualitative interviews. Sustainability. 2025;17:1593.
Yan Z, et al. Construction of digital dissemination effects evaluation indicator system of traditional techniques of intangible cultural heritage. npj Heritage Science. 2025;13:224.
Imon SS. Intangible cultural heritage as a tourism product in the historic city of Macao. In: Sustainable Management of Historic Settlements in Asia: Role of Intangible Cultural Heritage. Springer Nature Singapore; Singapore. 2025. p.233-240.
Buragohain D, et al. Digitalizing cultural heritage through metaverse applications: Challenges, opportunities, and strategies. Heritage Science. 2024;12:295.
Ma Y. The ghostly ethics of mediatized shaping: Cultural memory creative transformation of Anhui’s ICH in reviving the craftsmanship. Journal of Current Social Issues Studies. 2025;2:240-249.
Wanju T, Wang Z, Tu Y. ICH and e-commerce: Bridging tradition and modernity in cultural creative products. Journal of Economics, Management and Trade. 2025;31:1-8.
Sun L, et al. Research on the redesign of China’s intangible cultural heritage based on sustainable livelihood—The case of Luanzhou shadow play empowering rural development. Sustainability. 2024;16:4555.
Pan S, et al. Constructing a sustainable evaluation framework for AIGC technology in Yixing Zisha pottery: Balancing heritage preservation and innovation. Sustainability. 2025;17:910.
Na Z, Sharul Azim SR. Research on innovative development of Miao embroidery intangible cultural heritage in Guizhou, China based on digital design. Journal of Business and Economic Review. 2024;9:85-94.
Guo S, Canessa A. Ethnic elder poverty: Miao household livelihoods and elderly self-sufficiency practices in Midwest China. Culture, Agriculture, Food and Environment. 2023;45:55-68.
Han D, Cong L. Miao traditional patterns: The origins and design transformation. Visual Studies. 2023;38:425-432.
Dong B, et al. Spatial distribution and tourism competition of intangible cultural heritage: Take Guizhou, China as an example. Heritage Science. 2023;11:64-80.
Chen Z, Ren X, Zhang Z. Cultural heritage as rural economic development: Batik production amongst China’s Miao population. Journal of Rural Studies. 2021;81:182-193.
Zhennan LY, Yahaya SR. An aesthetic study on traditional batik design of Miao ethnicity in China. Kupas Seni. 2021;9:12-25.
Fu X, Razmjooy N. Preserving and enhancing cultural heritage through art design using feature pyramid network optimized by modified builder optimization algorithm. Scientific Reports. 2025;15:42603.
Liu X, Wan J, Wang N. Ancient painting inpainting with regional attention-style transfer and global context perception. Applied Sciences. 2024;14:8777.
Xu Q, Iwasaki M. Image restoration model of wood-structured raw lacquer cultural relics based on diffusion generation network. Journal of Asian Architecture and Building Engineering. 2025:1-19.
Cherian A, Sullivan A. Sem-GAN: Semantically-consistent image-to-image translation [conference presentation]. Presented at: IEEE Winter Conference on Applications of Computer Vision (WACV); 2019. doi: 10.1109/WACV.2019.00196.
Rombach R, et al. High-resolution image synthesis with latent diffusion models [conference presentation]. Presented at: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2022. p.10684-10695. Available from: http://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdf.
Gendy GGH, Nabil S. Diffusion models for image super-resolution: State-of-the-art and future directions. Neurocomputing. 2025;617:128911.
Kazerouni A, et al. Diffusion models in medical imaging: A comprehensive survey. Medical Image Analysis. 2023;88:102846.
Yang L, et al. Diffusion models: A comprehensive survey of methods and applications. ACM Computing Surveys. 2023;56:1-39.
Croitoru FA, Hondru V, Ionescu RT, Shah M. Diffusion models in vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023;45:10850-10869.
Cao H, et al. A survey on generative diffusion models. IEEE Transactions on Knowledge and Data Engineering. 2024;36:2814-2830.
Po R, et al. State of the art on diffusion models for visual computing. Computer Graphics Forum. 2024;43:e15063.
Thampanichwat C, et al. Mindful architecture from text-to-image AI perspectives: A case study of DALL-E, Midjourney, and Stable Diffusion. Buildings. 2025;15:972.
Li W. Enhanced automated art curation using supervised modified CNN for art style classification. Scientific Reports. 2025;15:7319.
Chen C. Algorithm and tool development for creative generation of graphic design of folk houses and ancient buildings integrating cultural and creative elements. Scalable Computing: Practice and Experience. 2024;25:4729-4736.
Liu B, Ji J, Gu L, Jiang Z. An integrated CycleGAN-diffusion approach for realistic image generation [conference presentation]. Presented at: International Conference on Signal Processing and Machine Learning; 2024. p.92-101. doi: 10.1117/12.3027121.
Bao Q, Zhao J, Liu Z, Liang N. AI-assisted inheritance of Qinghua porcelain cultural genes and sustainable design using low-rank adaptation and stable diffusion. Electronics. 2025;14:725.
Quan H, et al. Protection of Guizhou Miao batik culture based on knowledge graph and deep learning. Heritage Science. 2024;12:1-22.
Sun H, et al. HRPGAN: A GAN-based model to generate high-resolution remote sensing images. IOP Conference Series: Earth and Environmental Science. 2020;428:012060.
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. Available from: https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Engineering Deep Learning CAFFM Artistic Reconstruction Intangible Cultural Heritage Patterns End to End Framework

Rekonstruktion und künstlerische Stilsynthese von Mustern des immateriellen Kulturerbes mittels eines Deep-Learning-Frameworks mit semantischer Segmentierungsführung

In diesem Artikel

Zusammenfassung

Zusammenfassung

Einleitung

Protokoll

Ergebnisse

Diskussion

Offenlegungen

Danksagungen

Materialien

Referenzen

Nachdrucke und Genehmigungen

Schlagwörter

Verwandte Artikel