Reconstructie en artistieke stijlsynthese van patronen van immaterieel cultureel erfgoed, gestuurd door semantische segmentatie, met behulp van een deep learning-framework

Zhi Zhan; Guang Luo

doi:10.3791/71577

Onderzoeksartikel

Reconstructie en artistieke stijlsynthese van patronen van immaterieel cultureel erfgoed, gestuurd door semantische segmentatie, met behulp van een deep learning-framework

DOI:

10.3791/71577

⸱

14 augustus 2026

Zhi Zhan¹ , Guang Luo²

¹School of Art and Design, Guangdong Engineering Polytechnic, ²School of Fine Arts, South China Normal University

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit protocol beschrijft een deep learning-workflow voor semantische segmentatie, reconstructie en artistieke stijlsynthese van patronen uit immaterieel cultureel erfgoed, gebruikmakend van transformer-gebaseerde kenmerkextractie, adversariële reconstructie en ruimtelijk adaptieve beeldgeneratie ter ondersteuning van digitale preservering en creatieve erfgoedtoepassingen.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De digitale preservatie en reconstructie van patronen van immaterieel cultureel erfgoed (ICE) hebben toenemende aandacht gekregen door de vooruitgang in beeldsynthesetechnieken op basis van deep learning. Bestaande benaderingen op basis van SegCycle-SPADE hebben potentieel getoond voor de structurele segmentatie en artistieke reconstructie van traditionele ambachtelijke patronen; er blijven echter beperkingen bestaan, waaronder een beperkte diversiteit van datasets, onvoldoende integratie van culturele semantiek en inadequate preservatie van structurele patrooneigenschappen tijdens de reconstructie. Om deze uitdagingen aan te pakken, stelt deze studie een verbeterd SegCycle-SPADE-raamwerk voor voor de semantische segmentatie en artistieke reconstructie van ICE-patroontypen. Een Transformer-gebaseerd segmentatiemodel, SegFormer, wordt ingezet om motiefgrenzen en patroonregio's nauwkeurig te identificeren. Daarnaast wordt een Cross-Attention Cultural Feature Fusion Module geïntroduceerd om cultureel significante motieven te versterken en de kenmerkrepresentatie te verbeteren. Patroontranslatie en reconstructie worden uitgevoerd met CycleGAN, terwijl Spatially-Adaptive Denormalization (SPADE) wordt gebruikt voor artistieke stylesynthese om de semantische consistentie tussen segmentatiekaarten en gegenereerde beelden te behouden. Om de generalisatie van het model en de artistieke diversiteit te verbeteren, is het raamwerk getraind met zowel de Miao Batik culturele motiefdataset als de WikiArt-dataset. Experimentele resultaten tonen aan dat het voorgestelde attention-guided SegCycle-SPADE-raamwerk de segmentatienauwkeurigheid en de prestaties bij de reconstructie van erfgoedpatronen verbetert in vergelijking met bestaande reconstructiemethoden op basis van generative adversarial networks (GAN). Het voorgestelde raamwerk biedt een schaalbare oplossing voor door kunstmatige intelligentie ondersteunde documentatie van cultureel erfgoed, reconstructie en artistieke revitalisering van traditionele patroonontwerpen.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cultureel erfgoed, dat zowel immateriële elementen zoals gebruiken, talen en overtuigingen als materiële elementen zoals kunstwerken, gebouwen en geschreven verslagen omvat, is een fundamentele uiting van de menselijke geschiedenis, creativiteit en identiteit¹. Erfgoedconservering streeft ernaar gemeenschappen in staat te stellen opnieuw contact te leggen met hun oorsprong en stelt toekomstige generaties in staat te profiteren van hun collectieve culturele geheugen. Het bevordert daarnaast intercultureel begrip, waardering voor diverse tradities en gebruiken, en erkenning van verschillende historische narratieven. Deze culturele activa helpen ons de waarden, perspectieven en ervaringen van vorige generaties te begrijpen en dragen bij aan de vorming van hedendaagse sociale identiteiten en culturele continuïteit. De basisprincipes van het behoud van cultureel erfgoed worden geïllustreerd in Figuur 1.

Diagram van het SegCycle-SPADE-framework; bevat SegFormer, CycleGAN en SPADE voor beeldreconstructie.
Figuur 1. Conceptueel overzicht van de reconstructie van patronen van cultureel erfgoed met behulp van het SegCycle-SPADE-framework. Schematische illustratie van de voorgestelde aanpak voor het reconstrueren en verbeteren van patronen van immaterieel cultureel erfgoed. De workflow omvat datasetverzameling uit de Miao Batik- en WikiArt-datasets, beeldvoorbewerking, semantische segmentatie met SegFormer-B2, feature-fusie met de Cross-Attention Cultural Feature Fusion Module (CAFFM), patroonreconstructie met CycleGAN, artistieke stijlsynthese met SPADE en een uiteindelijke evaluatie met segmentatie- en reconstructiemetrieken. De pijlen geven de stroom van gegevens en feature-representaties door het framework aan. Klik hier om een grotere versie van deze figuur te bekijken.

Het collectieve geheugen en het culturele erfgoed van de menselijke samenleving zijn belichaamd in immaterieel cultureel erfgoed (ICE), dat dient als een belangrijk medium voor artistieke expressie en culturele identiteit. ICE staat echter voor aanzienlijke uitdagingen door de effecten van globalisering en digitalisering²^,³^,⁴. Veel bedreigde ICE-praktijken vereisen nieuwe benaderingen voor behoud en ontwikkeling vanwege het afnemende aantal vakbekwame ambachtslieden en de beperkte aanpasbaarheid aan moderne markten⁵^,⁶. Als een belangrijk onderzoeksgebied binnen ICE legt duurzaam ontwerp de nadruk op de geïntegreerde ontwikkeling van cultuur, maatschappij en milieu en biedt het een praktische weg voor het voortdurende behoud van ICE. Door middel van duurzame ontwerpaanpakken kan ICE worden gerevitaliseerd terwijl het zich aanpast aan de behoeften van de hedendaagse samenleving⁷^,⁸.

In deze studie verwijst de term “patronen van immaterieel cultureel erfgoed” naar visuele motiefrepresentaties die onderliggende immateriële culturele waarden communiceren en bewaren. Bijgevolg is het voorgestelde raamwerk erop gericht de culturele informatie die aan deze motieven is gekoppeld te bewaren en te documenteren, terwijl hun visuele vormen worden gereconstrueerd.

Miao-borduurwerk en batik zijn belangrijke vormen van Chinees immaterieel cultureel erfgoed (ICH) en weerspiegelen de geschiedenis, overtuigingen en tradities van de Miao-gemeenschap via symbolische motieven zoals vogels, vlinders en voorouderlijke totems⁹. Deze motieven zijn diep geworteld in rituele kleding en festivalpraktijken en dragen bij aan de lokale culturele en economische ontwikkeling¹⁰^,¹¹. Vooruitgang in digitale technologieën, in het bijzonder kunstmatige intelligentie (AI) en deep learning (DL), heeft nieuwe mogelijkheden gecreëerd voor het behoud, de analyse, de reconstructie en de documentatie van cultureel erfgoed. Guizhou Miao-batik, een van de best bewaard gebleven batiktradities in China, dient als een belangrijk medium voor het overdragen van de culturele kennis, overtuigingen, gewoonten en rituelen van het Miao-volk¹²^,¹³^,¹⁴^,¹⁵^,¹⁶.

Recente studies hebben het potentieel van DL aangetoond voor het behoud van cultureel erfgoed en patroonreconstructie, waarbij een verbeterde segmentatienauwkeurigheid (pixel nauwkeurigheid = 88,6%, gemiddelde intersection over union [IoU] = 78,1%) en reconstructieprestaties werden behaald in vergelijking met U-Net en DeepLabV3+1. Er blijven echter verschillende uitdagingen bestaan. Bestaande benaderingen op basis van generative adversarial networks (GAN) hebben vaak moeite om fijne structurele details in complexe patronen te behouden¹⁷, terwijl een beperkte diversiteit in datasets de generalisatie van modellen over verschillende culturele domeinen beperkt¹⁸. Daarnaast kunnen image-to-image vertalingsmodellen zoals CycleGAN erin falen om de semantische consistentie tussen segmentatiekaarten en gegenereerde beelden te handhaven¹⁹, en kan de afwezigheid van aandachtmechanismen leiden tot het verlies van cultureel significante motiefdetails tijdens de reconstructie²⁰. Daarom is een verbeterd raamwerk nodig dat transformer-gebaseerde segmentatie, aandachtgestuurd kenleren en training met meerdere datasets integreert voor een effectieve reconstructie van ICH-patronen.

Nieuwe mogelijkheden voor het behoud van cultureel erfgoed zijn ontstaan door de digitalisering van Miao-borduurwerk en de snelle vooruitgang van generatieve AI. Diffusiemodellen, een opkomende klasse van diepe generatieve modellen, hebben opmerkelijke prestaties getoond bij computervisietaken dankzij hun krachtige mogelijkheden voor contentgeneratie²¹^,²²^,²³^,²⁴^,²⁵. Tijdens het omgekeerde diffusieproces leert het model geleidelijk om de oorspronkelijke inputgegevens te reconstrueren vanuit ruisige representaties²⁶^,²⁷^,²⁸. Eerdere studies hebben ook de toepassing van driedimensionale reconstructie en computerondersteund ontwerpen (CAD) onderzocht voor het behoud en de verspreiding van cultureel erfgoed.

Hoewel convolutionele neurale netwerken (CNN's) en GAN's goed presteren bij beeldgeneratie en het behoud van kenmerken, kampen ze nog steeds met uitdagingen zoals beperkte receptieve velden, mode collapse en trainingsinstabiliteit²⁹. Transformer-gebaseerde architecturen, zoals SegFormer en Segmenter, blinken uit in het vastleggen van globale context en semantische relaties; ze zijn echter rekenintensief en kunnen moeite hebben met fijnmazige details. Hoewel diffusiemodellen zoals Stable Diffusion sterke mogelijkheden voor beeldgeneratie vertonen, missen ze vaak precieze controle over de structurele en artistieke kenmerken van de gegenereerde ontwerpen. Bovendien maken de meeste bestaande benaderingen gebruik van onafhankelijke trainingsstrategieën die effectieve informatie-uitwisseling en collaboratieve optimalisatie tussen segmentatie- en generatiecomponenten beperken, wat resulteert in een afweging tussen structurele nauwkeurigheid en artistieke authenticiteit³⁰.

Recente diffusiemodellen, zoals latente diffusie en Stable Diffusion, bereiken hoogwaardige beeldsynthese maar vereisen iteratieve ruisonderdrukking, wat leidt tot hogere computationele kosten en langere inferentietijd. Bovendien blijft het behoud van fijne culturele motieven en structurele consistentie uitdagend zonder gespecialiseerde conditioneringsmechanismen. Transformer-gebaseerde generatieve modellen leggen globale contextuele relaties effectief vast, maar vereisen vaak grootschalige datasets en aanzienlijke computationele middelen. In contrast combineert het voorgestelde SegCycle-Spatially Adaptive Denormalization (SegCycle-SPADE) framework SegFormer-gebaseerde segmentatie, cross-attention feature-fusie, CycleGAN-reconstructie en SPADE-gestuurde synthese om expliciete structurele begeleiding te bieden, waardoor het behoud van motieven, de semantische consistentie en de controleerbare reconstructie van culturele erfgoedpatronen worden verbeterd.

De meeste state-of-the-art technieken voor semantische segmentatie vertrouwen op fully CNNs (FCNNs) met U-vormige architecturen³¹. Tijdens de coderingsfase worden diepe kenmerken met grote receptieve velden geëxtraheerd via een reeks convolutie- en downsampling-operaties. De decoderingsfase herstelt geleidelijk de ruimtelijke resolutie door middel van upsampling, waardoor uiteindelijk semantische voorspelling op pixelniveau mogelijk wordt. Door het verlies van ruimtelijke informatie tijdens downsampling te compenseren en de segmentatieprestaties in een breed scala aan toepassingen te verbeteren, maken skip connections het mogelijk om hoge-resolutie informatie van verschillende coderingsniveaus direct in de decoder te integreren³².

Hoewel recente methoden op basis van GAN, CNN en diffusiemodellen veelbelovende resultaten hebben laten zien bij beeldgeneratie en het herstel van cultureel erfgoed, hebben zij vaak moeite om de semantische consistentie te behouden, fijne structurele motieven te preserveren en een reproduceerbare reconstructie over diverse culturele patronen heen te garanderen. De meeste bestaande benaderingen behandelen segmentatie, reconstructie en stijlsynthese als afzonderlijke processen, wat kan leiden tot het verlies van cultureel significante elementen en inconsistente resultaten. Om dit methodologische gat te dichten, stelt deze studie een unified SegCycle-SPADE-framework voor dat SegFormer-gebaseerde semantische segmentatie, een nieuwe Cross-Attention Cultural Feature Fusion Module (CAFFM), CycleGAN-gebaseerde reconstructie en SPADE-gestuurde stijlsynthese integreert. Door structurele segmentatie-informatie expliciet te integreren met generatieve feature-learning, maakt het voorgestelde framework een betrouwbaardere, semantisch consistente en reproduceerbare reconstructie van ICH-motieven mogelijk, terwijl zowel de culturele authenticiteit als de artistieke kwaliteit behouden blijven.

In deze studie zijn drie belangrijke beperkingen van huidige benaderingen voor de reconstructie van cultureel erfgoed geïdentificeerd: (i) onvoldoende behoud van fijne structurele motieven in GAN-gebaseerde reconstructiemethoden; (ii) beperkte generalisatie als gevolg van training op kleine of domeinspecifieke datasets; en (iii) inadequate semantische consistentie tussen segmentatie-outputs en gegenereerde beelden in image-to-image translation frameworks. Daarnaast worden segmentatie, reconstructie en stijlsynthese gewoonlijk als afzonderlijke processen behandeld, wat leidt tot het verlies van cultureel belangrijke elementen tijdens de reconstructie. Door transformer-gebaseerde semantische segmentatie, cross-attention feature fusion, CycleGAN-reconstructie en SPADE-gestuurde artistieke synthese te combineren binnen een uniforme architectuur, pakt het voorgestelde SegCycle-SPADE-framework deze beperkingen aan en verbetert het het behoud van motieven, de semantische consistentie en de artistieke authenticiteit bij de reconstructie van ICH-patronen.

Het hoofddoel van deze studie is het ontwikkelen van een verbeterd SegCycle-SPADE-framework voor semantische segmentatie-gestuurde artistieke reconstructie van ICH-patronen. Het framework integreert SegFormer voor nauwkeurige segmentatie van culturele motieven, CycleGAN voor patroonreconstructie en SPADE voor stijlconsistente artistieke synthese. Om de kenmerkrepresentatie te verbeteren en fijne structurele details te behouden, is een CAFFM geïntroduceerd om effectieve interactie tussen segmentatiekenmerken en generatieve kenmerken te faciliteren. Getraind op de Miao Batik- en WikiArt-datasets, verbetert het voorgestelde framework de authenticiteit van de reconstructie, de stijlconsistentie en het behoud van cultureel significante motieven.

Door semantische segmentatie, aandachtgestuurde feature-fusie, patroonreconstructie en stijlsynthese te combineren binnen een uniforme architectuur, presenteert deze studie een nieuw SegCycle-SPADE-framework voor de artistieke reconstructie van ICH-patronen. De belangrijkste bijdragen van dit werk zijn als volgt. Ten eerste is er een nieuw, door semantische segmentatie gestuurd reconstructieframework ontwikkeld via de integratie van SegFormer, waardoor nauwkeurige extractie en behoud van complexe culturele motieven en structurele elementen mogelijk wordt. Ten tweede is er een nieuwe CAFFM geïntroduceerd om segmentatiefeatures effectief te fuseren met generatieve representaties, waardoor het model lange-afstandsrelaties tussen culturele motieven en artistieke stijlelementen kan vastleggen. Ten derde verbetert de voorgestelde CAFFM het behoud van cultureel significante elementen, terwijl het visuele realisme en de structurele coherentie van de gereconstrueerde erfgoedpatronen worden verbeterd. Vierde, door de integratie van CycleGAN voor de reconstructie van culturele patronen en SPADE voor segmentatiegestuurde artistieke synthese, waarborgt het framework zowel semantische nauwkeurigheid als stilistische authenticiteit in de gegenereerde outputs. Vijfde, om de generalisatie en artistieke diversiteit te verbeteren, is het model getraind met behulp van de Miao Batik-dataset voor het leren van culturele motieven en de WikiArt-dataset voor de representatie van artistieke stijlen. WikiArt dient als een hulpdataset om het generalisatievermogen, de robuustheid van het feature-leren en de effectiviteit van de stijlsturing van het framework te evalueren over diverse visuele contexten, en niet als een doelstijl voor directe toepassing in Miao-culturele erfgoedproducten. Tot slot tonen experimentele resultaten aan dat het voorgestelde SegCycle-SPADE-framework, vergeleken met bestaande GAN-gebaseerde methoden voor de reconstructie van cultureel erfgoed, een verbeterde segmentatienauwkeurigheid, reconstructiekwaliteit en stilistische consistentie behaalt.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het voorgestelde framework van SegCycle-SPADE is ontworpen om traditionele culturele erfgoedpatronen te reconstrueren en te verbeteren door middel van semantische segmentatie, kenmerkverbetering met behulp van attention, generatieve reconstructie en artistieke stijlsynthese. Deze studie maakte gebruik van openbaar beschikbare datasets van cultureel erfgoed en artistieke beelden, waaronder de Miao Batik-dataset en de WikiArt-dataset. Er waren geen menselijke deelnemers, patiëntgegevens, persoonlijke informatie, proefdieren of klinische dossiers betrokken bij het onderzoek; daarom waren goedkeuring van een institutionele ethische commissie en geïnformeerde toestemming niet vereist. Om te beginnen worden de Miao Batik-dataset van culturele motieven en de WikiArt-dataset gebruikt voor de evaluatie. De Miao Batik-dataset werd beschreven in Quan et al. (2024)32 en bevat 15.148 geannoteerde afbeeldingen van traditionele Miao batik-motieven. Bestaande annotaties die door de makers van de dataset waren verstrekt, werden direct gebruikt, en er werden in deze studie geen aanvullende handmatige annotaties gegenereerd. Vervolgens wordt de voorbewerking van de beelden uitgevoerd door middel van herschalen, normaliseren, ruisonderdrukking en het maken van een segmentatiemasker. De exacte parameters voor de voorbewerking worden beschreven in de sectie Gegevensvoorbewerking. Het voorgestelde framework maakt gebruik van een transformer-gebaseerd model genaamd SegFormer-B2 voor de semantische segmentatie van de gegevens. De methode is ontworpen om sleutelregio's van culturele motieven te detecteren en hun structuren te leren. De gesegmenteerde kenmerken worden vervolgens verbeterd via een attention-mechanisme, waarbij belangrijke informatie met betrekking tot de culturele motieven wordt benadrukt en irrelevante informatie wordt verworpen. De configuratie van het attention-mechanisme wordt beschreven in de sectie CAFFM. De verbeterde kenmerken worden vervolgens door CycleGAN geleid, waarbij beschadigde structuren worden gereconstrueerd via cyclisch leren. Tijdens de training werden incomplete motiefmonsters kunstmatig gecreëerd door willekeurige maskering en gedeeltelijke occlusie-operaties toe te passen op de originele Miao Batik-afbeeldingen. Deze degradatieprocedures simuleerden ontbrekende motiefregio's en structurele schade die vaak worden waargenomen in verslechterde culturele erfgoedartefacten. De resulterende incomplete beelden werden gebruikt als input voor de CycleGAN-reconstructiemodule, terwijl de overeenkomstige originele beelden dienden als reconstructiedoelen. De gereconstrueerde culturele erfgoedpatronen worden vervolgens verbeterd via SPADE, waarbij artistieke verbetering wordt uitgevoerd op basis van de gegenereerde segmentatiekaarten. De prestaties van het voorgestelde framework worden geëvalueerd met behulp van kwantitatieve segmentatie- en beeldkwaliteitsmetrieken, terwijl de visuele authenticiteit van de gereconstrueerde culturele motieven kwalitatief wordt beoordeeld. Visuele authenticiteit werd beoordeeld via visuele inspectie van de gegenereerde culturele patronen en werd niet gebruikt als een onafhankelijke kwantitatieve metriek. De beoordeling richtte zich op het behoud van motieven, semantische consistentie, culturele kenmerken, structurele coherentie en artistieke verschijning ten opzichte van de overeenkomstige referentiemotieven. De kwantitatieve evaluatie van de modelprestaties werd uitgevoerd met behulp van Segmentation Accuracy, IoU, Dice Coefficient, Structural Similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR) en Fréchet Inception Distance (FID). Afbeelding 2 illustreert de algemene workflow van het voorgestelde SegCycle-SPADE framework en vat de in deze studie gebruikte evaluatiemetrieken samen.

Diagram van datasetverwerking met gebruik van SegFormer, CycleGAN voor artistieke stijlgeneratie; evaluatiemetrieken inbegrepen.
Figuur 2. Algemene architectuurworkflow van het voorgestelde SegCycle-SPADE-framework. Overzicht van de volledige SegCycle-SPADE-workflow. Afbeeldingen uit de Miao Batik- en WikiArt-datasets ondergaan preprocessing voordat ze worden verwerkt via semantische segmentatie met SegFormer-B2, kenmerkverbetering met de CAFFM, patroonreconstructie met CycleGAN en artistieke stijlgeneratie met SPADE. De modelprestaties worden geëvalueerd met behulp van Segmentation Accuracy, Intersection over Union (IoU), Dice Coefficient, Structural Similarity Index Measure (SSIM), PSNR en Fréchet Inception Distance (FID), terwijl de visuele authenticiteit kwalitatief wordt beoordeeld. Klik hier om een grotere versie van deze figuur te bekijken.

Het SegCycle-SPADE framework voor de reconstructie van patronen van cultureel erfgoed is ontworpen om meerdere DL-componenten te integreren voor nauwkeurige motiefsegmentatie, reconstructie en artistieke verbetering, zoals geïllustreerd in Figuur 2. Afbeeldingen uit de Miao Batik culturele motiefdataset en de WikiArt-dataset worden gebruikt om diverse culturele patronen en artistieke stijlen te bieden. Aanvankelijk worden de afbeeldingen verwerkt met een op SegFormer gebaseerde semantische segmentatiemodule om culturele motieven te identificeren en af te bakenen van de achtergrond. De algemene architectuur bestaat uit vier hoofdfasen. Ten eerste extraheert het SegFormer-model semantische segmentatiekaarten uit de afbeeldingen van de culturele patronen. Ten tweede integreert de CAFFM segmentatiekenmerken met generatieve representaties om het kenleren te verbeteren. Ten derde reconstrueert de CycleGAN-module culturele patronen met behulp van de gefuseerde kenmerkrepresentaties. Ten slotte genereert de SPADE-module stilistisch verbeterde outputs, terwijl de structurele consistentie behouden blijft door middel van segmentatie-gestuurde synthese. De verfijnde kenmerkkaarten worden vervolgens verwerkt door de CycleGAN-reconstructiemodule, die leert om onvolledige culturele motieven te herstellen door gedegradeerde patronen te mappen naar hun overeenkomstige volledige vormen. Onvolledige motiefsamples werden gegenereerd door willekeurige maskering en gedeeltelijke occlusie-operaties toe te passen op de originele Miao Batik-afbeeldingen, waardoor ontbrekende patroonregio's en structurele degradatie werden gesimuleerd, zoals algemeen waargenomen in beschadigde culturele artefacten. Elke gedegradeerde afbeelding werd gekoppeld aan de overeenkomstige originele afbeelding, die diende als het reconstructiedoel tijdens de training. Deze strategie stelde de CycleGAN-module in staat om het herstel van ontbrekende motiefstructuren te leren terwijl de semantische consistentie en cultureel significante kenmerken behouden bleven. Ten slotte produceert de SPADE-generator visueel verbeterde artistieke outputs door de beeldsynthese afhankelijk te maken van de gegenereerde segmentatiekaarten, waardoor de structurele integriteit van de culturele motieven gedurende het proces van artistieke verbetering behouden blijft.

De volgende stappen maken deel uit van het voorgestelde SegCycle-SPADE-framework.

Stap 1: Datasetverzameling
Er werden twee datasets gebruikt om de doelstellingen van cultureel patroonleren en artistieke stijlgeneratie te bereiken. De Miao Batik Cultural Motif Dataset werd gebruikt om informatie over traditionele culturele patronen te verschaffen. De dataset is openbaar beschikbaar via Zenodo (https://doi.org/10.5281/zenodo.20807658) en bevat 15.148 geannoteerde afbeeldingen van traditionele Miao batikmotieven. De bestaande annotaties van de makers van de dataset werden direct gebruikt, en in deze studie zijn geen extra handmatige annotaties gegenereerd. De WikiArt-dataset werd gebruikt om diverse artistieke stijlinformatie te verschaffen voor artistieke stijlgeneratie en werd verkregen uit de openbaar beschikbare WikiArt-repository (https://www.wikiart.org/).

Stap 2: Gegevensvoorverwerking
Alle afbeeldingen werden voorbewerkt door middel van schalen, normalisatie en ruisonderdrukking. Bestaande annotaties van culturele motieven, verkregen uit de oorspronkelijke datasetbronnen, werden gebruikt ter ondersteuning van de fase van semantische segmentatie. In het kader van deze studie zijn geen aanvullende annotatie- of herlabelingsprocedures uitgevoerd.

Stap 3: Semantische patroonsegmentatie met behulp van SegFormer
Het SegFormer-model werd gebruikt voor de segmentatie van culturele motieven. De exacte SegFormer-backbone en de initialisatiestrategie worden beschreven in de paragraaf Semantische patroonsegmentatie met behulp van SegFormer. Specifiek werd de SegFormer-B2-architectuur met een ImageNet-voorgetrainde MIT-B2-backbone ingezet voor de semantische motiefsegmentatie. Dit model legt effectief globale contextuele informatie vast, terwijl de complexe structurele details van traditionele culturele patronen behouden blijven.

Stap 4: CAFFM
De CAFFM combineert kenmerken van semantische segmentatie met generatieve representaties, waardoor het framework zowel structurele motiefkenmerken als informatie over de artistieke stijl kan leren. Details over de integratie van CAFFM worden gegeven in de paragraaf CAFFM. De module is gepositioneerd tussen de op SegFormer gebaseerde fase van semantische segmentatie en de fase van generatieve reconstructie, waarbij het via multi-head cross-attention segmentatie-afgeleide structurele kenmerken fuseert met reconstructiekenmerken. Dit proces verbetert het behoud van culturele motieven en vergroot het realisme van de gereconstrueerde resultaten.

Stap 5: Patroonreconstructie (CycleGAN)
De gefuseerde kenmerken worden vervolgens verwerkt door de CycleGAN-module om culturele patroonstructuren te reconstrueren. De architectuur en trainingsconfiguratie van CycleGAN worden beschreven in de subparagraaf Patroonreconstructie met behulp van CycleGAN. De reconstructiemodule bestaat uit twee generatoren en twee discriminatoren, maakt gebruik van een residual-network generator-architectuur met negen residual blocks, hanteert een PatchGAN-discriminator en wordt getraind met behulp van adversarial en cycle-consistency losses. Deze configuratie maakt bidirectionele domeinmapping mogelijk en faciliteert de reconstructie van onvolledige culturele patroonstructuren.

Stap 6: Genereren van artistieke stijl (SPADE)
De gereconstrueerde patronen worden vervolgens via de SPADE-module verwerkt om segmentatie-gestuurde artistieke stijlsynthese uit te voeren. De configuratie van de SPADE-generator is beschreven in de subsectie Artistieke stijlgeneratie met behulp van SPADE. De module maakt gebruik van SPADE-residuele blokken, ruimtelijk adaptieve normalisatielagen en semantische conditionering afgeleid van SegFormer-segmentatiekaarten en CAFFM-kenmerkrepresentaties. Door de beeldgeneratie te conditioneren op segmentatiekaarten, behouden de gesynthetiseerde outputs de structurele uitlijning met de oorspronkelijke culturele motieven, terwijl ze artistieke stijlkenmerken integreren.

Stap 7: Prestatieschatting
Het voorgestelde raamwerk werd geëvalueerd aan de hand van meerdere metrieken voor segmentatie en beeldkwaliteitsbeoordeling, waaronder segmentatienauwkeurigheid, IoU, de Dice Similarity Coefficient (Dice), SSIM, PSNR en FID. Om de experimentele consistentie te beoordelen, werden alle experimenten vijf keer herhaald met verschillende random seeds, en de resultaten zijn gerapporteerd als gemiddelde ± standaarddeviatie. De statistische significantie werd geëvalueerd met gepaarde t-toetsen, met een significantiedrempel van p < 0,05.

Datasetverzameling
In het voorgestelde framework van SegCycle-SPADE worden twee datasets gebruikt voor het begrijpen van culturele patronen en het leren van stijlen. De eerste dataset die in het voorgestelde framework wordt gebruikt, is de Miao Batik culturele motiefdataset. Deze dataset bevat culturele motieven van Miao Batik; dit zijn doorgaans afbeeldingen van traditionele Miao Batik met motieven zoals dieren, planten en geometrische vormen, die worden gebruikt in de kunst van de Miao-etniciteit. Deze dataset bevat afbeeldingen met rijke textuurinformatie, wat over het algemeen belangrijk is voor het behoud van cultureel erfgoed. De tweede dataset die in het voorgestelde framework van SegCycle-SPADE wordt gebruikt, is de WikiArt-dataset. Deze dataset bevat een groot aantal kunstwerken in uiteenlopende stijlen. Deze dataset wordt ingezet voor complex stijlerleren, wat over het algemeen nuttig is voor het verbeteren van kunstwerken. Deze dataset bevat 80.000 kunstwerken in HD, met 27 verschillende ontwerpen, waardoor deze zeer geschikt is voor DL-gebaseerde taken voor stijlgeneratie of -transformatie.

Miao Batik Dataset:
De Miao Batik-dataset (https://doi.org/10.5281/zenodo.20807658) bestaat uit 15.148 afbeeldingen van batikpatronen die cultureel significante motieven uitbeelden. De afbeeldingen bevatten een verscheidenheid aan traditionele ontwerpen, zoals dierlijke motieven (bijv. vlinders en vissen), plantaardige patronen en geometrische motieven met een culturele symboliek. Deze dataset is een essentieel onderdeel van het voorgestelde framework, omdat het authentieke culturele structuren biedt waardoor de segmentatiemodule motiefgrenzen nauwkeurig kan identificeren en behouden tijdens de patroonreconstructie (Tabel 1). In deze studie verwijzen cultureel belangrijke motieven naar symbolische visuele elementen die algemeen gedocumenteerd zijn in de literatuur over het culturele erfgoed van de Miao en vertegenwoordigd zijn in de annotaties van de dataset, waaronder vogels, vlinders, bloemmotieven en voorouderlijke totems. Deze motieven zijn geselecteerd op basis van hun gedocumenteerde culturele betekenis en hun terugkerende aanwezigheid in traditionele Miao batik- en borduurontwerpen, en niet enkel op basis van hun frequentie of ruimtelijke compositie. De door experts geleide motiefannotaties en segmentatielabels zijn verkregen uit de oorspronkelijke bron van de Miao Batik-dataset en zijn direct in deze studie gebruikt. De auteurs hebben geen aanvullende handmatige annotaties, heretikettering of expertgeleide annotatieprocedures uitgevoerd. De bestaande annotaties van de makers van de dataset werden gebruikt voor de training en evaluatie van de semantische segmentatie.

Parameter	Beschrijving
Naam dataset	Miao Batik Cultural Pattern Dataset
Bron dataset	Zenodo Repository (DOI: 10.5281/zenodo.20807658)
Domein	Immaterieel cultureel erfgoed (ICH) / textielpatroonanalyse
Totaal aantal afbeeldingen	15.148 afbeeldingen
Afbeeldingstype	Digitale afbeeldingen van traditionele Miao-batiktextielpatronen
Patronencategorieën	Dierlijke motieven, plantmotieven en geometrische motieven
Culturele oorsprong	Miao-etnische cultuur, provincie Guizhou, China
Originele beeldresolutie	Hoge-resolutie afbeeldingen (doorgaans ≥ 1.000 pixels aan de korte zijde), vastgelegd als ruwe scans of foto's voorafgaand aan de voorbewerking
Trainingsresolutie	Afbeeldingen resized naar 256 × 256 pixels tijdens de voorbewerking
Beschikbaarheid annotaties	Bestaande segmentatie-annotaties verstrekt door de makers van de dataset werden zonder wijzigingen gebruikt voor training en evaluatie. In deze studie zijn geen aanvullende handmatige annotaties, heretiketteringen of procedures voor expertbevestiging uitgevoerd.
Toepassing in deze studie	Segmentatie van culturele motieven, kenmerkextractie, behoud van motieven en patroonreconstructie

Tabel 1: Kenmerken van de Miao Batik Culturele Patroon Dataset. Samenvatting van de Miao Batik culturele motiefdataset die is gebruikt voor semantische segmentatie, culturele patroonanalyse en motiefreconstructie. De tabel beschrijft de bron van de dataset, beeldkenmerken, motiefcategorieën, culturele oorsprong, beeldresolutie en de rol ervan binnen het voorgestelde SegCycle-SPADE-raamwerk.

WikiArt-dataset:
De WikiArt-dataset [https://www.wikiart.org/] is een populaire grootschalige digitale kunstrepository die meer dan 80.000 afbeeldingen bevat uit 27 verschillende kunststijlen, zoals weergegeven in Tabel 2. De stijlen omvatten onder andere renaissancekunst, impressionisme, kubisme en surrealisme. De dataset is van groot belang voor het voorgestelde raamwerk, omdat deze kennis biedt waarmee de SPADE-module cultureel verrijkte patronen kan creëren, terwijl de structurele informatie uit het segmentatieproces behouden blijft. De dataset bestaat uit 56.000 afbeeldingen voor training en 12.000 afbeeldingen voor zowel validatie als testen. De afbeeldingen in de dataset dragen bij aan een effectieve training van het DL-model.

Parameter	Beschrijving
Naam dataset	WikiArt Dataset
Bron dataset	WikiArt Repository (https://www.wikiart.org/)
Domein	Digitale kunst en schilderijen
Totaal aantal afbeeldingen	Ongeveer 80.000 kunstwerken
Trainingsafbeeldingen	56.000
Validatieafbeeldingen	12.000
Testafbeeldingen	12.000
Artistieke stijlen	27 artistieke stijlen, waaronder Renaissance, Impressionisme, Kubisme, Surrealisme, Expressionisme, Realisme en Abstracte Kunst
Originele beeldresolutie	De originele beeldresoluties variëren per kunstwerk en bron. Afbeeldingen werden tijdens de voorbewerking aangepast naar een uniforme resolutie van 256 × 256 pixels.
Trainingsresolutie	Afbeeldingen aangepast naar 256 × 256 pixels tijdens de voorbewerking voorafgaand aan het leren van de artistieke stijl en segmentatie-gestuurde beeldsynthese.
Partitionering dataset	Gestratificeerde random partitionering (70% training, 15% validatie en 15% testen) met een vaste random seed van 42
Strategie voor stijlsteekproef	Er werd gebruikgemaakt van gestratificeerde proportionele steekproefname om de distributie van de 27 artistieke stijlen over de trainings-, validatie- en testsubsets te behouden
Toepassing in deze studie	Leren van artistieke stijl, stijlrepresentatie en segmentatie-gestuurde artistieke synthese

Tabel 2: Kenmerken van de WikiArt-dataset. Samenvatting van de WikiArt-dataset die is gebruikt voor het leren van artistieke stijlen en stijlgestuurde beeldsynthese. De tabel beschrijft de bron van de dataset, de beeldverdeling, de dekking van artistieke stijlen, de partitionering van de dataset, de beeldresolutie en de toepassing ervan binnen het voorgestelde SegCycle-SPADE-framework.

De Miao Batik-dataset bevat 15.148 afbeeldingen die traditionele culturele motieven van de Miao vertegenwoordigen.32 De dataset is publiekelijk toegankelijk via Zenodo (https://doi.org/10.5281/zenodo.20807658). Voorafgaand aan de modeltraining werden alle afbeeldingen visueel geïnspecteerd, geschaald naar 256 × 256 pixels, genormaliseerd en gescreend op beschadigde of dubbele monsters. De kwaliteitscontrolescheiding leidde niet tot de uitsluiting van afbeeldingen; daarom werden alle 15.148 afbeeldingen behouden voor de daaropvolgende analyse. De dataset werd willekeurig verdeeld in subsets voor training (70%), validatie (15%) en testen (15%) met een vaste random seed van 42 om de reproduceerbaarheid van de datasetverdelingen te waarborgen. De WikiArt-dataset werd benaderd via de officiële WikiArt-repository (https://www.wikiart.org/) en bevat meer dan 80.000 kunstwerken verspreid over 27 artistieke stijlen. Voor de stijl-leerexperimenten werden 56.000 afbeeldingen gebruikt voor training, 12.000 voor validatie en 12.000 voor testen.

Preprocessing van gegevens
Voordat het voorgestelde SegCycle-SPADE-framework werd getraind, werden de dataset met Miao Batik-cultuurmotieven en de WikiArt-dataset onderworpen aan verschillende preprocessingstappen om een consistente beeldkwaliteit en een nauwkeurige kenmerkrepresentatie te waarborgen. Dezelfde fundamentele preprocessing-pijplijn, inclusief Gaussian denoising, normalisatie, schaling naar een consistente inputresolutie en verificatie van de beeldkwaliteit, werd op beide datasets toegepast. De datasets vervulden echter verschillende rollen binnen het framework. De WikiArt-dataset werd gebruikt voor het leren en synthetiseren van artistieke stijlen, terwijl de Miao Batik-dataset primair werd gebruikt voor de segmentatie en reconstructie van cultuurmotieven. Er werden geen dataset-specifieke wijzigingen in de preprocessing aangebracht buiten deze taakspecifieke rollen. Om een consistente verwerking door het DL-model te garanderen, werden de beelden eerst geschaald naar een vaste resolutie. Deze stap was noodzakelijk omdat de beelden in beide datasets varieerden in resolutie, afhankelijk van hun bron. Schaling verbeterde de computationele efficiëntie en voorkwam dat dimensionale inconsistenties de training beïnvloedden. De tweede preprocessingstap was normalisatie, waarbij pixelwaarden werden geschaald naar een gestandaardiseerd bereik om gradiënt-updates tijdens de training te stabiliseren. De beelden werden vervolgens verwerkt met Gaussian filtering om ruis te verminderen die de structuren van de cultuurmotieven zou kunnen verstoren. Voor de Miao Batik-dataset werden bestaande segmentatiemaskers van cultuurmotieven, rechtstreeks verkregen uit de oorspronkelijke bron van de dataset, zonder wijzigingen gebruikt voor de training en evaluatie van de semantische segmentatie. Er werden geen nieuwe segmentatiemaskers specifiek voor deze studie gegenereerd.

Tenzij anders aangegeven, zijn vergelijkingen die gevestigde methoden beschrijven aangepast uit eerdere studies en worden deze dienovereenkomstig geciteerd. Vergelijkingen die de voorgestelde CAFFM en het samengestelde SegCycle-SPADE optimalisatiekader beschrijven, zijn door de auteurs voor deze studie ontwikkeld.

Stel dat een invoerbeeld uit de dataset wordt weergegeven als Vergelijking 1:

Representatie van vectorruimte, I ∈ ℝⁿˣʷˣᶜ, illustratie van formule, educatief wiskundig concept. (1)

Hier verwijzen H, W en C respectievelijk naar de hoogte, breedte en het aantal kleurkanalen van de afbeelding. Alle afbeeldingen worden herschaald naar een vaste dimensie H′ × W′, zoals weergegeven in Vergelijking 2:

Formule voor beeldbewerking, vergelijking Ir = Resize(I,H'×W'), gerelateerd aan herschalingmethoden.

Hier is I_r de herschalen afbeelding. De genormaliseerde pixelwaarden worden berekend volgens Vergelijking 3:

Wiskundige formule voor genormaliseerde intensiteit, vergelijking: In = Ir/255, relevant bij data-analyse. (3)

Dit helpt de trainingsprocedure te stabiliseren. Ruisfiltering wordt uitgevoerd met een Gaussisch filter, zoals weergegeven in Vergelijking 4:

Statische evenwichtvergelijking Is=In*G(σ), symbool, wiskundig gericht, onderzoeksanalyse.

Hier is G(σ) een Gaussisch filter en * staat voor convolutie. Er werd gebruikgemaakt van een Gaussisch filter met een kernel van 5 × 5 en een standaarddeviatie van σ = 1.0. Om randartefacten te verminderen, werd reflectieve padding toegepast op de randpixels. Het ruisonderdrukkingsproces werd uitgevoerd direct na het laden van de beelden, voorafgaand aan de schaling en normalisatie. Om een uniforme voorbewerking gedurende de studie te garanderen, werd dezelfde filterconfiguratie toegepast op elk beeld in de datasets Miao Batik en WikiArt. Voor de Miao Batik-dataset worden de segmentatiemaskers gecreëerd volgens Vergelijking 5:

Wiskundige formule voor de identificatie van motiefregio's, waarin de criteria voor pixelclassificatie worden weergegeven.

Hier is M een segmentatiemasker dat wordt gebruikt om het SegFormer-model te sturen.

De preprocessing-pijplijn begint met de acquisitie van afbeeldingen uit de Miao Batik-dataset en de WikiArt-dataset, zoals weergegeven in Figuur 3. Tijdens de training zijn geen data-augmentatietechnieken toegepast. Na de preprocessing, die bestond uit resizing, normalisatie, Gaussiaanse ruisonderdrukking en het voorbereiden van segmentatiemaskers, werden de afbeeldingen direct gebruikt voor de training, validatie en het testen van het voorgestelde SegCycle-SPADE-framework. De eerste stap van de preprocessing-pijplijn omvat het aanpassen van de afbeeldingen naar een vaste grootte, waardoor het DL-model de afbeeldingen efficiënter kan verwerken. De tweede stap omvat normalisatie, waarbij pixelwaarden worden omgezet naar een gestandaardiseerd numeriek bereik om de convergentie van het model te bespoedigen. De derde stap omvat ruisonderdrukking, waarbij ongewenste ruis uit de afbeeldingen wordt verwijderd om de patroonherkenning te verbeteren. Daarnaast worden voor de Miao Batik-dataset de regio's met culturele motieven geannoteerd, wat de generatie van maskers mogelijk maakt die worden gebruikt in de segmentatiemodule van het voorgestelde model; hiermee wordt gewaarborgd dat culturele motieven tijdens de generatie behouden blijven. De uiteindelijke output van deze fase is een schone dataset die gereed is voor de training van de segmentatie- en generatiemodules van het voorgestelde model.

Diagram van datasetverwerking; stappen omvatten schalen, normalisatie, ruisonderdrukking en motiefannotatie.
Figuur 3. Data-preprocessingspijplijn voor beelden van cultureel erfgoed. Werkstroom die de beeldpreprocessingsprocedures illustreert die worden toegepast vóór de modeltraining. De pijplijn omvat datasetverwerving, het schalen van beelden, normalisatie, Gaussische ruisonderdrukking, bestaande annotaties van culturele motieven en het voorbereiden van segmentatiemaskers. De resulterende bewerkte beelden en maskers worden gebruikt als inputs voor semantische segmentatie en patroonreconstructie. Klik hier om een grotere versie van deze figuur te bekijken.

Elke afbeelding werd onderworpen aan een kwaliteitscontroleproces vóór de training van het model. De Miao Batik-dataset bevatte 15.148 afbeeldingen. Corrupte, dubbele en kwalitatief minderwaardige monsters waren al door de oorspronkelijke makers van de dataset aangepakt; daarom werden er tijdens de kwaliteitscontrolescreening in deze studie geen extra afbeeldingen uitgesloten. Bijgevolg werden alle 15.148 afbeeldingen behouden voor analyse. Afbeeldingen werden tijdens de preprocessing in RGB-formaat geladen en via bilinaire interpolatie aangepast naar een grootte van 256 × 256 pixels. De pixelwaarden werden geschaald van het bereik [0, 255] naar [0, 1] door te delen door 255. Vervolgens werd kanaalgewijze normalisatie toegepast met gemiddelde waarden van [0,485, 0,456, 0,406] en standaarddeviatiewaarden van [0,229, 0,224, 0,225] voor respectievelijk de rode, groene en blauwe kanalen. De preprocessing-pipeline omvatte het laden van afbeeldingen, RGB-conversie, herschalen, schaling van pixelwaarden, normalisatie en tensorconversie. Wanneer nodig werden grijswaardenafbeeldingen geconverteerd naar een RGB-formaat met drie kanalen om compatibiliteit met de DL-modellen te waarborgen. Na de preprocessing werden de afbeeldingen verdeeld in trainings-, validatie- en testsubsets. Alle fasen van het SegCycle-SPADE-raamwerk — inclusief semantische segmentatie, featurefusie, motiefreconstructie en SPADE-gebaseerde artistieke synthese — maakten gebruik van een consistente inputresolutie van 256 × 256 pixels.

Semantische patroonsegmentatie met behulp van SegFormer
Na deze voorbehandelingsstap worden de gereinigde en genormaliseerde afbeeldingen van de Miao Batik-culturele motiefdataset en de WikiArt-dataset ingevoerd in de semantische segmentatiemodule, gebaseerd op het voorgestelde SegFormer-B2-raamwerk. Het doel van deze stap is om culturele motieven die aanwezig zijn in erfgoedpatronen correct te identificeren en te scheiden. Het voorgestelde SegFormer-raamwerk is gebaseerd op een transformer-architectuur die een hiërarchische Transformer-encoder en een lichtgewicht MLP-decoder bevat om zowel globale contextuele informatie als gedetailleerde structurele informatie uit complexe erfgoedpatronen nauwkeurig vast te leggen. Het model extraheert eerst kenmerkrepresentaties op meerdere schalen uit de invoerafbeelding, gevolgd door de fusie van deze representaties via de decoder om nauwkeurig gesegmenteerde patronen te genereren. Dit zorgt ervoor dat de patronen in de erfgoedafbeelding correct worden gesegmenteerd in motieven zoals geometrische patronen, bloemmotieven en symbolische patronen, waardoor ze van de achtergrond worden gescheiden terwijl hun structurele integriteit behouden blijft. Deze structurele informatie wordt vervolgens gebruikt tijdens de latere fasen van patroongeneratie binnen het SegCycle-SPADE-raamwerk.

Laat de voorbewerkte invoerafbeelding worden weergegeven als Vergelijking 6:

Vergelijking die de beeldruimte vanuit reëelwaardige dimensies illustreert; formule: I_p ∈ ℝ^(H×W×C) (6)

De SegFormer-encoder splitst de afbeelding in patches en extraheert hiërarchische kenmerken met behulp van transformer-lagen, zoals weergegeven in Vergelijking 7¹:

Vergelijking die het proces van feature-codering laat zien; formule: F = Encoder(Ip).

Hier staat F voor de multiscale feature maps verkregen uit de transformer-encoder. Deze features coderen zowel lokale textuurpatronen als globale contextuele relaties tussen motiefregio's. Het SegFormer-model extraheert feature maps op verschillende schalen zoals gedefinieerd in Vergelijking 8:

Vectornotatieformule F={F1,F2,F3,F4}, gebruikt bij statische evenwichtsanalyse, wiskundige notatie.

Het gebruik van multiscale representaties vergemakkelijkt de detectie van patronen van verschillende grootten binnen culturele motieven. Ten slotte worden de kenmerken gecombineerd met behulp van de MLP-decoder, zoals weergegeven in Vergelijking 9¹:
Vergelijking: S=Decoder(F₁,F₂,F₃,F₄); wiskundige formule, decoderfunctie.

Hier geeft S de uiteindelijke voorspelde segmentatiekaart aan.

De SegFormer-B2 backbone werd geïnitialiseerd met gewichten die vooraf waren getraind op ImageNet en vervolgens gefinetuned op de Miao Batik-dataset voor de segmentatie van culturele motieven. Het vooraf getrainde checkpoint werd verkregen uit de officiële SegFormer-implementatie. Specifiek werd het ImageNet-1K vooraf getrainde MIT-B2 checkpoint (mit_b2.pth), geleverd door de officiële SegFormer-repository, gebruikt om de SegFormer-B2 backbone te initialiseren voorafgaand aanHet finetunen. De vooraf getrainde gewichten komen overeen met de MIT-B2 backbone die is uitgebracht door de SegFormer-auteurs en dienden als het initialisatiemodel voor de training van de semantische segmentatie. De overige taakspecifieke lagen werden voorafgaand aan de training geïnitialiseerd met de standaard gewicht-initialisatieprocedures van PyTorch.

In de architectuur wordt een vierstaps hiërarchische Transformer-encoder met overlappende patch-embeddings gebruikt. In de eerste fase werd de patchgrootte ingesteld op 7 × 7 met een stapgrootte (stride) van 4. Voor elk van de vier encoderstadia waren de embedding-dimensies 64, 128, 320 en 512. Over de vier stadia verdeeld waren er 1, 2, 5 en 8 multihead self-attention heads, en de overeenkomstige dieptes van de encoder waren respectievelijk 3, 4, 6 en 3 lagen. Multiscale-kenmerken die uit de encoder werden gehaald, werden geaggregeerd met behulp van een lichtgewicht all-MLP-decoder. Voor het genereren van de uiteindelijke segmentatiekaart projecteerde de decoder kenmerken uit elk encoderstadium naar één enkele embedding-ruimte. Alle Transformer-blokken maakten gebruik van de Gaussian Error Linear Unit (GELU) activatiefunctie. Tijdens de training werd een dropout-rate van 0,1 gebruikt om de generalisatie te verbeteren en overfitting te verminderen.

Tijdens de trainingsfase ontvangt het SegFormer-framework de voorbewerkte afbeeldingen uit beide datasets. De afbeeldingen uit de Miao Batik-dataset bevatten motiefregio's die dienen als labels voor het gesuperviseerde leren van het segmentatiemodel. De Transformer-encoder verwerkt de volledige afbeelding en legt langeafstandsrelaties tussen beeldcomponenten vast, wat bijzonder belangrijk is voor traditionele batikpatronen met ruimtelijk verspreide motieven. Het hiërarchische kenmerkextractie-mechanisme legt gelijktijdig lokale structuren vast, zoals herhalende geometrische texturen. De MLP-decoder verwerkt deze geëxtraheerde kenmerken en produceert een segmentatiemasker waarin de motiefregio's worden gemarkeerd. De segmentatiekaarten die tijdens deze fase worden gegenereerd, worden vervolgens gebruikt als structurele inputs voor de attention-module en de fase van patroonreconstructie, waardoor wordt geholpen de authenticiteit van de gegenereerde patronen te behouden.

Culturele motieven werden voor semantische segmentatie ingedeeld in verschillende klassen op basis van hun visuele en culturele kenmerken. De segmentatietaxonomie bestond uit diermotieven (bijv. vlinders, vissen, vogels en andere symbolische fauna), plantmotieven (bijv. bloemen, bladeren, ranken en botanische patronen), geometrische motieven (bijv. repeterende vormen, randen en abstracte geometrische structuren) en achtergrondregio's die niet-motiefgebieden vertegenwoordigen. Segmentatiemaskers op pixelniveau werden gebruikt om elke pixel aan één van de vooraf gedefinieerde klassen toe te wijzen. Gehele getallen als labels werden als volgt gecodeerd: Label 0 = achtergrond, Label 1 = diermotieven, Label 2 = plantmotieven en Label 3 = geometrische motieven. De segmentatie-annotaties en motieflabels werden rechtstreeks verkregen uit de oorspronkelijke bron van de Miao Batik-dataset. In deze studie zijn geen aanvullende handmatige annotaties, herlabelingen, grensverificaties of procedures voor expertbevestiging uitgevoerd. De bestaande annotaties van de makers van de dataset werden zonder wijzigingen gebruikt voor training en evaluatie.

Het SegFormer-model voor segmentatie van culturele motieven verwerkt de voorbehandelde afbeeldingen uit de Miao Batik-dataset en de WikiArt-dataset met behulp van een transformer-gebaseerd mechanisme voor nauwkeurige detectie van regio's met culturele patronen, zoals weergegeven in Figuur 4. Eerst wordt de invoerafbeelding die traditionele culturele motieven bevat, aan het SegFormer-model geleverd. De Transformer-encoder extraheert zowel globale contextuele informatie als lokale structurele kenmerken uit beeldfragmenten. De resulterende multiscale-kenmerken worden doorgegeven aan de segmentatiedecoder, die gebruikmaakt van een Mix Feed-Forward Network om de kenmerkrepresentaties te verfijnen en de motiefdetectie te verbeteren. De output van het SegFormer-model is een segmentatiemasker dat pixels markeert die overeenkomen met culturele patronen, terwijl irrelevante achtergrondinformatie wordt onderdrukt. De geïsoleerde culturele patronen dienen vervolgens als structurele richtlijn voor de volgende stadia van het SegCycle-SPADE-framework.

SegFormer-diagram; beeldsegmentatie met Transformer-encoders, kenmerkextractie, segmentatiemasker.
Figuur 4. Semantische segmentatie van culturele motieven op basis van SegFormer-B2. Architectuur van de SegFormer-B2 semantische segmentatiemodule die wordt gebruikt voor de extractie van culturele motieven en uitsluitend is getraind op de Miao Batik-dataset. Het raamwerk bestaat uit een op Transformer gebaseerde encoder voor multiscale kenmerkextractie en een lichtgewicht segmentatiedecoder voor het genereren van motiefmaskers. Het model voorspelt vier semantische klassen — dier, plant, geometrisch en achtergrond — waarbij de resulterende segmentatiemaskers cultureel significante motiefregio's identificeren terwijl irrelevante achtergrondinformatie wordt onderdrukt. Deze segmentatie-outputs bieden structurele begeleiding voor de daaropvolgende fasen van kenmerkfusie, reconstructie en artistieke synthese van het voorgestelde SegCycle-SPADE-raamwerk. Klik hier om een grotere versie van deze figuur te bekijken.

Binnen het voorgestelde raamwerk is het niet nodig om nieuwe segmentatie-annotaties te maken. De Miao Batik-dataset is verkregen uit een reeds bestaande openbare bron, en het model is getraind met behulp van de bijbehorende motiefinformatie die door de makers van de dataset is verstrekt. Tijdens het leerproces genereerde het SegFormer-model semantische segmentatiekaarten. Als gevolg hiervan waren er voor de huidige studie geen aanvullende handmatige annotatiesoftware, annotatierichtlijnen of kwaliteitscontroleprocedures voor annotaties vereist.

CAFFM
Om de interactie tussen de kenmerken van semantische segmentatie en de representaties van generatieve reconstructie te verbeteren, stelde de studie ook een CAFFM voor. De SegFormer-B2-encoder levert semantische feature maps aan de CAFFM-module, terwijl de CycleGAN-reconstructiestap generatieve feature maps levert. Ten eerste worden lineaire projectielagen gebruikt om beide feature-stromen te projecteren in een gemeenschappelijke embedding-ruimte. Voor de berekening van de cross-attention worden query- (Q), key- (K) en value- (V) representaties gecreëerd met behulp van de gegenereerde feature-tensoren. De relaties tussen structurele motiefinformatie en artistieke stilelementen worden vervolgens gemodelleerd met behulp van multihead cross-attention. Vervolgens worden layer-normalisatie, residuale verbindingen en feed-forward lagen met GELU-activatie toegepast op de gefuseerde feature-representaties. De op SPADE gebaseerde synthesestap ontvangt de output van de CAFFM-module, waardoor cultureel betekenisvolle thema's behouden blijven zonder dat dit ten koste gaat van de artistieke coherentie.

Om de compatibiliteit van kenmerken te garanderen, worden de inputkenmerken eerst via lineaire projectielagen geprojecteerd op een gedeelde embeddingruimte met een embeddingdimensie van 256. De onderlinge verbindingen tussen semantische structurele informatie en generatieve stylerepresentaties worden vervolgens gemodelleerd met een MultiHead Cross-Attention-mechanisme met acht attention-heads. De cross-attention-berekening maakt gebruik van de Query (Q), Key (K) en Value (V) vectoren die worden gegenereerd door specifieke lineaire transformatielagen. Om de trainingsstabiliteit te verhogen en de integriteit van de kenmerken te behouden, worden residuele verbindingen en Layer Normalization toegepast om de gefuseerde kenmerkrepresentaties verder te verbeteren. Niet-lineair kenmerkleren wordt vervolgens geoptimaliseerd door een feed-forward-netwerk toe te passen met de Gaussian Error Linear Unit (GELU) activatiefunctie. De module genereert een outputkenmerkrepresentatie van dimensie 256, die naar andere stadia wordt gestuurd voor creatieve synthese. De CAFFM combineert artistieke stijlgegevens succesvol met culturele motiefstructuren door gebruik te maken van een op cross-attention gebaseerde fusietechniek, wat het behoud van motieven en de visuele coherentie in de gereconstrueerde culturele erfgoedpatronen verbetert.

In het voorgestelde systeem zijn de structurele kenmerken afgeleid van de Miao Batik-dataset, terwijl de stilistische kenmerken worden geleerd van de WikiArt-dataset. De feature map afgeleid van het SegFormer-segmentatienetwerk met behulp van afbeeldingen uit de Miao Batik-dataset wordt aangeduid met F_s, terwijl de feature map afgeleid van de tak voor stijlkenmerkextractie met behulp van WikiArt-afbeeldingen wordt aangeduid met F_a. De voorgestelde CAFFM combineert de twee kenmerkdomeinen met behulp van een cross-attention-mechanisme om zowel structurele als stilistische afhankelijkheden van culturele patronen te leren. Tabel 3 vermeldt alle architecturale kenmerken, inclusief embedding-dimensies, normalisatielagen, activatiefuncties en de configuratie van de attention-heads. Voor een input-afbeeldingsgrootte van 256 × 256 pixels produceerde de SegFormer-B2-encoder semantische feature maps van 64 × 64 × 128, terwijl de tak voor stijlkenmerkextractie feature maps van 64 × 64 × 128 produceerde. Beide feature maps werden via leerbare lineaire lagen geprojecteerd naar een gedeelde embedding-ruimte van dimensie 256 voorafgaand aan de cross-attention-fusie.

Parameter	Configuratie
Voorgesteld raamwerk	SegCycle-SPADE
Model voor semantische segmentatie	SegFormer-B2
SegFormer encoder-trappen	4
Gewichtsinitialisatie	ImageNet-1K vooraf getrainde SegFormer-B2 (MIT-B2 backbone)
Bron van checkpoint	Officiële NVIDIA SegFormer repository (https://github.com/NVlabs/SegFormer); checkpoint: segformer.b2.512x512.ade.160k
Fine-tuning strategie	End-to-end fine-tuning op de Miao Batik-dataset
Patch embedding-grootte	7 × 7
Patch stride	4
Embedding-dimensies	64, 128, 320 en 512
Encoder-dieptes	3, 4, 6 en 3
Attention heads	1, 2, 5 en 8
Decoder-type	All-MLP decoder
Activatiefunctie	GELU
Dropout-percentage	0,1
Module voor kenmerkverbetering	Cross-Attention Cultural Feature Fusion Module (CAFFM)
CAFFM embedding-dimensie	256
CAFFM attention heads	8
CAFFM fusieschalen	4
Reconstructiemodel	CycleGAN
Stijlgeneratiemodel	SPADE
Culturele dataset	Miao Batik-dataset
Stijldataset	WikiArt-dataset
Miao Batik-afbeeldingen	15.148
WikiArt-afbeeldingen	Ongeveer 80.000
Inputresolutie afbeelding	256 × 256 pixels
Kleurformaat	RGB
Interpolatiemethode	Bilineaire interpolatie
Ruisonderdrukkingsmethode	Gaussiaans filteren
Gaussiaanse kernel-grootte	5 × 5
Gaussiaanse sigma (σ)	1
Normalisatiebereik	[0, 1]
Batch-grootte	16
Aantal epochs	100
Optimizer	Adam
Leersnelheid	0,0002
Adam-parameters	β₁ = 0,5, β₂ = 0,999, ε = 1 × 10⁻⁸, weight decay = 0
Verliesfuncties	Segmentatieverlies, adversarieel verlies, cycle-consistency verlies, reconstructieverlies, motiefbehoudverlies en stijlconsistentieverlies
Strategie voor datasetverdeling	Training / Validatie / Testen
Trainingsset	70%
Validatieset	15%
Testset	15%
Random seed	42
Evaluatiemetrieken	Segmentatienauwkeurigheid, IoU, Dice-coëfficiënt, SSIM, PSNR en FID
Programmeertaal	Python 3.8.10
Deep learning raamwerk	PyTorch 1.10.0
Hardwareplatform	NVIDIA RTX 3090 GPU (24 GB VRAM), Intel Core i7 (11e generatie), 32 GB RAM
Operationele omgeving	Ubuntu 20.04 LTS

Tabel 3: Experimentele opzet en modelconfiguratie. Overzicht van de architecturale componenten, trainingsconfiguratie, voorbehandelingsinstellingen, datasets, optimalisatieparameters, evaluatiemetrieken en de computationele omgeving die zijn gebruikt voor de implementatie en evaluatie van het voorgestelde SegCycle-SPADE-framework.

De aandachtmodule brengt de feature map eerst in kaart naar query-, key- en value-representaties met behulp van Vergelijking 10:

Formules voor statisch evenwicht, Q=FsWq, K=FsWk, V=FsWv, vergelijking voor mechanische analyse.

Hierbij zijn W_q, W_k en W_v leerbare gewichtsmatrices. De attentiegewichten worden berekend op basis van de gelijkenis tussen de query-vector en de key-vector met behulp van Vergelijking 11¹⁷:

Softmax-functieformule, A=Softmax((QK^T)/√d_k), vergelijking voor aandachtmechanisme.

Hier is d_k de dimensie van de key-vector. De verbeterde kenmerkrepresentatie wordt berekend door de attentiegewichten te vermenigvuldigen met de waardematrix met behulp van Vergelijking 12:

$Formule voor statisch evenwicht $F_a = A \cdot V$ getoond; kernconcept in krachtbalansanalyse.$

Hier is F_a de verbeterde kenmerkrepresentatie van de kenmerkkaart. De verbeterde kenmerkrepresentatie wordt berekend door de oorspronkelijke segmentatiekenmerken te combineren met de verbeterde kenmerken die zijn verkregen via het aandachtmechanisme met behulp van Vergelijking 13:

$Vergelijking voor statisch evenwicht $ F_e = F_s + F_a $, beschrijvende krachten, formule.$

Hier is F_e de verbeterde feature map die wordt gebruikt voor patroonreconstructie. De CAFFM wordt uitgebreid met een multiscale cross-attention-mechanisme om kenmerken voor culturele motieven op verschillende schalen te extraheren. Laat F_sⁱ de segmentatiekenmerken op schaal i aanduiden, terwijl F_a^j de kenmerken van de artistieke stijl op dezelfde schaal aanduidt. De uiteindelijke feature-representatie wordt gedefinieerd met behulp van Vergelijking 14:

$Formule voor het aandachtsmecanisme $F_{\text{fusion}} = \sum_{i=1}^{N} \text{Attention}(Q_i, K_i, V_i)$.$

Hierbij representeren Q_i, K_i en V_i respectievelijk de query-, key- en value-matrices op schaal i, en duidt N het aantal kenschaalniveaus aan. In deze studie is N = 4, wat overeenkomt met feature maps die zijn geëxtraheerd bij ruimtelijke resoluties van 1/4, 1/8, 1/16 en 1/32 van de grootte van het invoerbeeld. Deze multiscale feature-representaties werden gefuseerd met behulp van leerbare attention-gewichten voorafgaand aan de reconstructie en artistieke synthese. De bovenstaande uitbreiding stelt de methode in staat om globale culturele motieven en texturen te extraheren om culturele patronen te reconstrueren. CAFFM bevindt zich tussen de op SegFormer gebaseerde segmentatiefase en de op SPADE gebaseerde creatieve synthesefase in het voorgestelde SegCycle-SPADE-systeem. Ten eerste, terwijl CycleGAN gelijktijdig reconstructie-features met stilistische en patroongerelateerde informatie creëert, herstelt SegFormer-B2 semantische feature maps die de structurele eigenschappen van culturele motieven beschrijven. De CAFFM-module ontvangt deze twee feature-stromen en gebruikt cross-attention-gebaseerde fusie om relaties tussen structurele en artistieke representaties te identificeren. Om cultureel authentieke patronen te creëren terwijl de semantische consistentie en structurele kenmerken behouden blijven, worden de resulterende gefuseerde feature maps vervolgens naar de SPADE-module gestuurd voor segmentatie-gestuurde creatieve synthese.

Patroonreconstructie met behulp van CycleGAN
Zodra de fase van feature-verbetering op basis van attention is voltooid, bevatten de feature maps de verbeterde structuren van de culturele motieven. De feature maps kunnen echter nog steeds onvolledige of beschadigde patroonregio's bevatten. Om het probleem van de patroonreconstructie aan te pakken, maakt het voorgestelde framework daarom gebruik van het CycleGAN-model. In het voorgestelde framework zijn de twee domeinen de oorspronkelijke culturele motiefpatronen en de gereconstrueerde culturele motiefpatronen. Met behulp van de verbeterde features uit de vorige fasen zal het CycleGAN-model de culturele patronen reconstrueren terwijl de structurele consistentie behouden blijft. Dit zorgt ervoor dat culturele patronen, zoals geometrische patronen, bloemmotieven en symbolische patronen, hun ruimtelijke rangschikking behouden. De oorspronkelijke Miao Batik-afbeeldingen werden onderworpen aan willekeurige maskering en gedeeltelijke occlusie-operaties om onvolledige of beschadigde culturele motieven te genereren. Deze degradatieprocedures simuleerden ontbrekende patroonregio's en structurele schade die veelvuldig worden waargenomen bij verslechterde culturele erfgoedartefacten. De gedegradeerde afbeeldingen werden gebruikt als input voor de reconstructiemodule, terwijl de overeenkomstige oorspronkelijke afbeeldingen dienden als referentieafbeeldingen voor de prestatie-evaluatie en de beoordeling van de reconstructiekwaliteit. Deze strategie stelde het model in staat om het herstel van ontbrekende motiefstructuren te leren terwijl de semantische consistentie en culturele kenmerken behouden bleven.

Laat X het domein van onvolledige culturele patronen zijn en Y het domein van gereconstrueerde culturele patronen. De twee generatoren leren om bidirectionele mapping uit te voeren met behulp van Vergelijking 15:

Diagram van functies en afbeeldingen GF:X→Y, FM:Y→X, wiskundige transformaties in vergelijkingen.

Hier wordt G_E gebruikt om motiefstructuren te reconstrueren en F_M om de patronen terug te mappen naar het oorspronkelijke domein. Het adversarial verlies wordt gebruikt om te waarborgen dat de gereconstrueerde patronen realistisch zijn (Vergelijking 16)³⁰

$GAN-verliesvergelijking $L_{GAN}$; formule voor het verbeteren van generatieve modellen; wiskundige expressie.$

Hier is D_Y de discriminator die wordt gebruikt om echte en gereconstrueerde patronen te onderscheiden, en G_E(x) duidt het gegenereerde gereconstrueerde patroon aan. De CycleGAN dwingt daarnaast cyclusconsistentie af om de structurele indeling van culturele motieven te behouden (Vergelijking 17)³⁰.

$Wiskundige formule voor de verliesfunctie $L_{cycle}(G_F, F_M)$ in computationele modellering.$

De uiteindelijke verliesfunctie wordt gedefinieerd met behulp van Vergelijking 18³⁰:

Vergelijking voor statisch evenwicht, L_total=L_GAN(G_E,D_Y,X,Y)+L_GAN(F_M,D_X,Y,X)+λ_L_cycle(G_E,F_M).

Hierbij geeft λ_i de wegingscoëfficiënt aan voor het cycle-consistency verlies, welke tijdens de training op 10 werd ingesteld, in overeenstemming met de oorspronkelijke CycleGAN-formulering. Deze waarde werd gekozen om een balans te creëren tussen adversarieel leren en reconstructieconsistentie tussen de bron- en doeldomeinen.

De CycleGAN-reconstructiemodule bestaat uit twee generatoren en twee discriminatoren voor bidirectionele beeldtranslatie. Elke generator volgt een residual-network architectuur bestaande uit een initiële 7 × 7 convolutionele laag, gevolgd door twee downsampling convolutionele lagen, negen residual blocks en twee upsampling lagen. Alle convolutionele operaties maken gebruik van een kernelgrootte van 3 × 3, behalve de inputlaag, die een 7 × 7 kernel gebruikt voor verbeterde kenmerkextractie. Instance Normalization wordt toegepast na elke convolutionele laag om de trainingsstabiliteit te verbeteren, terwijl ReLU-activatie in het gehele generatornetwerk wordt gebruikt. De outputlaag maakt gebruik van een Tanh-activatiefunctie om genormaliseerde beeldoutputs te genereren. De discriminator volgt een 70 × 70 PatchGAN-architectuur bestaande uit een reeks convolutionele lagen met kernelgroottes van 4 × 4 en progressief toenemende kenmerkkanalen. Instance Normalization en LeakyReLU-activatie (negatieve helling = 0,2) worden in de discriminator aangewend om de kenmerkdiscriminatie en adversarial learning te verbeteren. De CycleGAN-module ontvangt voorbewerkte afbeeldingen van culturele motieven als input en genereert gereconstrueerde patroonrepresentaties, die vervolgens naar de CAFFM worden gestuurd voor integratie met segmentatiekenmerken. De training van CycleGAN werd uitgevoerd met de Adam-optimizer (β₁ = 0,5, β₂ = 0,999) met een initiële leersnelheid van 0,0002. De leersnelheid werd gehandhaafd gedurende de eerste 100 epochs en daarna lineair afgebouwd naar nul over de resterende trainingsperiode. Een replay-buffer met 50 eerder gegenereerde afbeeldingen werd gebruikt om de training van de discriminator te stabiliseren. De generatoren en discriminatoren werden bijgewerkt met een 1:1 update-ratio, waarbij elke update van de generator werd gevolgd door één update van de discriminator tijdens elke trainingsiteratie.

Het reconstructieproces van de CycleGAN is gebaseerd op de verbeterde feature maps die zijn verkregen met behulp van het CAFFM-mechanisme in Figuur 5. De feature maps bevatten verbeterde culturele motieven die zijn verkregen uit de voorgaande fasen van segmentatie en CAFFM. De feature maps worden gebruikt als input voor de eerste generator G_E. De eerste generator G_E leert de mapping die nodig is om culturele patronen te reconstrueren. De outputs worden vervolgens doorgegeven aan de discriminator D_Y om onderscheid te maken tussen echte culturele patronen en gereconstrueerde patronen. De discriminator D_Y helpt de generator G_E om realistische outputs te produceren. Om ervoor te zorgen dat culturele patronen tijdens de reconstructie niet worden vervormd, voert de tweede generator F_M een cycle-consistency mapping uit. De tweede generator F_M mapt de outputs terug naar het oorspronkelijke domein. De outputs worden vervolgens door de discriminator geëvalueerd om het realisme te waarborgen. De uiteindelijke outputs worden vervolgens doorgegeven aan de SPADE-module voor artistieke stijlgeneratie in de volgende fase van het voorgestelde SegCycle-SPADE-framework.

Proces van patroonreconstructie; diagram met gebruik van GANs voor de generatie van culturele motieven.
Figuur 5. Workflow voor Patroonreconstructie op basis van CycleGAN. Workflow van de CycleGAN-reconstructiemodule. Attention-enhanced feature-representaties worden als input aan het generator-netwerk geleverd om onvolledige culturele motieven te reconstrueren. De discriminator evalueert de gereconstrueerde outputs ten opzichte van referentiepatronen, terwijl cycle-consistency mapping de structurele integriteit bewaart tijdens de bidirectionele beeldvertaling. De gereconstrueerde motieven worden vervolgens doorgegeven aan de SPADE-module voor artistieke stylesynthese. Klik hier om een grotere versie van deze figuur te bekijken.

Genereren van artistieke stijl met behulp van SPADE
Vervolgens worden de gereconstrueerde culturele motieven onderworpen aan de SPADE-module voor het genereren van de artistieke stijl. Het hoofddoel van de SPADE-module is om visueel rijkere texturen van de artistieke stijl toe te voegen aan de gereconstrueerde culturele motieven, zonder de structurele lay-out van de motieven aan te tasten. De SPADE-module is een techniek voor conditionele beeldgeneratie die gebruikmaakt van het concept van beeldsegmentatie voor het genereren van beelden. Meerkanaals semantische kaarten die overeenkwamen met de vooraf bepaalde motiefklassen werden gecodeerd vanuit de semantische segmentatiemaskers die door SegFormer-B2 waren geproduceerd. De SPADE-generator ontving deze gecodeerde kaarten als conditionele inputs. De ruimtelijk adaptieve schaling (γ) en bias-parameters (β) werden gegenereerd door de semantische kaarten te verwerken via convolutionele lagen binnen elke SPADE-laag. De generator was hierdoor in staat om motiefgrenzen, structurele lay-outs en semantische informatie te behouden tijdens de artistieke synthese door deze parameters toe te passen op de genormaliseerde feature-activaties. Semantische sturing kon zowel de structurele reconstructie op hoog niveau als de texturesynthese op laag niveau beïnvloeden, aangezien het conditioneringsproces op verschillende lagen van de SPADE-generator werd uitgevoerd. Als resultaat bevatten de gecreëerde artistieke patronen stilistische kenmerken afgeleid van de WikiArt-dataset, terwijl de culturele motiefstructuren die tijdens de segmentatiefase waren gevonden, behouden bleven.

De WikiArt-dataset, die werken uit 27 verschillende artistieke categorieën bevat — zoals Renaissance, Impressionisme, Kubisme, Expressionisme, Surrealisme, Realisme en Abstracte Kunst — werd gebruikt als de belangrijkste bron voor het begrijpen van artistieke stijlen. Om het model bloot te stellen aan een verscheidenheid aan creatieve kenmerken en de generalisatie van stijlen te verbeteren, werden tijdens de training willekeurig stijlafbeeldingen uit de verschillende categorieën geselecteerd. De dataset werd onderverdeeld in trainings-, validatie- en testsubsets met een gebalanceerde representatie van artistieke categorieën om stijlbias te verminderen. Om een gebalanceerde representatie van alle 27 artistieke categorieën te waarborgen, werd gestratificeerde steekproeftrekking toegepast. Monsters uit elke categorie werden proportioneel toegewezen aan de trainings-, validatie- en testsubsets, waarbij de oorspronkelijke klassedistributie behouden bleef. De CAFFM-module werd gebruikt om de stijlaspecten die uit de WikiArt-afbeeldingen waren afgeleid, samen te voegen met de reconstructiekenmerken die door CycleGAN waren geproduceerd. Om het synthesenetwerk in staat te stellen artistieke kwaliteiten over te dragen terwijl de semantische structuur en de grenzen van culturele motieven uit de segmentatiekaarten behouden bleven, werden de resulterende gefuseerde representaties als conditioneringsinformatie geleverd aan de SPADE-generator. Dankzij deze techniek voor stijlconditionering was het voorgestelde raamwerk in staat om cultureel authentieke artistieke patronen te produceren met consistente structurele en stilistische representaties.

SPADE introduceert daarnaast ruimtelijk adaptieve parameters die afhankelijk zijn van de segmentatiekaart. De parameters kunnen worden gedefinieerd zoals weergegeven in Vergelijking 19¹:

Vergelijking van lineaire transformatie: y=γ(S)x̂+β(S) (Eq. 19), wiskundige weergave.

Hier is γ(S) de ruimtelijk variërende schaalparameter en β(S) de ruimtelijk variërende biasparameter. De parameters kunnen de generator helpen om verschillende texturen en stijlen te creëren, afhankelijk van de semantische regio in de afbeeldingen. Het uiteindelijke culturele kunstwerk kan worden gedefinieerd zoals weergegeven in Vergelijking 20:

Vergelijking voor het genetische evaluatieproces formule I_gen=G_E(X^P_r,SM).

Hier is G_E de SPADE-generator, X_r^P het gereconstrueerde patroon en SM de segmentatiekaart. Het uiteindelijke kunstwerk behoudt de structurele integriteit van culturele motieven terwijl het artistieke uiterlijk wordt verbeterd. Een samengestelde verliesfunctie die de nauwkeurigheid van de semantische segmentatie, het behoud van culturele motieven, de kwaliteit van de patroonreconstructie en de consistentie van de artistieke stijl in balans brengt, werd gebruikt om de voorgestelde SegCycle-SPADE-architectuur te optimaliseren. Om het algemene trainingsdoel vast te stellen, werd een gewogen mengsel van segmentatieverlies (L_seg), adversary-verlies (L_adv), cycle-consistency-verlies (L_cycle), reconstructieverlies (L_recon), motiefacebook-verlies (L_motif) en stijlconsistentieverlies (L_style) gebruikt. De totale verliesfunctie is gedefinieerd in Vergelijking 21:

Formule voor het totale verlies, L_Total, is gelijk aan meerdere componenten, weergegeven als een wiskundige vergelijking voor analyse. (21)

Om structurele consistentie tussen de invoer en de gereconstrueerde culturele motieven te garanderen, werd de coëfficiënt voor het cycle-consistency verlies ingesteld op 10. Om fijnmazige motiefkenmerken te behouden en de visuele nauwkeurigheid te verbeteren, werd de coëfficiënt voor het reconstructieverlies vastgesteld op 5. Om het behoud van cultureel essentiële structurele patronen tijdens de artistieke synthese te benadrukken, werd een coëfficiënt van 2 gebruikt voor het motiefbehoudverlies. Om artistieke stijltransfer te bevorderen zonder de semantische motiefstructuren onnodig te vervormen, werd de coëfficiënt voor het style-consistency verlies aangepast naar 1. Om een gebalanceerde bijdrage tussen de productie van realistische beelden en nauwkeurige motiefsegmentatie te handhaven, kregen het segmentatieverlies en het adversariële verlies gelijke gewichten. De kenmerkgebaseerde stijlrepresentaties van de WikiArt-dataset werden gebruikt om het style-consistency verlies te berekenen. In het bijzonder werden artistieke stijlkenmerken vastgelegd met behulp van Gram-matrixcorrelaties die waren afgeleid van diepe feature maps. Het verschil in de Frobenius-norm tussen de Gram-matrices van het doelstijlbeeld en het gegenereerde beeld werd gebruikt om het stijlverlies te berekenen, zoals weergegeven in Vergelijking 22:

Calculusvergelijking voor stijlverlies in neurale netwerken, met weergave van de L_style-formule en methode.

Hier is G_l de Gram-matrix berekend uit de l^de feature-laag, geeft I_gen de gegenereerde artistieke afbeelding aan, geeft I_style de doelstijlafbeelding uit de WikiArt-dataset aan, en F staat voor de Frobenius-norm. Deze formulering stelt het voorgestelde raamwerk in staat om artistieke kenmerken te behouden terwijl de structurele en semantische integriteit van culturele motieven bewaard blijft.

De gefuseerde kenmerkrepresentaties die door de CAFFM-module worden geproduceerd, worden gebruikt als conditionerende inputs voor de SPADE-module, die fungeert als het component voor artistieke synthese van het voorgestelde framework. De SPADE-generator bestaat uit zeven SPADE-residuele blokken met een latente kenmerkdimensie van 256 kanalen en genereert output-afbeeldingen met een resolutie van 256 × 256 pixels. Semantische segmentatiekaarten die zijn verkregen uit de SegFormer–CAFFM-module worden gebruikt als conditionerende inputs in alle SPADE-residuele lagen. SPADE-lagen worden toegepast vóór de activatiefuncties binnen elk residueel blok, wat segmentatiegestuurde semantische conditionering mogelijk maakt. Door opeenvolgende upsampling- en convolutionele operaties wordt de latente kenmerkrepresentatie geleidelijk verfijnd om hoogresolutie artistieke patronen te genereren, terwijl de semantische consistentie en motiefstructuur behouden blijven. LeakyReLU-activatiefuncties worden in de gehele generator gebruikt, en een Tanh-activatiefunctie wordt toegepast op de output-laag om genormaliseerde afbeeldingen te produceren.

Algoritme en workflow
Het SegCycle-SPADE-framework integreert semantische segmentatie, kenmerkfusie, patroonreconstructie en artistieke stijlsynthese binnen een uniforme trainingspijplijn. De workflow begint met datasetverwerving en voorbewerking, waaronder het aanpassen van de beeldgrootte, normalisatie, ruisonderdrukking en het voorbereiden van segmentatiemaskers. De voorbewerkte beelden worden vervolgens verwerkt met het SegFormer-B2-segmentatienetwerk om semantische motiefrepresentaties te extraheren. De resulterende segmentatiekenmerken worden via de CAFFM gefuseerd met reconstructiekenmerken, waardoor interactie mogelijk wordt tussen structurele motiefinformatie en artistieke kenmerkrepresentaties. De gefuseerde kenmerkkaarten worden vervolgens aangeleverd aan de CycleGAN-reconstructiemodule, die onvolledige culturele motiefstructuren herstelt terwijl de semantische consistentie behouden blijft. De gereconstrueerde patronen worden vervolgens doorgegeven aan de SPADE-generator voor segmentatiegestuurde artistieke synthese, wat stijlkundige verbetering mogelijk maakt terwijl motiefgrenzen en structurele authenticiteit behouden blijven. Tijdens de training worden de modelparameters geoptimaliseerd met behulp van de samengestelde verliesfunctie beschreven in Vergelijkingen 21 en 22, die een balans vindt tussen segmentatienauwkeurigheid, motiefbehoud, reconstructiekwaliteit en consistentie van de artistieke stijl. Een gedetailleerde stapsgewijze implementatieworkflow, inclusief het laden van de dataset, voorbewerking, modelinitialisatie, trainingsiteraties, validatieprocedures, selectie van checkpoints en de uiteindelijke evaluatie, wordt beschreven in Aanvullend Bestand 1 (Algoritme 1). De volledige algoritmische workflow is geïmplementeerd met een batchgrootte van 16, een leersnelheid van 0,0002 en 100 training-epochs. Een vast willekeurig seed-getal van 42 is gebruikt voor de datasetpartitionering, modelinitialisatie en alle trainingsexperimenten. De seed is consistent toegepast over de willekeurige getalgeneratoren van Python, NumPy en PyTorch om reproduceerbaarheid te garanderen. De Adam-optimizer is geconfigureerd met β₁ = 0,5, β₂ = 0,999 en geen weight decay (weight decay = 0). Modelcheckpoints zijn geselecteerd op basis van de hoogste behaalde validatie-IoU-score op de validatiedataset.

Optimalisatie van de verliesfunctie
Om culturele motiefstructuren tijdens reconstructie en artistieke synthese te behouden, maakt het voorgestelde framework gebruik van een samengesteld optimalisatiedoel dat segmentatie-, adversariële-, cycle-consistency-, reconstructie-, motiefbehoud- en stijlconsistentieverliezen combineert. De volledige wiskundige formulering, wegingscoëfficiënten en de definitie van het stijlverlies zijn opgenomen in Vergelijkingen 21 en 22 binnen de subsectie Artistic Style Generation using SPADE. Het component voor motiefbehoud bestraft structurele afwijkingen tussen de voorspelde motiefregio's en de overeenkomstige ground-truth segmentatiemaskers, waardoor het behoud van cultureel significante patroonstructuren gedurende het reconstructieproces wordt gestimuleerd.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het voorgestelde SegCycle-SPADE-framework werd geëvalueerd met behulp van twee datasets: de Miao Batik-dataset van culturele motieven en de WikiArt-dataset. De Miao Batik-dataset bevat afbeeldingen van traditioneel cultureel erfgoed en werd primair gebruikt voor taken op het gebied van semantische segmentatie en structurele reconstructie, terwijl de WikiArt-dataset diverse artistieke stijlen bevat en werd gebruikt voor het leren en genereren van artistieke stijlen. Afbeeldingen van beide datasets werden verwerkt via de volledige SegCycle-SPADE-pipeline, inclusief semantische segmentatie, CAFFM, patroonreconstructie en SPADE-gebaseerde artistieke stijlgeneratie. De integratie van informatie over culturele motieven en representaties van artistieke stijlen stelde het framework in staat om cultureel betekenisvolle en visueel coherente resultaten te genereren.

Alle experimenten werden uitgevoerd op een GPU-geoptimaliseerd werkstation uitgerust met een Intel Core i7-processor en een NVIDIA GPU. Specifiek werden de experimenten uitgevoerd op een werkstation voorzien van een Intel Core i7 (11e generatie) CPU, een NVIDIA RTX 3090 GPU met 24 GB VRAM en 32 GB systeemgeheugen. De modellen zijn geïmplementeerd met Python 3.8 en PyTorch 1.10 met CUDA-acceleratie. De training werd uitgevoerd met een single-GPU-opstelling zonder gedistribueerde training. Gedurende alle experimenten is standaard FP32-precisie gebruikt en er is geen gebruik gemaakt van mixed-precision training. De Adam-optimizer werd gebruikt met een batchgrootte van 16 gedurende 100 training-epochs. Tabel 3 vat de implementatieparameters en de computationele omgeving samen die in deze studie zijn gebruikt.

De voorgestelde architectuur bestaat uit vier hoofdcomponenten: SegFormer-B2 voor semantische segmentatie, CAFFM voor feature-fusie, CycleGAN voor motiefreconstructie en SPADE voor artistieke stijlsynthese. Afbeeldingen van beide datasets werden vóór de training geschaald naar 256 × 256 pixels. Deze gestandaardiseerde resolutie waarborgde de computationele efficiëntie terwijl belangrijke motiefdetails behouden bleven, en droeg bij aan een stabiele adversariële training van zowel de CycleGAN- als de SPADE-modules.

De prestaties van het voorgestelde raamwerk werden geëvalueerd met behulp van segmentatie- en beeldkwaliteitsmetrieken, waaronder Segmentatie-accuraatheid, IoU, Dice Similarity Coefficient (Dice), SSIM, PSNR en FID. De visuele authenticiteit werd kwalitatief beoordeeld via visuele inspectie van de gegenereerde culturele patronen. De kwalitatieve beoordeling richtte zich op het behoud van motieven, semantische consistentie, culturele kenmerken en het artistieke uiterlijk ten opzichte van de referentieculturele motieven. Visuele authenticiteit werd niet gebruikt als een onafhankelijke kwantitatieve evaluatiemetriek.

De kwantitatieve evaluatie van het voorgestelde raamwerk werd uitgevoerd met behulp van de volgende metrieken.

De segmentatienauwkeurigheid werd berekend met behulp van Vergelijking 23:

Nauwkeurigheidsformule, TP+TN/TP+TN+FP+FN, statistische analysevergelijking voor modelevaluatie.

Hierbij staan TP, TN, FP en FN respectievelijk voor true positives, true negatives, false positives en false negatives.

De IoU werd berekend met behulp van Vergelijking 24:

IoU-formule, TP/(TP+FP+FN), wiskundige vergelijking voor de nauwkeurigheid van beeldsegmentatie.

De Dice Similarity Coefficient (Dice) werd berekend met behulp van Vergelijking 25:

$Dice-coëfficiëntvergelijking, $ \frac{2*TP}{2*TP+FP+FN} $, formule gebruikt bij de evaluatie van data-analyse.$

De SSIM werd gebruikt om de perceptuele beeldovereenkomst te beoordelen en wordt gedefinieerd aan de hand van Vergelijking 26³³:

SSIM-index vergelijking; wiskundige formule voor beoordeling van beeldkwaliteit; diagram. (26)

Hierbij staat μ voor de gemiddelde intensiteit, σ voor de variantie, σ_xy voor de covariantie tussen beelden, en zijn C₁ en C₂ stabiliserende constanten.

PSNR is een maatstaf die veelvuldig wordt gebruikt om de kwaliteit van gegenereerde beelden te evalueren en wordt gedefinieerd in Vergelijking 27³³:

PSNR-formule, beoordeling van beeldkwaliteit, vergelijking voor de berekening van de piek signaal-ruisverhouding.

Hierbij staat Max_I voor de maximaal mogelijke pixelwaarde van de afbeelding en MSE voor de gemiddelde kwadratische fout tussen de originele en de gereconstrueerde afbeelding.

FID kan worden berekend met behulp van gemiddelden en covariantie-matrices, zoals beschreven in Vergelijking 28³³:

Fréchet Inception Distance (FID) vergelijking; statistische methode; formule voor beoordeling van beeldkwaliteit. (28)

Hier is μ_r de gemiddelde waarde van het echte beeld, μ_g de gemiddelde waarde van het gegenereerde beeld, en zijn Σ_r en Σ_g respectievelijk de covariantiematrix van de echte en de gegenereerde beelden.

Voor prestatievergelijking werd het voorgestelde raamwerk geëvalueerd ten opzichte van representatieve methoden die gemeengoed zijn voor semantische segmentatie, beeldreconstructie en artistieke beeldgeneratie. U-Net en DeepLabV3+ werden opgenomen als baselines voor segmentatie, terwijl Pix2Pix en CycleGAN werden opgenomen als baselines voor reconstructie. StyleGAN en AttentionGAN werden gebruikt als representatieve methoden voor artistieke beeldgeneratie. Deze vergelijkingen werden uitgevoerd om de effectiviteit van SegCycle-SPADE te beoordelen bij het behoud van structurele motiefinformatie en het gelijktijdig verbeteren van de artistieke kwaliteit.

Elk experiment werd vijf keer herhaald om de stabiliteit van de prestaties en de reproduceerbaarheid te evalueren. Er werd gebruikgemaakt van een vaste random seed van 42 voor de partitionering van de dataset om consistente trainings-, validatie- en testsubsets over alle experimenten te waarborgen. Resultaten worden weergegeven als gemiddelde ± standaarddeviatie. De lage waarden voor de standaarddeviatie die waargenomen zijn voor Accuracy, IoU, Dice, SSIM, PSNR en FID geven aan dat het voorgestelde framework een stabiele prestatie behaalde over de herhaalde experimentele runs. Statistische significantie werd geëvalueerd met gepaarde t-toetsen, en verschillen werden als statistisch significant beschouwd wanneer p < 0.05. Omdat alle modellen werden beoordeeld op dezelfde datasetpartities, werden gepaarde prestatiemetingen over de herhaalde runs verkregen, wat het gebruik van gepaarde t-toetsen rechtvaardigt. Om de family-wise error rate die gepaard gaat met meerdere paarsgewijze vergelijkingen te beheersen, werd de Bonferroni-correctie toegepast, en statistische significantie werd bepaald met een aangepaste drempelwaarde van α/n, waarbij n het aantal paarsgewijze vergelijkingen aanduidt.

De experimentele resultaten ondersteunen sterk de effectiviteit van het voorgestelde SegCycle-SPADE-raamwerk. De superieure segmentatieprestaties die zijn behaald door SegFormer-B2 tonen het vermogen aan om cultureel significante motiefgrenzen nauwkeurig te identificeren en te behouden. Verbeteringen in de IoU- en Dice-scores duiden verder op een effectieve bewaring van semantische motiefstructuren gedurende de gehele verwerkingspijplijn. De integratie van CycleGAN en SPADE heeft onvolledige motiefstructuren succesvol gereconstrueerd met behoud van fijnmazige visuele details, zoals weerspiegeld door de verbeterde SSIM- en PSNR-waarden. Bovendien geven lagere FID-scores aan dat de gegenereerde artistieke patronen een grotere gelijkenis vertonen met authentieke culturele en artistieke beelden, wat wijst op een verbeterde stilistische coherentie en visueel realisme.

De CAFFM droeg aanzienlijk bij aan deze verbeteringen door een effectieve interactie te faciliteren tussen structurele informatie afgeleid van segmentatie en generatieve stijlrepresentaties. Door middel van kenmerkfusie op basis van cross-attention verbeterde de CAFFM zowel de structurele getrouwheid als de artistieke authenticiteit, terwijl de langeafstandrelaties tussen culturele motieven behouden bleven.

Figuur 6 presenteert de vergelijking van de segmentatienauwkeurigheid tussen het voorgestelde SegCycle-SPADE-framework en bestaande methoden op de Miao Batik- en WikiArt-datasets. Traditionele segmentatiebenaderingen zoals U-Net en DeepLabV3+ behaalden concurrerende prestaties vanwege hun vermogen om ruimtelijke representaties te leren. Echter, Pix2Pix en CycleGAN vertoonden een lagere segmentatienauwkeurigheid omdat ze niet specifiek waren ontworpen voor segmentatietaken. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste segmentatienauwkeurigheid op beide datasets dankzij de integratie van SegFormer-B2 en CAFFM-gebaseerde kenkeningrediëntversterking.

Grafiek van segmentatienauwkeurigheid; vergelijking van de methoden U-Net, DeepLabV3+, Pix2Pix, CycleGAN en SegCycle-SPADE.
Figuur 6. Vergelijking van de segmentatienauwkeurigheid tussen verschillende methoden. Vergelijking van de segmentatienauwkeurigheid verkregen met U-Net, DeepLabV3+, Pix2Pix, CycleGAN en het voorgestelde SegCycle-SPADE-framework op de Miao Batik- en WikiArt-datasets. De resultaten worden weergegeven als gemiddelde ± standaarddeviatie (SD) van vijf onafhankelijke runs (n = 5). Foutenbalken representeren één standaarddeviatie. Hogere waarden duiden op een verbeterde segmentatieprestatie. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste segmentatienauwkeurigheid op beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7 presenteert de IoU-vergelijking tussen de geëvalueerde methoden. U-Net en DeepLabV3+ behaalden sterke overlap-prestaties vanwege hun op segmentatie gerichte architecturen. In contrast hiermee produceerden Pix2Pix en CycleGAN lagere IoU-waarden, omdat hun primaire doel beeldtranslatie is in plaats van semantische segmentatie. Het voorgestelde SegCycle-SPADE-raamwerk behaalde de hoogste IoU-waarden op beide datasets, wat wijst op een verbeterde lokalisatie en behoud van de regio's met culturele motieven.

Vergelijking van IoU-scores, staafdiagram; Segmentatiemethoden vs. Miao Batik, WikiArt datasets; Gemiddelde ± SD.
Figuur 7. Vergelijking van Intersection over Union (IoU) scores voor segmentatie van culturele motieven. Vergelijking van de IoU-prestaties tussen segmentatiemethoden op de Miao Batik en WikiArt datasets. Resultaten worden gepresenteerd als gemiddelde ± standaarddeviatie (SD) van vijf onafhankelijke runs (n = 5). Foutenbalken geven één standaarddeviatie aan. Hogere IoU-waarden duiden op een verbeterde overlap tussen de voorspelde en referentieregio's van motieven en een betere bewaring van de motiefgrenzen. Het voorgestelde SegCycle-SPADE framework behaalde de hoogste IoU-scores op beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8 presenteert de vergelijking van de Dice Similarity Coefficient. Dice meet de overlap tussen voorspelde segmentatiemaskers en ground-truth motiefregio's. Conventionele segmentatiebenaderingen behaalden relatief hoge Dice-scores vanwege hun effectiviteit in het leren van ruimtelijke structuren. Echter behaalde het voorgestelde SegCycle-SPADE-framework de hoogste Dice-scores op beide datasets, wat wijst op een verbeterde segmentatieconsistentie en behoud van motieven.

Dice-coëfficiëntgrafiek voor motiefsegmentatie; methoden: U-Net, DeepLabV3+, Pix2Pix, CycleGAN.
Figuur 8. Vergelijking van de Dice-coëfficiënt voor segmentatie van culturele motieven. Vergelijking van de Dice-coëfficiëntwaarden verkregen met verschillende segmentatiebenaderingen op de Miao Batik- en WikiArt-datasets. De Dice-coëfficiënt evalueert de overlap tussen voorspelde segmentatiemaskers en referentiemaskers, waarbij hogere waarden duiden op een verbeterde segmentatieprestatie en motiefregio-identificatie. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste Dice-coëfficiëntwaarden voor beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 9 presenteert de SSIM-vergelijking tussen gereconstrueerde culturele patronen. GAN-gebaseerde methoden zoals Pix2Pix, CycleGAN en StyleGAN behaalden hogere SSIM-waarden dan traditionele segmentatiemethoden, omdat ze zijn ontworpen voor beeldgeneratie. Desalniettemin behaalde het voorgestelde SegCycle-SPADE-framework de hoogste SSIM-waarden op beide datasets, wat duidt op een superieure behoud van structurele details en artistieke coherentie. Staafdiagram van de structurele overeenkomstvergelijking; SSIM-scores voor Pix2Pix, CycleGAN, etc. op datasets.

Figuur 9. Vergelijking van de Structural Similarity Index (SSIM). Vergelijking van de waarden van de Structural Similarity Index (SSIM) verkregen met behulp van verschillende reconstructiemethoden op de Miao Batik- en WikiArt-datasets. Resultaten worden weergegeven als gemiddelde ± standaarddeviatie (SD) van vijf onafhankelijke runs (n = 5). Foutenbalken geven één standaarddeviatie aan. Hogere SSIM-waarden duiden op een grotere structurele gelijkenis tussen de gereconstrueerde en referentiepatronen. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste SSIM-scores voor beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

FID werd gebruikt om het realisme en de distributionele gelijkenis van de gegenereerde artistieke patronen te evalueren. De FID-berekening werd uitgevoerd met een vooraf getraind Inception-v3-netwerk, waarbij feature-vectoren werden geëxtraheerd uit de pool3-laag, wat resulteerde in 2048-dimensionale feature-representaties. Voorafgaand aan de feature-extractie werden de gegenereerde en referentiebeelden bijgesteld naar 299 × 299 pixels middels bilineaire interpolatie en genormaliseerd volgens het standaard Inception-v3-preprocessing-protocol. FID werd berekend met feature-distributies geëxtraheerd uit de onafhankelijke testdataset. De gemiddelde waarden en covariantie-statistieken werden geschat op basis van de feature-embeddings en gebruikt binnen de standaard FID-formulering.

Zoals getoond in Tabel 4, produceerden conventionele benaderingen voor beeldgeneratie, zoals Pix2Pix en CycleGAN, relatief hoge FID-scores omdat ze geen expliciete structurele begeleiding hadden. StyleGAN en AttentionGAN behaalden lagere FID-scores door verbeterde mogelijkheden voor feature-learning. Echter behaalde het voorgestelde SegCycle-SPADE-framework de laagste FID-scores op beide datasets, wat getuigt van een superieure beeldrealisme, stilistische consistentie en het behoud van culturele motieven.

Methode	Miao Batik Dataset (FID)	WikiArt-dataset (FID)
Pix2Pix	48.6	52.3
CycleGAN	42.8	46.5
StyleGAN	39.7	43.1
AttentionGAN	36.9	40.4
SegCycle-SPADE (Voorgesteld)	28.5	31.2

Tabel 4: Resultaten van de Frechet Inception Distance (FID) voor de reconstructie van culturele patronen.Vergelijking van de Frechet Inception Distance (FID)-scores behaald door het voorgestelde SegCycle-SPADE-framework en baseline generatieve modellen op de Miao Batik- en WikiArt-datasets. Lagere FID-waarden duiden op een grotere gelijkenis tussen de kenmerkdistributies van gegenereerde en echte beelden en weerspiegelen derhalve een verbeterd visueel realisme van de gereconstrueerde culturele patronen.

Figuur 10 vergelijkt de reconstructiekwaliteit die met verschillende methoden is behaald. De reconstructiekwaliteit (%) werd berekend door de SSIM tussen het gereconstrueerde beeld en het bijbehorende referentiebeeld om te zetten naar een percentageschaal (SSIM × 100). Hogere percentages duiden op een grotere structurele getrouwheid en visuele overeenkomst met het oorspronkelijke culturele motief. Conventionele generatieve modellen zoals Pix2Pix en CycleGAN behaalden matige reconstructieprestaties. Geavanceerdere architecturen, waaronder StyleGAN en AttentionGAN, behaalden een verbeterde reconstructiekwaliteit dankzij hun verbeterde mogelijkheden voor kenleren. Het voorgestelde SegCycle-SPADE-framework behaalde echter de hoogste reconstructiekwaliteit vanwege de integratie van semantische segmentatiebegeleiding, cross-attention kenfusie, reconstructieonderwijs en artistieke synthese.

Grafiek voor vergelijking van reconstructiekwaliteit; methoden: Pix2Pix, CycleGAN, StyleGAN, AttentionGAN, SegCycle-SPADE.
Figuur 10. Vergelijking van de kwaliteit van patroonreconstructie.Vergelijking van de reconstructiekwaliteit behaald met Pix2Pix, CycleGAN, StyleGAN, AttentionGAN en het voorgestelde SegCycle-SPADE-framework op de Miao Batik- en WikiArt-datasets. De resultaten worden weergegeven als het gemiddelde ± standaarddeviatie (SD) van vijf onafhankelijke runs (n = 5). De foutenbalken geven één standaarddeviatie aan. Hogere waarden duiden op een verbeterd behoud van structurele details, semantische consistentie en visuele getrouwheid. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste scores voor reconstructiekwaliteit op beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

PSNR werd gebruikt om de getrouwheid van de reconstructie te evalueren door de gelijkenis op pixelniveau tussen gereconstrueerde beelden en de bijbehorende referentiebeelden te meten. PSNR werd berekend tussen elk gereconstrueerd beeld en het bijbehorende originele Miao Batik-beeld dat als ground-truth referentie diende. Hogere PSNR-waarden duiden op een lagere reconstructiefout. Zoals weergegeven in Tabel 5, behaalden Pix2Pix en CycleGAN matige PSNR-waarden omdat zij patronen reconstrueerden zonder expliciete structurele begeleiding. StyleGAN en AttentionGAN behaalden hogere PSNR-waarden door dieper feature-leren. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste PSNR-waarden op beide datasets, wat duidt op een superieure reconstructiegetrouwheid en het behoud van de structuren van de culturele motieven.

Methode	Miao Batik-dataset (PSNR, dB)	WikiArt-dataset (PSNR, dB)
Pix2Pix	25.8	24.6
CycleGAN	27.3	26.1
StyleGAN	28.7	27.5
AttentionGAN	29.9	28.6
SegCycle-SPADE (Voorgesteld)	32.4	31.2

Tabel 5: Resultaten van de Peak Signal-to-Noise Ratio (PSNR) voor de reconstructie van culturele patronen. Vergelijking van de Peak Signal-to-Noise Ratio (PSNR)-waarden verkregen met het voorgestelde SegCycle-SPADE-framework en basismethoden op de Miao Batik- en WikiArt-datasets. Hogere PSNR-waarden duiden op een verbeterde reconstructietrouw en verminderde vervorming ten opzichte van de overeenkomstige referentiebeelden.

Figuur 11 illustreert het convergentiegedrag van het voorgestelde SegCycle-SPADE-framework tijdens de training. De verliescurves representeren de gemiddelde trainingsverliezen, gemiddeld over vijf onafhankelijke trainingsruns. Om stochastische variabiliteit te verminderen en een robuustere weergave van de trainingsconvergentie te bieden, werden de verlieswaarden per epoch over alle runs gemiddeld. Tijdens de initiële trainingsepoches waren de verlieswaarden relatief hoog omdat het model nog kenmerkrepresentaties uit de inputdata leerde. Naarmate de training vorderde, namen alle verliescomponenten geleidelijk af en stabiliseerden ze, wat wijst op een succesvolle optimalisatie van de segmentatie-, reconstructie- en artistieke synthese-doelstellingen. Het waargenomen convergentiegedrag demonstreert de effectiviteit, stabiliteit en reproduceerbaarheid van het voorgestelde framework tijdens de training.

Grafiek van trainingsconvergentie, SegCycle-SPADE raamwerk. Verlies vs epochs; L_total, L_seg, L_G, L_D.
Figuur 11. Trainingsconvergentie van het voorgestelde SegCycle-SPADE raamwerk. Trainingsverliescurven van het voorgestelde SegCycle-SPADE raamwerk over 100 trainingsepoches, gemiddeld over vijf onafhankelijke trainingsruns (n = 5). De figuur illustreert de evolutie van het totale verlies (LTotal), het segmentatieverlies (LSeg), het generatorverlies (LG) en het discriminatorverlies (LD) tijdens de training. De geleidelijke afname en daaropvolgende stabilisatie van alle verliescomponenten wijzen op een succesvolle convergentie en stabiele optimalisatie van het voorgestelde raamwerk. Klik hier om een grotere versie van deze figuur te bekijken.

Ablatiestudie
Om de bijdrage van elke component binnen het voorgestelde SegCycle-SPADE-framework te evalueren, is een ablatiestudie uitgevoerd met meerdere gecontroleerde modelconfiguraties. De resultaten zijn samengevat in Tabel 6 en 7.

Modelconfiguratie	Segmentatienauwkeurigheid (%)	IoU	SSIM
Alleen SegFormer	87.3	0.76	0.82
SegFormer + CAFFM	89.6	0.79	0.86
SegFormer + CAFFM + CycleGAN	91.4	0.82	0.89
SegFormer + CAFFM + CycleGAN + SPADE (Voorgesteld)	93.8	0.86	0.93

Tabel 6: Ablatiestudie van SegCycle-SPADE Componenten.Prestatievergelijking van progressief verbeterde modelconfiguraties om de bijdrage van individuele raamwerkcomponenten te evalueren. De studie onderzoekt de effecten van semantische segmentatie, de Cross-Attention Cultural Feature Fusion Module (CAFFM), CycleGAN-gebaseerde reconstructie en SPADE-gebaseerde artistieke synthese op de segmentatienauwkeurigheid, Intersection over Union (IoU) en Structural Similarity Index (SSIM). Hogere waarden duiden op een verbeterde motiefsegmentatie, reconstructiekwaliteit en structurele behoud.

Variant	IoU (%)	Dice (%)	SSIM	PSNR (dB)	FID ↓
Alleen SegFormer	84.2 ± 0.4	88.5 ± 0.3	0.82 ± 0.01	24.8 ± 0.2	31.8 ± 0.6
SegFormer + CycleGAN	86.7 ± 0.3	90.2 ± 0.2	0.85 ± 0.01	26.3 ± 0.2	27.5 ± 0.5
SegFormer + SPADE	87.0 ± 0.3	90.5 ± 0.2	0.88 ± 0.01	27.8 ± 0.2	23.4 ± 0.4
SegFormer + CAFFM	90.0 ± 0.2	93.1 ± 0.2	0.90 ± 0.01	29.6 ± 0.1	20.3 ± 0.3
SegCycle-SPADE (Volledig Model)	93.0 ± 0.2	95.4 ± 0.1	0.92 ± 0.01	31.2 ± 0.1	17.6 ± 0.2

Tabel 7: Componentbijdrage-analyse van het voorgestelde SegCycle-SPADE-framework. Prestatievergelijking van individuele frameworkvarianten die zijn gebruikt om de bijdrage van CAFFM, CycleGAN, SPADE en de volledige SegCycle-SPADE-architectuur te beoordelen. De resultaten worden gerapporteerd met behulp van Intersection over Union (IoU), de Dice-coëfficiënt, de Structural Similarity Index (SSIM), de Peak Signal-to-Noise Ratio (PSNR) and de Frechet Inception Distance (FID). Hogere IoU-, Dice-, SSIM- en PSNR-waarden duiden op een verbeterde segmentatie- en reconstructiekwaliteit, terwijl lagere FID-waarden duiden op een groter visueel realisme van de gegenereerde culturele patronen.

Tabel 6 evalueert de cumulatieve bijdrage van de belangrijkste raamwerkcomponenten met behulp van vier configuraties: (i) enkel SegFormer, (ii) SegFormer + CAFFM, (iii) SegFormer + CAFFM + CycleGAN, en (iv) SegFormer + CAFFM + CycleGAN + SPADE (voorgesteld raamwerk). Het baseline SegFormer-model behaalde een segmentatienauwkeurigheid van 87,3%, een IoU-score van 0,76 en een SSIM-waarde van 0,82. De integratie van de CAFFM-module verbeterde de prestaties voor alle evaluatiemetrieken, waarbij de segmentatienauwkeurigheid steeg naar 89,6%, de IoU naar 0,79 en de SSIM naar 0,86. De toevoeging van CycleGAN verbeterde het vermogen tot structurele reconstructie verder, wat resulteerde in een IoU van 0,82 en een SSIM-waarde van 0,89. Het volledige SegCycle-SPADE-raamwerk behaalde de beste algehele prestaties, met een segmentatienauwkeurigheid van 93,8%, een IoU van 0,86 en een SSIM-waarde van 0,93. Deze resultaten tonen aan dat elke component incrementeel bijdraagt aan een verbeterde segmentatienauwkeurigheid, structurele behoud en de kwaliteit van de beeldreconstructie.

Tabel 7 onderzoekt verder de bijdrage van individuele raamwerkcomponenten met behulp van vijf modelvarianten: (i) alleen SegFormer, (ii) SegFormer + CycleGAN, (iii) SegFormer + SPADE, (iv) SegFormer + CAFFM, en (v) het volledige model dat SegFormer, CAFFM, CycleGAN, SPADE en motiefbehoudverlies incorporeert. De prestaties werden geëvalueerd met behulp van IoU-, Dice-coëfficiënt-, SSIM-, PSNR- en FID-metrieken.

De basisconfiguratie met enkel SegFormer behaalde een IoU van 84,2%, een Dice-coëfficiënt van 88,5%, een SSIM-waarde van 0,82, een PSNR van 24,8 dB en een FID-score van 31,8. De toevoeging van CycleGAN verbeterde de reconstructiekwaliteit en verlaagde de FID-score naar 27,5, wat wijst op een verhoogd image-realisme. De incorporatie van SPADE verbeterde de structurele gelijkenis en de beeldkwaliteit verder, wat resulteerde in een SSIM-waarde van 0,88 en een FID-score van 23,4. De inclusie van de voorgestelde CAFFM-module zorgde voor aanzienlijke verbeteringen in alle metrieken, waarbij de IoU steeg naar 90,0%, de Dice-coëfficiënt naar 93,1%, de SSIM naar 0,90 en de PSNR naar 29,6 dB, terwijl de FID-score daalde naar 20,3. Het volledige model, waarin daarnaast de motif-preservation loss is geïncorporeerd, behaalde de beste algehele prestaties met een IoU van 93,0%, een Dice-coëfficiënt van 95,4%, een SSIM-waarde van 0,92, een PSNR van 31,2 dB en een FID-score van 17,6.

Tabel 8 geeft een vergelijkend overzicht van representatieve DL-benaderingen die worden gebruikt voor de reconstructie en het behoud van patronen in cultureel erfgoed. Conventionele CNN-gebaseerde methoden bieden effectief lokaal feature-leren en segmentatieprestaties, maar hebben vaak moeite met het behoud van complexe motiefstructuren vanwege de beperkte modellering van lange-afstandsafhankelijkheden. GAN-gebaseerde benaderingen verbeteren de mogelijkheden voor beeldsynthese en stijltransfer; zij kunnen echter last hebben van semantische inconsistenties en het verlies van fijne structurele details. Transformer-gebaseerde methoden verbeteren het globale contextuele begrip, maar missen doorgaans generatieve reconstructiemogelijkheden, terwijl diffusie-gebaseerde methoden een hoog visueel realisme bieden ten koste van een toegenomen computationele complexiteit. Hybride Transformer-GAN-benaderingen pakken deze beperkingen gedeeltelijk aan door mechanismen voor feature-extractie en beeldgeneratie te combineren. In tegenstelling hiermee integreert het voorgestelde SegCycle-SPADE-framework transformer-gebaseerde segmentatie, cross-attention feature-fusie, generatieve reconstructie en segmentatie-gestuurde artistieke synthese binnen een uniforme architectuur, waardoor de structurele getrouwheid, semantische consistentie en het behoud van culturele motieven worden verbeterd. De vergelijking is samengevat in Tabel 8.

Aanpak	Kernmethodologie	Sterktes	Beperkingen	Relevantie voor cultureel erfgoed
Op CNN gebaseerde methoden (bijv. U-Net, DeepLabV3+)	Convolutionele kenmerkextractie en semantische segmentatie	Effectief lokaal kenmerkenleren en nauwkeurige segmentatie	Beperkte modellering van langeafstandsafhankelijkheden; moeilijkheid bij het behouden van complexe motiefstructuren	Geschikt voor motiefsegmentatie, maar minder effectief voor artistieke reconstructie
GAN-gebaseerde methoden (bijv. Pix2Pix, CycleGAN)	Adversariële beeldgeneratie en beeld-naar-beeldvertaling	Hoogwaardige beeldsynthese en stijloverdracht	Trainingsinstabiliteit; semantische inconsistentie; potentieel verlies van fijne structurele details	Nuttig voor patroonherstel, maar culturele motieven worden mogelijk niet nauwkeurig behouden
Transformer-gebaseerde methoden	Zelf-attention en globale contextmodellering	Vangt lange-afstandsafhankelijkheden en complexe visuele relaties op	Hoge computationele kosten; vereist grote trainingsdatasets	Effectief voor complexe patroonanalyse, maar met een beperkt generatief vermogen bij eenstandaardgebruik
Diffusiegebaseerde methoden	Iteratieve beeldgeneratie op basis van ruisonderdrukking	Hoge visuele precisie en beelddiversiteit	Lage inferentiesnelheid; hoge computationele vereisten; beperkte structurele controle	Veelbelovend voor het genereren van erfgoedbeelden, maar rekenintensief
Hybride Transformer-GAN-methoden	Combinatie van transformer-gebaseerde kenmerkextractie en GAN-gebaseerde generatie	Verbeterde globale kenmerkrepresentatie en beeldkwaliteit	Vaak ontbreekt het aan expliciete semantische richtlijnen voor het behoud van motieven	Verbetert de generatiekwaliteit, maar is niet specifiek ontworpen voor motieven uit het cultureel erfgoed
Voorgestelde SegCycle-SPADE	SegFormer + CAFFM + CycleGAN + SPADE	Transformer-gebaseerde segmentatie, aandachtsgestuurde feature-fusie, semantische consistentie, motiefbewaring en controleerbare artistieke reconstructie	Hogere computationele complexiteit dan autonome CNN-gebaseerde benaderingen	Specifiek ontworpen voor de reconstructie en het behoud van patronen van cultureel erfgoed met verbeterde structurele getrouwheid en semantische consistentie

Tabel 8: Vergelijking van representatieve deep learning-benaderingen voor de reconstructie en preservering van patronen in cultureel erfgoed.Kwalitatieve vergelijking van representatieve deep-learning-benaderingen die worden gebruikt voor beeldsegmentatie, patroonreconstructie, stijlgeneratie en de preservering van cultureel erfgoed. De tabel vat de kernmethodologie, sterke punten, beperkingen en toepasbaarheid van elke benadering samen en benadrukt hoe het voorgestelde SegCycle-SPADE-framework semantische segmentatie, feature-fusie, reconstructie en stijlsynthese combineert om uitdagingen met betrekking tot structurele preservering en semantische consistentie in patronen van cultureel erfgoed aan te pakken.

De waargenomen verbeteringen tonen aan dat de CAFFM-module de interactie tussen op segmentatie gebaseerde structurele kenmerken en artistieke stijlrepresentaties effectief versterkt via feature-fusie op basis van cross-attention. Bovendien draagt het motiefbewaringsverlies bij aan het behoud van cultureel significante motiefstructuren tijdens de reconstructie en artistieke synthese, wat resulteert in een verbeterde segmentatieconsistentie, structurele getrouwheid en visueel realisme. Gezamenlijk bevestigen de ablatieresultaten dat de integratie van SegFormer-B2, CAFFM, CycleGAN, SPADE en motiefbewaringsverlies verantwoordelijk is voor de superieure prestaties van het voorgestelde SegCycle-SPADE-framework.

Beschikbaarheid van gegevens:
De WikiArt-dataset die is gebruikt voor het aanleren van artistieke stijlen is openbaar beschikbaar via de Kaggle WikiArt-repository (https://www.kaggle.com/datasets/steubk/wikiart). De Miao Batik-dataset die in deze studie is gebruikt, is openbaar beschikbaar via Zenodo (https://doi.org/10.5281/zenodo.20807658). De verwerkte datasets, segmentatiemaskers, vooraf getrainde modelgewichten, gegenereerde outputs en Python-implementatiebestanden die verbonden zijn aan het voorgestelde SegCycle-SPADE-framework zijn eveneens beschikbaar via dezelfde Zenodo-repository.

AANVULLEND BESTAND:
Aanvullend Bestand 1. Algoritme 1: Implementatie-workflow van het voorgestelde SegCycle-SPADE-framework. Stapsgewijze pseudocode die de volledige implementatie-pipeline van het voorgestelde SegCycle-SPADE-framework beschrijft, inclusief datasetladen, preprocessing, semantische segmentatie met SegFormer-B2, featurefusie met de Cross-Attention Cultural Feature Fusion Module (CAFFM), reconstructie van culturele motieven met CycleGAN, artistieke stijlsynthese met SPADE, modeltraining, validatie, selectie van checkpoints en de uiteindelijke prestatie-evaluatie. Klik hier om dit bestand te downloaden.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het behoud en de digitale reconstructie van ICH-patronen hebben de afgelopen jaren steeds meer aandacht gekregen vanwege het geleidelijke verlies van traditionele ambachten. In eerdere studies is geprobeerd het verlies van cultureel erfgoed aan te pakken via DL-gebaseerde beeldverwerkingstechnieken. Zo stelden Quan et al.³² een raamwerk voor het behoud van cultureel erfgoed voor, gebaseerd op kennisgrafen en DL voor de batikcultuur van de Miao in Guizhou. Hoewel de studie gericht was op de digitale reconstructie van culturele patronen, was de methodologie primair afhankelijk van representaties via kennisgrafen. Op soortgelijke wijze stelden Fu en Razmjooy¹⁶ een raamwerk voor op basis van het feature pyramid network (FPN) voor de verbetering en restauratie van afbeeldingen van cultureel erfgoed. Hoewel deze methode een effectieve feature-extractie bood voor beeldverbetering, incorporeerde het geen begeleiding via beeldsegmentatie of generatieve reconstructiemechanismen voor onvolledige culturele patronen. In tegenstelling hiermee combineert het voorgestelde SegCycle-SPADE-raamwerk meerdere DL-componenten om deze uitdagingen te overwinnen. Ten eerste wordt semantische segmentatie met behulp van het SegFormer-model ingezet voor de nauwkeurige identificatie van motiefregio's binnen patronen van cultureel erfgoed. Vervolgens verbetert een op CAFFM gebaseerde feature-enhancementmodule de feature-representaties voor fijnmazige motiefstructuren. Daarna wordt een CycleGAN-reconstructiemodule gebruikt om ontbrekende of onvolledige regio's binnen culturele patronen te reconstrueren via adversarial learning. Tot slot voert een SPADE-module een stilistische verbetering uit, waarbij de structurele uitlijning met de segmentatiekaarten behouden blijft. Bestaande methoden op basis van CNN, GAN, transformers en diffusie¹⁷^,¹⁹^,²⁰^,²¹^,²²^,²³^,²⁴^,²⁵^,³⁰^,³⁴ bieden elk unieke voordelen; ze vertonen echter ook beperkingen in het behouden van semantische consistentie, het handhaven van structurele kenmerken of het bereiken van computationele efficiëntie, zoals samengevat in Tabel 8. De voorgestelde SegCycle-SPADE-architectuur combineert de sterke punten van SegFormer-gebaseerde segmentatie, cross-attention feature fusion, CycleGAN-reconstructie en SPADE-gestuurde synthese, terwijl deze beperkingen worden aangepakt. Bijgevolg bereikt het raamwerk een verbeterde reconstructiekwaliteit en een beter behoud van cultureel significante motieven.

Ondanks de bemoedigende prestaties vertoont het voorgestelde SegCycle-SPADE-framework nog steeds enkele beperkingen. Ten eerste is de evaluatie uitgevoerd met enkel de Miao Batik- en WikiArt-datasets, wat de generaliseerbaarheid van het framework naar andere domeinen van cultureel erfgoed kan beperken. Ten tweede kan implementatie op platforms met beperkte middelen uitdagend zijn, aangezien de integratie van SegFormer, CAFFM, CycleGAN en SPADE de computationele complexiteit en de geheugeneisen verhoogt. Ten derde is de segmentatieprestatie sterk afhankelijk van de kwaliteit en consistentie van de annotaties van motieven, en kan annotatiebias de bewaring van cultureel significante structuren beïnvloeden. Ten slotte, omdat het framework is geëvalueerd met slechts twee datasets, kunnen aanvullende trainingsgegevens en domeinspecifieke aanpassingen noodzakelijk zijn om de toepasbaarheid over diverse collecties van cultureel erfgoed te waarborgen. Toekomstige studies zouden daarom robuustere trainingsstrategieën, lichtgewicht architecturen, verbeterde annotatieprocedures en cross-domein evaluaties met aanvullende datasets van cultureel erfgoed moeten onderzoeken.

De schaalbaarheid van het SegCycle-SPADE-framework naar grotere en meer diverse datasets van cultureel erfgoed zal een belangrijk focuspunt zijn van toekomstig onderzoek. Er zal cross-culturele evaluatie van erfgoedmotieven uit verschillende regio's en artistieke tradities worden onderzocht om de generalisatie van het model en de culturele aanpassingscapaciteit te verbeteren. Bovendien kunnen multimodale uitbreidingen die tekstuele beschrijvingen, historische verslagen en culturele metadata bevatten, sterkere semantische sturing bieden tijdens de reconstructie. Het framework kan ook worden uitgebreid om driedimensionale reconstructie van cultureel erfgoed te ondersteunen door beeldgebaseerde reconstructie te integreren met 3D-modelleringstechnieken. Daarnaast zal de implementatie in digitale archieven, musea, virtuele tentoonstellingen en platforms voor het behoud van cultureel erfgoed worden verkend om praktische toepassingen van AI-ondersteunde conservering en documentatie van erfgoed te faciliteren. Om de interpreteerbaarheid en culturele authenticiteit verder te verbeteren, zal toekomstig werk de integratie van culturele kennisgrafieken, etnografische documentatie, historische metadata en door experts gecureerde kennisbanken onderzoeken om cultureel geïnformeerde motiefanalyse en reconstructie mogelijk te maken³².

Bij de implementatie van het voorgestelde SegCycle-SPADE-framework moeten verschillende praktische overwegingen in acht worden genomen. Tijdens de training van CycleGAN kan instabiele adversariële convergentie optreden als de verliezen van de generator en discriminator sterk uit balans raken. In dergelijke situaties kan het verlagen van de leerfrequentie, het verhogen van het gewicht van het cycle-consistency-verlies of het monitoren van de dominantie van de discriminator de stabiliteitsvorming van de training verbeteren. Mode collapse kan voorkomen wanneer de generator herhaaldelijk visueel vergelijkbare outputs produceert; dit probleem kan worden beperkt door gebalanceerde adversariële training, het gebruik van een replay-buffer en zorgvuldige monitoring van de verliestrends van de generator en discriminator. Segmentatiefouten kunnen daarnaast optreden wanneer culturele motieven complexe texturen, een laag contrast of ambigue grenzen vertonen. Om dit probleem aan te pakken, moet de beeldkwaliteit vóór de training worden geverifieerd en moeten segmentatiemaskers visueel worden geïnspecteerd om de consistentie van de annotaties te waarborgen. Het handhaven van de aanbevolen inputresolutie en normalisatie-instellingen is daarnaast essentieel voor het behalen van betrouwbare SegFormer-prestaties. Trainingsinstabiliteit kan verder het gevolg zijn van onjuiste leerfrequentie-instellingen, onvoldoende trainingsgegevens of hardware-gerelateerde numerieke variaties. Om de reproduceerbaarheid te verbeteren, moeten vaste random seeds worden gebruikt voor NumPy, PyTorch, CUDA en operaties voor het schudden van de dataset. Bovendien moeten dezelfde preprocessing-pipeline, dataset-partities, modelhyperparameters en softwareomgeving worden gehanteerd bij alle experimentele runs. Periodieke opslag van checkpoints en monitoring van het validatieverlies worden eveneens aanbevolen om prestatieverslechtering te voorkomen en herstel van onderbroken trainingssessies te vergemakkelijken.

Het voorgestelde werk draagt bij aan de theoretische vooruitgang van AI-gebaseerde kaders voor de reconstructie van cultureel erfgoed. Conventionele benaderingen voor beeldrestauratie behandelen beeldsegmentatie, reconstructie en stijlgeneratie over het algemeen als onafhankelijke processen¹⁷^,¹⁹^,²⁰^,³⁰. In tegenstelling hiermee stelt deze studie een kader voor dat deze processen integreert via een segmentatie-gestuurde generatieve reconstructiestrategie. Bijgevolg draagt de studie bij aan de theoretische ontwikkeling van AI-ondersteunde reconstructie van cultureel erfgoed door aan te tonen hoe segmentatie, reconstructie en stijlgeneratie kunnen worden verenigd binnen één enkel kader. Dergelijke integratie is bijzonder belangrijk bij toepassingen voor cultureel erfgoed, waarbij het behoud van motiefstructuur en semantische betekenis cruciaal is. Vanuit een praktisch perspectief biedt het voorgestelde kader een effectieve oplossing voor de digitale bewaring, restauratie en artistieke verbetering van traditionele culturele patronen. Instellingen voor cultureel erfgoed, musea en ontwerpers kunnen SegCycle-SPADE gebruiken om automatisch motiefregio's te identificeren, beschadigde of onvolledige patronen te reconstrueren en visueel verbeterde artistieke weergaven van traditionele ontwerpen te genereren. Deze mogelijkheid is vooral waardevol voor bedreigde ambachtelijke tradities, waaronder Miao batik textielpatronen, waarbij historische artefacten gedeeltelijk beschadigd of onvolledig kunnen zijn. Bovendien kan het kader, door de integratie van generatieve stijlsynthese, moderne culturele designtoepassingen ondersteunen, zoals textielontwerp, digitale artistieke creatie en erfgoededucatie. Op deze manier overbrugt het voorgestelde kader de kloof tussen het behoud van cultureel erfgoed en hedendaagse culturele designtoepassingen.

Desondanks blijven er, ondanks de veelbelovende resultaten die zijn behaald met het voorgestelde SegCycle-SPADE-framework, enkele beperkingen bestaan. Ten eerste is de evaluatie uitgevoerd met enkel de Miao Batik- en WikiArt-datasets, wat de generalisatiecapaciteit van het framework voor het reconstrueren van andere vormen van culturele erfgoedpatronen kan beïnvloeden. Ten tweede kunnen de gegenereerde outputs, omdat het reconstructieproces steunt op GAN-gebaseerde modellen, af en toe artefacten of onnatuurlijke texturen bevatten bij zeer complexe motiefstructuren. Ten derde richt het framework zich momenteel op de reconstructie van tweedimensionale patronen, terwijl sommige objecten van cultureel erfgoed inherent driedimensionale structuren bevatten. Over het algemeen tonen de experimentele bevindingen de effectiviteit aan van het voorgestelde SegCycle-SPADE-framework voor de artistieke reconstructie van ICH-patronen. De integratie van SegFormer-gebaseerde semantische segmentatie, CAFFM, CycleGAN-gebaseerde motiefreconstructie en SPADE-gebaseerde artistieke synthese verbeterde consistent de prestatie-metrieken voor segmentatie, reconstructie en beeldkwaliteit. Ablatiestudies valideerden verder de bijdrage van elk component van het framework, waarbij bleek dat CAFFM en het motiefbehoudverlies de structurele getrouwheid en visuele authenticiteit aanzienlijk verbeterden. Deze bevindingen ondersteunen de centrale hypothese dat door semantische segmentatie gestuurde reconstructie in combinatie met cross-attention feature fusion effectief cultureel significante motieven kan behouden terwijl er artistiek rijke outputs worden gegenereerd. Daarom biedt het voorgestelde framework een betrouwbare en reproduceerbare computationele aanpak voor het digitale behoud, de restauratie en de creatieve revitalisering van ICH-patronen.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Belangenverstrengeling:
De auteurs verklaren dat er geen concurrerende belangen zijn.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs erkennen de academische en institutionele ondersteuning van Guangdong Engineering Polytechnic en South China Normal University tijdens de uitvoering van dit onderzoek. Dit onderzoek werd ondersteund door het National Social Science Fund General Project 2023 (Nr. 23BH161), getiteld “Digital Regeneration Museum: Research on the Activation and Communication of Chinese Classic Calligraphy and Painting Cultural Relics.”

Materialen

Lijst van materialen gebruikt in dit artikel
Naam	Bedrijf	Catalogusnummer	Opmerkingen
Adam-optimizer	PyTorch Optimizer Library	Adam	Optimalisatiealgoritme gebruikt tijdens modeltraining.
CUDA Toolkit	NVIDIA Corporation	CUDA 11.3	GPU-acceleratie voor deep learning-berekeningen.
cuDNN	NVIDIA Corporation	cuDNN 8.2	Acceleratiebibliotheek voor diepe neurale netwerken, gebruikt om training en inferentie te versnellen.
CycleGAN	University of California, Berkeley / Open Source	Officiële PyTorch-implementatie (https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)	Generatief adversarieel netwerk gebruikt voor de reconstructie van culturele motieven.
Pretrained ImageNet-gewichten	ImageNet / Open Source	mit_b2.pth (ImageNet-1K Pretrained Checkpoint)	Gebruikt om de SegFormer-B2-backbone te initialiseren vóór fine-tuning op de Miao Batik-dataset.
Intel-processor	Intel Corporation	Intel Core i7 (11e generatie)	CPU gebruikt voor beeldvoorverwerking, ondersteuning van modeltraining en inferentie.
Matplotlib	Matplotlib Development Team	Matplotlib 3.5.1	Visualisatie van trainingscurven en evaluatieresultaten.
Miao Batik-dataset	Zenodo Repository	DOI: 10.5281/zenodo.20807658	Dataset van culturele motieven met 15.148 afbeeldingen, gebruikt voor semantische segmentatie en patroonreconstructie.
NumPy	NumPy Developers	NumPy 1.21.5	Numerieke berekeningen en datasetverwerking.
NVIDIA GPU	NVIDIA Corporation	NVIDIA RTX 3090 (24 GB VRAM)	Hardwareplatform gebruikt voor modeltraining en inferentie.
OpenCV	OpenCV Foundation	OpenCV 4.5.5	Beeldvoorverwerking, herschalen, interpolatie en Gaussische ruisonderdrukking.
Besturingssysteem	Canonical Ltd.	Ubuntu 20.04 LTS	Experimentele uitvoeringsomgeving.
Pillow (PIL)	Python Imaging Library	Pillow 8.4.0	Laden en manipuleren van afbeeldingen.
Python	Python Software Foundation	Python 3.8.10	Programmeertaal gebruikt voor implementatie en experimentatie.
PyTorch	Meta AI	PyTorch 1.10.0	Deep learning-framework gebruikt voor modeltraining en inferentie.
Random seed	Experimentele instelling	42	Vaste seed gebruikt voor datasetpartitionering, modelinitialisatie en experimentele reproduceerbaarheid.
Scikit-learn	Scikit-learn Developers	Scikit-learn 1.0.2	Datasetpartitionering, statistische analyse en evaluatiemetrieken.
Seaborn	Open Source Community	Seaborn 0.11.2	Statistische datavisualisatie.
SegFormer-B2	NVIDIA Research / Open Source	SegFormer-B2 (MIT-B2 Backbone)	Op Transformer gebaseerd semantisch segmentatiemodel gebruikt voor segmentatie van culturele motieven.
Segmentatiemaskers / annotaties	Miao Batik-dataset	Inbegrepen bij dataset	Semantische segmentatielabels op pixelniveau, gebruikt voor motiefclassificatie en training.
SPADE	NVIDIA Research / Open Source	Officiële PyTorch-implementatie (https://github.com/NVlabs/SPADE)	Segmentatie-gestuurd beeldsynthesemodel gebruikt voor het genereren van artistieke patronen.
TorchVision	Meta AI	TorchVision 0.11.1	Beeldverwerkingshulpmiddelen en datasettransformaties gebruikt met PyTorch.
WikiArt-dataset	WikiArt	https://www.wikiart.org/	Artistieke stijldataset met meer dan 80.000 kunstwerken verdeeld over 27 artistieke stijlen, gebruikt voor stijlerkenning en synthese.

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Huang B, Mo L. SegCycle-SPADE: An end-to-end framework for semantic segmentation-based automated extraction and artistic reconstruction of traditional craft patterns using conditional GAN. PLoS ONE. 2025;20:e0329100.
Yan Z, et al. Digital sustainability of heritage: Exploring indicators affecting the effectiveness of digital dissemination of intangible cultural heritage through qualitative interviews. Sustainability. 2025;17:1593.
Yan Z, et al. Construction of digital dissemination effects evaluation indicator system of traditional techniques of intangible cultural heritage. npj Heritage Science. 2025;13:224.
Imon SS. Intangible cultural heritage as a tourism product in the historic city of Macao. In: Sustainable Management of Historic Settlements in Asia: Role of Intangible Cultural Heritage. Springer Nature Singapore; Singapore. 2025. p.233-240.
Buragohain D, et al. Digitalizing cultural heritage through metaverse applications: Challenges, opportunities, and strategies. Heritage Science. 2024;12:295.
Ma Y. The ghostly ethics of mediatized shaping: Cultural memory creative transformation of Anhui’s ICH in reviving the craftsmanship. Journal of Current Social Issues Studies. 2025;2:240-249.
Wanju T, Wang Z, Tu Y. ICH and e-commerce: Bridging tradition and modernity in cultural creative products. Journal of Economics, Management and Trade. 2025;31:1-8.
Sun L, et al. Research on the redesign of China’s intangible cultural heritage based on sustainable livelihood—The case of Luanzhou shadow play empowering rural development. Sustainability. 2024;16:4555.
Pan S, et al. Constructing a sustainable evaluation framework for AIGC technology in Yixing Zisha pottery: Balancing heritage preservation and innovation. Sustainability. 2025;17:910.
Na Z, Sharul Azim SR. Research on innovative development of Miao embroidery intangible cultural heritage in Guizhou, China based on digital design. Journal of Business and Economic Review. 2024;9:85-94.
Guo S, Canessa A. Ethnic elder poverty: Miao household livelihoods and elderly self-sufficiency practices in Midwest China. Culture, Agriculture, Food and Environment. 2023;45:55-68.
Han D, Cong L. Miao traditional patterns: The origins and design transformation. Visual Studies. 2023;38:425-432.
Dong B, et al. Spatial distribution and tourism competition of intangible cultural heritage: Take Guizhou, China as an example. Heritage Science. 2023;11:64-80.
Chen Z, Ren X, Zhang Z. Cultural heritage as rural economic development: Batik production amongst China’s Miao population. Journal of Rural Studies. 2021;81:182-193.
Zhennan LY, Yahaya SR. An aesthetic study on traditional batik design of Miao ethnicity in China. Kupas Seni. 2021;9:12-25.
Fu X, Razmjooy N. Preserving and enhancing cultural heritage through art design using feature pyramid network optimized by modified builder optimization algorithm. Scientific Reports. 2025;15:42603.
Liu X, Wan J, Wang N. Ancient painting inpainting with regional attention-style transfer and global context perception. Applied Sciences. 2024;14:8777.
Xu Q, Iwasaki M. Image restoration model of wood-structured raw lacquer cultural relics based on diffusion generation network. Journal of Asian Architecture and Building Engineering. 2025:1-19.
Cherian A, Sullivan A. Sem-GAN: Semantically-consistent image-to-image translation [conference presentation]. Presented at: IEEE Winter Conference on Applications of Computer Vision (WACV); 2019. doi: 10.1109/WACV.2019.00196.
Rombach R, et al. High-resolution image synthesis with latent diffusion models [conference presentation]. Presented at: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2022. p.10684-10695. Available from: http://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdf.
Gendy GGH, Nabil S. Diffusion models for image super-resolution: State-of-the-art and future directions. Neurocomputing. 2025;617:128911.
Kazerouni A, et al. Diffusion models in medical imaging: A comprehensive survey. Medical Image Analysis. 2023;88:102846.
Yang L, et al. Diffusion models: A comprehensive survey of methods and applications. ACM Computing Surveys. 2023;56:1-39.
Croitoru FA, Hondru V, Ionescu RT, Shah M. Diffusion models in vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023;45:10850-10869.
Cao H, et al. A survey on generative diffusion models. IEEE Transactions on Knowledge and Data Engineering. 2024;36:2814-2830.
Po R, et al. State of the art on diffusion models for visual computing. Computer Graphics Forum. 2024;43:e15063.
Thampanichwat C, et al. Mindful architecture from text-to-image AI perspectives: A case study of DALL-E, Midjourney, and Stable Diffusion. Buildings. 2025;15:972.
Li W. Enhanced automated art curation using supervised modified CNN for art style classification. Scientific Reports. 2025;15:7319.
Chen C. Algorithm and tool development for creative generation of graphic design of folk houses and ancient buildings integrating cultural and creative elements. Scalable Computing: Practice and Experience. 2024;25:4729-4736.
Liu B, Ji J, Gu L, Jiang Z. An integrated CycleGAN-diffusion approach for realistic image generation [conference presentation]. Presented at: International Conference on Signal Processing and Machine Learning; 2024. p.92-101. doi: 10.1117/12.3027121.
Bao Q, Zhao J, Liu Z, Liang N. AI-assisted inheritance of Qinghua porcelain cultural genes and sustainable design using low-rank adaptation and stable diffusion. Electronics. 2025;14:725.
Quan H, et al. Protection of Guizhou Miao batik culture based on knowledge graph and deep learning. Heritage Science. 2024;12:1-22.
Sun H, et al. HRPGAN: A GAN-based model to generate high-resolution remote sensing images. IOP Conference Series: Earth and Environmental Science. 2020;428:012060.
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. Available from: https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf.

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Engineering Deep Learning CAFFM Artistic Reconstruction Intangible Cultural Heritage Patterns End to End Framework

Reconstructie en artistieke stijlsynthese van patronen van immaterieel cultureel erfgoed, gestuurd door semantische segmentatie, met behulp van een deep learning-framework

In dit artikel

Samenvatting

Samenvatting

Inleiding

Protocol

Resultaten

Discussie

Openbaarmakingen

Dankbetuigingen

Materialen

Referenties

Herprints en machtigingen

Trefwoorden

Gerelateerde artikelen