Ricostruzione guidata dalla segmentazione semantica e sintesi di stile artistico di pattern del patrimonio culturale immateriale tramite un framework di deep learning

Zhi Zhan; Guang Luo

doi:10.3791/71577

Articolo di ricerca

Ricostruzione guidata dalla segmentazione semantica e sintesi di stile artistico di pattern del patrimonio culturale immateriale tramite un framework di deep learning

DOI:

10.3791/71577

⸱

14 agosto 2026

Zhi Zhan¹ , Guang Luo²

¹School of Art and Design, Guangdong Engineering Polytechnic, ²School of Fine Arts, South China Normal University

In questo articolo

Sommario

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo protocollo descrive un flusso di lavoro basato sull'apprendimento profondo per la segmentazione semantica, la ricostruzione e la sintesi stilistica artistica di motivi del patrimonio culturale immateriale, utilizzando l'estrazione di caratteristiche basata su trasformatori, la ricostruzione avversaria e la generazione adattativa spaziale delle immagini, al fine di supportare la conservazione digitale e applicazioni creative nel campo del patrimonio culturale.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La conservazione digitale e la ricostruzione dei modelli del patrimonio culturale immateriale (ICH) hanno attirato un'attenzione crescente con il progresso delle tecniche di sintesi delle immagini basate sull'apprendimento profondo. Gli approcci esistenti basati su SegCycle-SPADE hanno dimostrato un potenziale per la segmentazione strutturale e la ricostruzione artistica dei modelli artigianali tradizionali; tuttavia, permangono alcune limitazioni, tra cui la scarsa diversità dei dataset, l'insufficiente integrazione delle semantica culturale e la preservazione inadeguata delle caratteristiche strutturali dei modelli durante la ricostruzione. Per affrontare queste sfide, questo studio propone un framework SegCycle-SPADE migliorato per la segmentazione semantica e la ricostruzione artistica dei tipi di modelli ICH. Viene impiegato un modello di segmentazione basato su Transformer, SegFormer, per identificare con precisione i confini dei motivi e le regioni del modello. Inoltre, viene introdotto un modulo di fusione delle caratteristiche culturali basato sull'attenzione incrociata (Cross-Attention Cultural Feature Fusion Module) per potenziare i motivi culturalmente significativi e migliorare la rappresentazione delle caratteristiche. La traduzione e la ricostruzione del modello vengono eseguite utilizzando CycleGAN, mentre la denormalizzazione spazialmente adattativa (SPADE) viene utilizzata per la sintesi dello stile artistico al fine di mantenere la coerenza semantica tra le mappe di segmentazione e le immagini generate. Per migliorare la generalizzazione del modello e la diversità artistica, il framework viene addestrato utilizzando sia il dataset dei motivi culturali Miao Batik sia il dataset WikiArt. I risultati sperimentali dimostrano che il framework SegCycle-SPADE proposto, guidato dall'attenzione, migliora l'accuratezza della segmentazione e le prestazioni di ricostruzione dei modelli del patrimonio rispetto ai metodi esistenti di ricostruzione basati su reti avversarie generative (GAN). Il framework proposto fornisce una soluzione scalabile per la documentazione assistita dall'intelligenza artificiale, la ricostruzione e la rivitalizzazione artistica dei disegni tradizionali dei modelli.

Introduzione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il patrimonio culturale, che comprende elementi immateriali come usanze, lingue e credenze, e elementi materiali come opere d'arte, edifici e documenti scritti, è una manifestazione fondamentale della storia, della creatività e dell'identità umana¹. La conservazione del patrimonio mira a permettere alle comunità di riconnettersi con le proprie origini e consente alle generazioni future di trarre beneficio dalla memoria culturale collettiva. Promuove inoltre la comprensione interculturale, l'apprezzamento di tradizioni e usanze diverse e il riconoscimento di differenti narrazioni storiche. Queste risorse culturali ci aiutano a comprendere i valori, i punti di vista e le esperienze delle generazioni passate e contribuiscono alla formazione delle identità sociali contemporanee e alla continuità culturale. I principi fondamentali della conservazione del patrimonio culturale sono illustrati nella Figura 1.

Diagramma del framework SegCycle-SPADE; include SegFormer, CycleGAN e SPADE per la ricostruzione delle immagini.
Figura 1. Panoramica concettuale della ricostruzione di motivi del patrimonio culturale immateriale mediante il framework SegCycle-SPADE. Rappresentazione schematica dell'approccio proposto per la ricostruzione e il miglioramento di motivi appartenenti al patrimonio culturale immateriale. Il flusso di lavoro comprende la raccolta del dataset dai dataset Miao Batik e WikiArt, la pre-elaborazione delle immagini, la segmentazione semantica mediante SegFormer-B2, la fusione delle caratteristiche tramite il modulo Cross-Attention Cultural Feature Fusion Module (CAFFM), la ricostruzione dei motivi mediante CycleGAN, la sintesi dello stile artistico tramite SPADE e la valutazione finale mediante metriche di segmentazione e ricostruzione. Le frecce indicano il flusso dei dati e delle rappresentazioni delle caratteristiche all'interno del framework. Cliccare qui per visualizzare una versione ingrandita di questa figura.

La memoria collettiva e l'eredità culturale della società umana sono incarnate nel patrimonio culturale immateriale (ICH), che svolge un ruolo fondamentale come mezzo di espressione artistica e identità culturale. Tuttavia, l'ICH affronta sfide significative a causa degli effetti della globalizzazione e della digitalizzazione²^,³^,⁴. Molte pratiche ICH a rischio richiedono nuovi approcci alla conservazione e allo sviluppo, a causa del calo del numero di artigiani qualificati e della limitata adattabilità ai mercati moderni⁵^,⁶. Come settore importante della ricerca sull'ICH, il design sostenibile enfatizza lo sviluppo integrato di cultura, società e ambiente, offrendo una via pratica per la conservazione continua dell'ICH. Attraverso approcci di design sostenibile, l'ICH può essere rivitalizzato adattandosi alle esigenze della società contemporanea⁷^,⁸.

In questo studio, il termine «modelli di patrimonio culturale immateriale» si riferisce a rappresentazioni di motivi visivi che comunicano e preservano valori culturali immateriali sottostanti. Di conseguenza, il quadro proposto mira a preservare e documentare le informazioni culturali associate a questi motivi, ricostruendone al contempo le forme visive.

Il ricamo Miao e il batik sono forme significative del patrimonio culturale immateriale cinese, che riflettono la storia, le credenze e le tradizioni della comunità Miao attraverso motivi simbolici come uccelli, farfalle e totem ancestrali⁹. Questi motivi sono profondamente radicati negli abiti rituali e nelle pratiche festive e contribuiscono allo sviluppo culturale ed economico locale¹⁰^,¹¹. I progressi nelle tecnologie digitali, in particolare nell'intelligenza artificiale (AI) e nell'apprendimento profondo (DL), hanno creato nuove opportunità per la conservazione, l'analisi, la ricostruzione e la documentazione del patrimonio culturale. Il batik Miao del Guizhou, una delle tradizioni di batik meglio conservate in Cina, rappresenta un mezzo importante per trasmettere le conoscenze culturali, le credenze, le usanze e i rituali del popolo Miao¹²^,¹³^,¹⁴^,¹⁵^,¹⁶.

Studi recenti hanno dimostrato il potenziale dell'apprendimento profondo (DL) nella conservazione del patrimonio culturale e nella ricostruzione di motivi, ottenendo un'accuratezza di segmentazione migliore (accuratezza a livello di pixel = 88,6%, media dell'intersezione rispetto all'unione [IoU] = 78,1%) e prestazioni di ricostruzione superiori rispetto a U-Net e DeepLabV3+. Tuttavia, permangono diverse sfide. Gli attuali approcci basati su reti avversarie generative (GAN) spesso incontrano difficoltà nel preservare i dettagli strutturali fini nei motivi complessi.¹⁷, mentre la limitata diversità del dataset ne restringe la generalizzazione attraverso diversi domini culturali¹⁸Inoltre, modelli di traduzione da immagine a immagine come CycleGAN possono non mantenere la coerenza semantica tra mappe di segmentazione e immagini generate¹⁹e l'assenza di meccanismi attentivi può provocare la perdita di dettagli di motivi culturalmente significativi durante la ricostruzione²⁰Pertanto, è necessario un framework avanzato che integri la segmentazione basata su trasformatori, l'apprendimento guidato dall'attenzione delle caratteristiche e l'addestramento su più dataset per una ricostruzione efficace dei pattern di emorragia cerebrale (ICH).

Nuove opportunità per la conservazione del patrimonio culturale sono emerse grazie alla digitalizzazione del ricamo Miao e al rapido sviluppo dell'intelligenza artificiale generativa. I modelli diffusivi, una classe emergente di modelli generativi profondi, hanno dimostrato prestazioni notevoli nei compiti di visione artificiale grazie alle loro potenti capacità di generazione di contenuti²¹^,²²^,²³^,²⁴^,²⁵. Durante il processo di diffusione inversa, il modello impara gradualmente a ricostruire i dati originali a partire da rappresentazioni rumorose²⁶^,²⁷^,²⁸. Studi precedenti hanno inoltre esplorato l'applicazione di tecnologie di ricostruzione tridimensionale e di progettazione assistita da computer (CAD) per la conservazione e la diffusione del patrimonio culturale.

Anche se le reti neurali convoluzionali (CNN) e i GAN offrono prestazioni elevate nella generazione di immagini e nella conservazione delle caratteristiche, presentano ancora sfide legate a campi recettivi limitati, al collasso delle modalità e all'instabilità durante l'addestramento²⁹. Le architetture basate sui trasformatori, come SegFormer e Segmenter, eccellono nel catturare il contesto globale e le relazioni semantiche; tuttavia, richiedono un'elevata potenza computazionale e possono avere difficoltà a gestire dettagli finemente definiti. Sebbene i modelli di diffusione come Stable Diffusion dimostrino solide capacità di generazione di immagini, spesso mancano di un controllo preciso sulle caratteristiche strutturali e artistiche dei disegni generati. Inoltre, la maggior parte degli approcci esistenti adotta strategie di addestramento indipendenti che limitano lo scambio efficace di informazioni e l'ottimizzazione collaborativa tra i componenti di segmentazione e generazione, portando a un compromesso tra accuratezza strutturale e autenticità artistica³⁰.

I recenti modelli basati sulla diffusione, come la diffusione latente e la diffusione stabile (Stable Diffusion), raggiungono una sintesi di immagini di alta qualità ma richiedono un denoising iterativo, il che comporta un aumento del costo computazionale e del tempo di inferenza. Inoltre, mantenere motivi culturali fini e una coerenza strutturale rimane una sfida senza meccanismi di condizionamento specializzati. I modelli generativi basati su Transformer catturano efficacemente le relazioni contestuali globali, ma spesso richiedono dataset su larga scala e risorse computazionali sostanziali. Al contrario, il framework proposto SegCycle-Spatially Adaptive Denormalization (SegCycle-SPADE) combina la segmentazione basata su SegFormer, la fusione di caratteristiche mediante cross-attenzione, la ricostruzione mediante CycleGAN e la sintesi guidata da SPADE per fornire un orientamento strutturale esplicito, migliorando così il mantenimento dei motivi, la coerenza semantica e la ricostruzione controllabile dei pattern del patrimonio culturale.

La maggior parte delle attuali tecniche di segmentazione semantica si basa su reti neurali convoluzionali completamente connesse (FCNN) con architetture a forma di U³¹. Durante la fase di codifica, vengono estratte caratteristiche profonde con ampi campi recettivi attraverso una serie di operazioni di convoluzione e sottocampionamento. La fase di decodifica ripristina progressivamente la risoluzione spaziale mediante operazioni di sovracampionamento, consentendo infine una previsione semantica a livello di pixel. Grazie ai collegamenti diretti (skip connections), che compensano la perdita di informazioni spaziali durante il sottocampionamento e migliorano le prestazioni di segmentazione in un'ampia gamma di applicazioni, è possibile integrare direttamente nel decodificatore informazioni ad alta risoluzione provenienti da diversi livelli dell'encoder³².

Sebbene i recenti metodi basati su GAN, CNN e diffusione abbiano mostrato risultati promettenti nella generazione di immagini e nel restauro del patrimonio culturale, spesso incontrano difficoltà nel mantenere la coerenza semantica, preservare i dettagli strutturali fini e garantire una ricostruzione riproducibile attraverso diversi motivi culturali. La maggior parte degli approcci esistenti tratta la segmentazione, la ricostruzione e la sintesi dello stile come processi separati, il che può portare alla perdita di elementi culturalmente significativi e a risultati incoerenti. Per colmare questa lacuna metodologica, lo studio propone un framework unificato SegCycle-SPADE che integra la segmentazione semantica basata su SegFormer, un nuovo modulo di fusione delle caratteristiche culturali basato su cross-attenzione (CAFFM), la ricostruzione basata su CycleGAN e la sintesi dello stile guidata da SPADE. Integrando esplicitamente le informazioni di segmentazione strutturale con l'apprendimento generativo delle caratteristiche, il framework proposto consente una ricostruzione più affidabile, semanticamente coerente e riproducibile dei motivi del patrimonio culturale immateriale, preservando al contempo l'autenticità culturale e la qualità artistica.

In questo studio vengono identificate tre limitazioni principali degli attuali approcci alla ricostruzione del patrimonio culturale: (i) insufficiente preservazione dei motivi strutturali fini nei metodi di ricostruzione basati su GAN; (ii) generalizzazione limitata derivante dall'addestramento su dataset ridotti o specifici per dominio; e (iii) inadeguata coerenza semantica tra gli output di segmentazione e le immagini generate nei framework di traduzione da immagine a immagine. Inoltre, segmentazione, ricostruzione e sintesi dello stile sono comunemente trattate come processi separati, portando alla perdita di elementi culturalmente importanti durante la ricostruzione. Combinando segmentazione semantica basata su transformer, fusione di caratteristiche con cross-attenzione, ricostruzione CycleGAN e sintesi artistica guidata da SPADE all'interno di un'architettura unificata, il framework proposto SegCycle-SPADE affronta queste limitazioni e migliora la preservazione dei motivi, la coerenza semantica e l'autenticità artistica nella ricostruzione di pattern ICH.

L'obiettivo principale di questo studio è sviluppare un framework SegCycle-SPADE avanzato per la ricostruzione artistica guidata dalla segmentazione semantica di motivi ICH. Il framework integra SegFormer per una segmentazione precisa dei motivi culturali, CycleGAN per la ricostruzione dei motivi e SPADE per una sintesi artistica coerente nello stile. Per migliorare la rappresentazione delle caratteristiche e preservare i dettagli strutturali fini, viene introdotto un CAFFM per facilitare un'efficace interazione tra le caratteristiche di segmentazione e quelle generative. Addestrato sui dataset Miao Batik e WikiArt, il framework proposto migliora l'autenticità della ricostruzione, la coerenza stilistica e la preservazione di motivi culturalmente significativi.

Combinando segmentazione semantica, fusione guidata dall'attenzione delle caratteristiche, ricostruzione di schemi e sintesi stilistica all'interno di un'architettura unificata, questo studio presenta un nuovo framework SegCycle-SPADE per la ricostruzione artistica di schemi ICH. I principali contributi di questo lavoro sono i seguenti. Primo, viene sviluppato un nuovo framework di ricostruzione guidato dalla segmentazione semantica mediante l'integrazione di SegFormer, che consente l'estrazione accurata e la preservazione di motivi culturali complessi ed elementi strutturali. Secondo, viene introdotto un nuovo CAFFM per fondere efficacemente le caratteristiche di segmentazione con rappresentazioni generative, consentendo al modello di catturare relazioni a lungo raggio tra motivi culturali e schemi stilistici artistici. Terzo, il CAFFM proposto migliora la preservazione di elementi culturalmente significativi, aumentando al contempo il realismo visivo e la coerenza strutturale degli schemi del patrimonio ricostruiti. Quarto, integrando CycleGAN per la ricostruzione di schemi culturali e SPADE per la sintesi artistica guidata dalla segmentazione, il framework garantisce sia accuratezza semantica sia autenticità stilistica nelle uscite generate. Quinto, al fine di migliorare la generalizzazione e la diversità artistica, il modello viene addestrato utilizzando il dataset di motivi culturali del Batik Miao per l'apprendimento degli schemi culturali e il dataset WikiArt per la rappresentazione dello stile artistico. WikiArt funge da dataset ausiliario per valutare la capacità di generalizzazione del framework, la robustezza nell'apprendimento delle caratteristiche e l'efficacia del controllo stilistico in diversi contesti visivi, piuttosto che come stile bersaglio per un'applicazione diretta nei prodotti del patrimonio culturale Miao. Infine, rispetto ai metodi esistenti basati su GAN per la ricostruzione del patrimonio culturale, i risultati sperimentali dimostrano che il framework proposto SegCycle-SPADE raggiunge una maggiore accuratezza di segmentazione, qualità di ricostruzione e coerenza stilistica.

Protocollo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il framework proposto, SegCycle-SPADE, è stato progettato per ricostruire e migliorare i motivi tradizionali del patrimonio culturale attraverso la segmentazione semantica, il potenziamento delle caratteristiche mediante meccanismi di attenzione, la ricostruzione generativa e la sintesi di stili artistici. Questo studio ha utilizzato dataset pubblici di immagini artistiche e del patrimonio culturale, inclusi il dataset Miao Batik e il dataset WikiArt. La ricerca non ha coinvolto partecipanti umani, dati di pazienti, informazioni personali, soggetti animali o cartelle cliniche; pertanto, non è stata richiesta l'approvazione del comitato etico istituzionale né il consenso informato. Inizialmente, il dataset dei motivi culturali Miao Batik e il dataset WikiArt sono stati utilizzati per la valutazione. Il dataset Miao Batik è stato descritto in Quan et al. (2024)32 ed è composto da 15.148 immagini annotate di motivi tradizionali di batik Miao. Le annotazioni esistenti fornite dagli autori del dataset sono state utilizzate direttamente, senza generare ulteriori annotazioni manuali in questo studio. Successivamente, è stato effettuato un pre-elaborazione delle immagini mediante ridimensionamento, normalizzazione, riduzione del rumore e creazione di una maschera di segmentazione. I parametri esatti del pre-elaborazione sono descritti nella sottosezione Pre-elaborazione dei dati. Il framework proposto utilizza un modello basato su trasformatori denominato SegFormer-B2 per la segmentazione semantica dei dati. Il metodo è progettato per rilevare le regioni chiave dei motivi culturali e apprenderne la struttura. Le caratteristiche segmentate vengono quindi potenziate attraverso un meccanismo di attenzione, in cui le informazioni rilevanti relative ai motivi culturali sono enfatizzate e quelle irrilevanti sono scartate. La configurazione del meccanismo di attenzione è descritta nella sottosezione CAFFM. Le caratteristiche potenziate vengono quindi elaborate da CycleGAN, dove le strutture danneggiate sono ricostruite mediante apprendimento ciclico. Durante l'addestramento, campioni di motivi incompleti sono stati artificialmente creati applicando operazioni di mascheratura casuale e occlusione parziale alle immagini originali di Miao Batik. Queste procedure di degrado hanno simulato la perdita di regioni del motivo e danni strutturali comunemente osservati in manufatti del patrimonio culturale deteriorati. Le immagini incomplete risultanti sono state utilizzate come input per il modulo di ricostruzione di CycleGAN, mentre le corrispondenti immagini originali sono state utilizzate come obiettivi di ricostruzione. I motivi del patrimonio culturale ricostruiti vengono quindi potenziati tramite SPADE, dove il miglioramento artistico è eseguito sulla base delle mappe di segmentazione generate. Le prestazioni del framework proposto sono state valutate mediante metriche quantitative di segmentazione e qualità dell'immagine, mentre l'autenticità visiva dei motivi culturali ricostruiti è stata valutata qualitativamente. L'autenticità visiva è stata valutata mediante ispezione visiva dei motivi culturali generati e non è stata utilizzata come metrica quantitativa indipendente. La valutazione si è concentrata sulla conservazione del motivo, coerenza semantica, caratteristiche culturali, coerenza strutturale e aspetto artistico rispetto ai corrispondenti motivi culturali di riferimento. La valutazione quantitativa delle prestazioni del modello è stata effettuata utilizzando Accuratezza di Segmentazione, Indice di Sovrapposizione (IoU), Coefficiente di Dice, Structural Similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR) e Fréchet Inception Distance (FID). Figura 2 illustra il flusso di lavoro complessivo del framework proposto SegCycle-SPADE e riassume le metriche di valutazione utilizzate in questo studio.

Diagramma di elaborazione del dataset mediante SegFormer, CycleGAN per la generazione di stili artistici; incluse metriche di valutazione.
Figura 2. Flusso Architetturale Generale del Framework Proposto SegCycle-SPADE. Panoramica dell'intero flusso di lavoro di SegCycle-SPADE. Le immagini provenienti dai dataset Miao Batik e WikiArt vengono preelaborate prima di essere elaborate attraverso la segmentazione semantica utilizzando SegFormer-B2, il potenziamento delle caratteristiche mediante CAFFM, la ricostruzione del motivo con CycleGAN e la generazione di stili artistici tramite SPADE. Le prestazioni del modello vengono valutate utilizzando l'accuratezza di segmentazione, l'Intersection over Union (IoU), il coefficiente di Dice, l'Indice di Similarità Strutturale (SSIM), il PSNR e la Fréchet Inception Distance (FID), mentre l'autenticità visiva viene valutata in modo qualitativo. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Il framework SegCycle-SPADE per la ricostruzione di motivi del patrimonio culturale è progettato per integrare più componenti di apprendimento profondo (DL) al fine di ottenere una segmentazione precisa dei motivi, una loro ricostruzione e un miglioramento artistico, come illustrato nella Figura 2. Vengono utilizzate immagini dal dataset dei motivi culturali del Batik Miao e dal dataset WikiArt per fornire una varietà di motivi culturali e stili artistici. Inizialmente, le immagini vengono elaborate tramite un modulo di segmentazione semantica basato su SegFormer, per identificare e delimitare i motivi culturali rispetto allo sfondo. L'architettura complessiva comprende quattro fasi principali. Primo, il modello SegFormer estrae mappe di segmentazione semantica dalle immagini dei motivi culturali. Secondo, il CAFFM integra le caratteristiche di segmentazione con rappresentazioni generative per potenziare l'apprendimento delle caratteristiche. Terzo, il modulo CycleGAN ricostruisce i motivi culturali utilizzando le rappresentazioni delle caratteristiche fuse. Infine, il modulo SPADE genera output artisticamente migliorati preservando la coerenza strutturale attraverso una sintesi guidata dalla segmentazione. Le mappe delle caratteristiche affinate vengono successivamente elaborate dal modulo di ricostruzione CycleGAN, che apprende a ripristinare i motivi culturali incompleti mappando i pattern degradati alle loro forme complete corrispondenti. Campioni di motivi incompleti sono stati generati applicando operazioni casuali di mascheramento e occlusione parziale alle immagini originali del Batik Miao, simulando così regioni di pattern mancanti e degrado strutturale comunemente osservati in manufatti culturali danneggiati. Ogni immagine degradata è stata abbinata alla sua immagine originale corrispondente, che ha funto da obiettivo di ricostruzione durante l'addestramento. Questa strategia ha permesso al modulo CycleGAN di apprendere il ripristino delle strutture dei motivi mancanti preservando al contempo la coerenza semantica e le caratteristiche culturalmente significative. Infine, il generatore SPADE produce output artistici visivamente migliorati condizionando la sintesi dell'immagine sulle mappe di segmentazione generate, mantenendo così l'integrità strutturale dei motivi culturali durante tutto il processo di miglioramento artistico.

Nei passaggi seguenti è descritto il framework proposto SegCycle-SPADE.

Passaggio 1: Raccolta del dataset
Per raggiungere gli obiettivi di apprendimento dei modelli culturali e di generazione dello stile artistico, sono stati utilizzati due dataset. Il Miao Batik Cultural Motif Dataset è stato impiegato per fornire informazioni sui modelli culturali tradizionali. Il dataset è disponibile pubblicamente su Zenodo (https://doi.org/10.5281/zenodo.20807658) e contiene 15.148 immagini annotate di motivi tradizionali di batik Miao. Le annotazioni esistenti fornite dai creatori del dataset sono state utilizzate direttamente, e nessuna ulteriore annotazione manuale è stata prodotta in questo studio. Il dataset WikiArt è stato utilizzato per fornire informazioni diversificate sullo stile artistico, necessarie alla generazione dello stile artistico, ed è stato ottenuto dal repository pubblico WikiArt (https://www.wikiart.org/).

Passaggio 2: Preelaborazione dei dati
Tutte le immagini sono state preelaborate mediante ridimensionamento, normalizzazione e riduzione del rumore. Le annotazioni esistenti relative ai motivi culturali, ottenute dalle fonti originali del dataset, sono state utilizzate per supportare la fase di segmentazione semantica. Non sono state eseguite ulteriori procedure di annotazione o ri-etichettatura nell'ambito di questo studio.

Passaggio 3: Segmentazione dei Motivi Semantici mediante SegFormer
Il modello SegFormer è stato utilizzato per la segmentazione dei motivi culturali. Il backbone esatto di SegFormer e la strategia di inizializzazione sono descritti nel sottosezione Semantic Pattern Segmentation Using SegFormer. In particolare, è stata impiegata l'architettura SegFormer-B2 con un backbone MIT-B2 preaddestrato su ImageNet per la segmentazione semantica dei motivi. Questo modello cattura efficacemente informazioni contestuali globali preservando al contempo i dettagli strutturali complessi dei pattern culturali tradizionali.

Passaggio 4: CAFFM
Il CAFFM combina caratteristiche di segmentazione semantica con rappresentazioni generative, consentendo al framework di apprendere sia le caratteristiche dei motivi strutturali sia le informazioni sullo stile artistico. I dettagli dell'integrazione del CAFFM sono forniti nel sottosezione CAFFM. Il modulo è posizionato tra la fase di segmentazione semantica basata su SegFormer e la fase di ricostruzione generativa, dove fonde le caratteristiche strutturali derivate dalla segmentazione con le caratteristiche di ricostruzione attraverso un'attenzione incrociata multi-testa. Questo processo migliora la preservazione dei motivi culturali e aumenta il realismo degli output ricostruiti.

Passaggio 5: Ricostruzione del modello (CycleGAN)
Le caratteristiche fuse vengono successivamente elaborate dal modulo CycleGAN per ricostruire le strutture dei modelli culturali. L'architettura CycleGAN e la configurazione di addestramento sono descritte nel sottosezione Ricostruzione del modello mediante CycleGAN. Il modulo di ricostruzione è costituito da due generatori e due discriminatori, utilizza un'architettura di generatore a rete residua con nove blocchi residui, impiega un discriminatore PatchGAN e viene addestrato utilizzando perdite avversarie e di coerenza ciclica. Questa configurazione consente il mapping bidirezionale tra domini e facilita la ricostruzione di strutture di modelli culturali incomplete.

Passaggio 6: Generazione di Stile Artistico (SPADE)
I modelli ricostruiti vengono quindi elaborati attraverso il modulo SPADE per eseguire la sintesi stilistica artistica guidata dalla segmentazione. La configurazione del generatore SPADE è descritta nel sottosezione Artistic Style Generation Using SPADE. Il modulo utilizza blocchi residui SPADE, strati di normalizzazione adattiva spaziale e condizionamento semantico derivato dalle mappe di segmentazione di SegFormer e dalle rappresentazioni delle caratteristiche CAFFM. Condizionando la generazione delle immagini sulle mappe di segmentazione, gli output sintetizzati mantengono un allineamento strutturale con i motivi culturali originali, integrando al contempo caratteristiche stilistiche artistiche.

Passaggio 7: Valutazione delle prestazioni
Il framework proposto è stato valutato utilizzando diverse metriche di segmentazione e di valutazione della qualità delle immagini, tra cui Accuratezza di Segmentazione, IoU, Coefficiente di Similarità di Dice (Dice), SSIM, PSNR e FID. Per valutare la coerenza sperimentale, tutti gli esperimenti sono stati ripetuti cinque volte utilizzando diversi semi casuali, e i risultati sono riportati come media ± deviazione standard. La significatività statistica è stata valutata mediante test t appaiati, con una soglia di significatività di p < 0,05.

Raccolta del dataset
Nel framework proposto di SegCycle-SPADE, vengono utilizzati due dataset per la comprensione dei modelli culturali e l'apprendimento dello stile. Il primo dataset impiegato nel framework proposto è il dataset dei motivi culturali del Batik Miao. Questo dataset contiene motivi culturali del Batik Miao, generalmente immagini tradizionali del Batik Miao che raffigurano elementi come animali, piante e forme geometriche, utilizzati nell'arte dell'etnia Miao. Il dataset comprende immagini ricche di informazioni testurali, generalmente importanti per la conservazione del patrimonio culturale. Il secondo dataset impiegato nel framework proposto di SegCycle-SPADE è il dataset WikiArt. Questo dataset contiene un elevato numero di opere d'arte, provenienti generalmente da stili diversi. Il dataset viene utilizzato per l'apprendimento di stili complessi, utile in generale per migliorare le opere artistiche. Il dataset comprende 80.000 opere d'arte in alta definizione, con 27 stili differenti, risultando così particolarmente adatto per compiti di generazione o trasformazione dello stile basati su reti profonde (DL).

Dataset Miao Batik:
Il dataset Miao Batik (https://doi.org/10.5281/zenodo.20807658) comprende 15.148 immagini di motivi batik che raffigurano elementi culturalmente significativi. Le immagini includono una varietà di disegni tradizionali, come motivi animali (ad esempio farfalle e pesci), pattern a base vegetale e motivi geometrici portatori di simbolismo culturale. Questo dataset rappresenta un componente fondamentale del framework proposto poiché fornisce strutture culturali autentiche che permettono al modulo di segmentazione di identificare e preservare con precisione i confini dei motivi durante la ricostruzione del pattern (Tabella 1). In questo studio, i motivi culturalmente importanti si riferiscono a elementi visivi simbolici comunemente documentati nella letteratura sul patrimonio culturale Miao e rappresentati nelle annotazioni del dataset, inclusi uccelli, farfalle, motivi floreali e totem ancestrali. Tali motivi sono stati selezionati sulla base del loro riconosciuto significato culturale e della loro ricorrenza nei tradizionali disegni Miao di batik e ricami, piuttosto che esclusivamente sulla frequenza di occorrenza o sulla composizione spaziale. Le annotazioni dei motivi guidate da esperti e le etichette di segmentazione sono state ottenute dalla fonte originale del dataset Miao Batik e utilizzate direttamente in questo studio. Gli autori non hanno effettuato ulteriori annotazioni manuali, ripetizioni dell'etichettatura o procedure di annotazione guidate da esperti. Le annotazioni esistenti fornite dai creatori del dataset sono state utilizzate per l'addestramento e la valutazione della segmentazione semantica.

Parametro	Descrizione
Nome del dataset	Miao Batik Cultural Pattern Dataset
Fonte del dataset	Zenodo Repository (DOI: 10.5281/zenodo.20807658)
Dominio	Patrimonio Culturale Immateriali (ICH) / Analisi di Motivi Tessili
Numero totale di immagini	15.148 immagini
Tipo di immagine	Immagini digitali di tradizionali motivi tessili Miao batik
Categorie di motivi	Motivi animali, motivi vegetali e motivi geometrici
Origine culturale	Cultura etnica Miao, Provincia di Guizhou, Cina
Risoluzione originale delle immagini	Immagini ad alta risoluzione (tipicamente ≥ 1.000 pixel sul lato più corto) acquisite come scansioni o fotografie in formato grezzo prima della pre-elaborazione
Risoluzione per l'addestramento	Immagini ridimensionate a 256 × 256 pixel durante la pre-elaborazione
Disponibilità di annotazioni	Le annotazioni di segmentazione esistenti fornite dai creatori del dataset sono state utilizzate senza modifiche per l'addestramento e la valutazione. Nessuna ulteriore annotazione manuale, ri-etichettatura o procedura di verifica da esperti è stata eseguita in questo studio.
Applicazione in questo studio	Segmentazione dei motivi culturali, estrazione delle caratteristiche, preservazione dei motivi e ricostruzione dei pattern

Tabella 1: Caratteristiche del Dataset dei Motivi Culturali del Batik Miao. Sintesi del dataset di motivi culturali del batik Miao utilizzato per la segmentazione semantica, l'analisi dei pattern culturali e la ricostruzione dei motivi. La tabella descrive la provenienza del dataset, le caratteristiche delle immagini, le categorie di motivi, l'origine culturale, la risoluzione delle immagini e il ruolo all'interno del framework proposto SegCycle-SPADE.

Dataset WikiArt:
Il dataset WikiArt [https://www.wikiart.org/] è un ampio archivio digitale di arte molto utilizzato, composto da oltre 80.000 immagini appartenenti a 27 stili artistici diversi riportati nella Tabella 2. Gli stili includono l'arte rinascimentale, l'impressionismo, il cubismo e il surrealismo. Il dataset riveste un'importanza fondamentale nel framework proposto poiché fornisce le conoscenze necessarie affinché il modulo SPADE possa generare motivi arricchiti culturalmente mantenendo al contempo le informazioni strutturali ottenute dal processo di segmentazione. Il dataset comprende 56.000 immagini per l'apprendimento e 12.000 immagini destinate sia alla validazione che ai test. Le immagini presenti nel dataset contribuiscono in modo efficace all'addestramento del modello di apprendimento profondo (DL).

Parametro	Descrizione
Nome del dataset	Dataset WikiArt
Fonte del dataset	Archivio WikiArt (https://www.wikiart.org/)
Dominio	Arte digitale e dipinti
Numero totale di immagini	Circa 80.000 opere d'arte
Immagini di addestramento	56.000
Immagini di validazione	12.000
Immagini di test	12.000
Stili artistici	27 stili artistici, tra cui Rinascimento, Impressionismo, Cubismo, Surrealismo, Espressionismo, Realismo e Arte astratta
Risoluzione originale delle immagini	Le risoluzioni originali delle immagini variano a seconda delle opere e delle fonti. Le immagini sono state ridimensionate a una risoluzione uniforme di 256 × 256 pixel durante il pre-elaborazione.
Risoluzione di addestramento	Le immagini sono state ridimensionate a 256 × 256 pixel durante il pre-elaborazione, prima dell'apprendimento dello stile artistico e della sintesi artistica guidata dalla segmentazione.
Partizionamento del dataset	Partizionamento casuale stratificato (70% addestramento, 15% validazione e 15% test) utilizzando un seme casuale fisso pari a 42
Strategia di campionamento degli stili	È stato adottato un campionamento proporzionale stratificato per preservare la distribuzione dei 27 stili artistici nei sottoinsiemi di addestramento, validazione e test
Applicazione in questo studio	Apprendimento dello stile artistico, rappresentazione dello stile e sintesi artistica guidata dalla segmentazione

Tabella 2: Caratteristiche del Dataset WikiArt. Sintesi del dataset WikiArt utilizzato per l'apprendimento dello stile artistico e la sintesi guidata dallo stile delle immagini. La tabella descrive la provenienza del dataset, la distribuzione delle immagini, la copertura degli stili artistici, la suddivisione del dataset, la risoluzione delle immagini e la sua applicazione all'interno del framework proposto SegCycle-SPADE.

Il dataset Miao Batik contiene 15.148 immagini rappresentative di motivi culturali tradizionali Miao.32 Il dataset è disponibile pubblicamente tramite Zenodo (https://doi.org/10.5281/zenodo.20807658). Prima dell'addestramento del modello, tutte le immagini sono state ispezionate visivamente, ridimensionate a 256 × 256 pixel, normalizzate e verificate per individuare campioni corrotti o duplicati. Il controllo di qualità non ha portato all'esclusione di alcuna immagine; pertanto, tutte le 15.148 immagini sono state mantenute per le analisi successive. Il dataset è stato suddiviso casualmente in sottoinsiemi di addestramento (70%), validazione (15%) e test (15%) utilizzando un seme casuale fisso pari a 42, al fine di garantire la riproducibilità delle suddivisioni. Il dataset WikiArt è stato ottenuto attraverso il repository ufficiale di WikiArt (https://www.wikiart.org/) e contiene oltre 80.000 opere d'arte appartenenti a 27 stili artistici differenti. Per gli esperimenti di apprendimento dello stile, sono state utilizzate 56.000 immagini per l'addestramento, 12.000 per la validazione e 12.000 per il test.

Preelaborazione dei dati
Prima di addestrare il framework proposto SegCycle-SPADE, il dataset dei motivi culturali del Batik Miao e il dataset WikiArt sono stati sottoposti a diverse fasi di preelaborazione per garantire una qualità dell'immagine coerente e una rappresentazione precisa delle caratteristiche. La stessa pipeline fondamentale di preelaborazione, inclusa la riduzione del rumore gaussiano, la normalizzazione, il ridimensionamento a una risoluzione di ingresso uniforme e la verifica della qualità dell'immagine, è stata applicata a entrambi i dataset. Tuttavia, i dataset hanno svolto ruoli distinti all'interno del framework. Il dataset WikiArt è stato utilizzato per l'apprendimento e la sintesi dello stile artistico, mentre il dataset Batik Miao è stato impiegato principalmente per la segmentazione e la ricostruzione dei motivi culturali. Non sono state apportate modifiche specifiche ai dataset al di là di questi ruoli specifici del compito. Per garantire un'elaborazione coerente da parte del modello di apprendimento profondo, le immagini sono state innanzitutto ridimensionate a una risoluzione fissa. Questo passaggio era necessario poiché le immagini nei due dataset presentavano risoluzioni diverse a seconda della loro origine. Il ridimensionamento ha migliorato l'efficienza computazionale e ha evitato inconsistenze dimensionali che avrebbero potuto influenzare l'addestramento. Il secondo passaggio di preelaborazione è stato la normalizzazione, in cui i valori dei pixel sono stati scalati a un intervallo standardizzato per stabilizzare gli aggiornamenti del gradiente durante l'addestramento. Successivamente, le immagini sono state elaborate mediante filtraggio gaussiano per ridurre il rumore che avrebbe potuto interferire con le strutture dei motivi culturali. Per il dataset Batik Miao, le maschere di segmentazione esistenti dei motivi culturali, ottenute direttamente dalla fonte originale del dataset, sono state utilizzate senza modifiche per l'addestramento e la valutazione della segmentazione semantica. Non sono state generate nuove maschere di segmentazione specificamente per questo studio.

Salvo diversa indicazione, le equazioni che descrivono metodi consolidati sono state adattate da studi precedenti e citate di conseguenza. Le equazioni che descrivono il CAFFM proposto e il framework composito di ottimizzazione SegCycle-SPADE sono state sviluppate dagli autori per questo studio.

Si rappresenti un'immagine di input del dataset come Equation 1:

Rappresentazione dello spazio vettoriale, I ∈ ℝⁿˣʷˣᶜ, illustrazione della formula, concetto matematico educativo. (1)

Qui, H, W e C indicano rispettivamente l'altezza dell'immagine, la larghezza e il numero di canali colore. Tutte le immagini vengono ridimensionate a una dimensione fissa H′ × W′, come mostrato nella Equazione 2:

Formula di elaborazione delle immagini, equazione Ir = Resize(I,H'×W'), relativa ai metodi di ridimensionamento.

Qui, I_r è l'immagine ridimensionata. I valori normalizzati dei pixel sono calcolati secondo la Equazione 3:

Formula matematica per l'intensità normalizzata, equazione: In = Ir/255, rilevante nell'analisi dei dati. (3)

Ciò contribuisce a stabilizzare la procedura di addestramento. La filtrazione del rumore viene eseguita utilizzando un filtro gaussiano come mostrato nella Equazione 4:

Equazione di equilibrio statico Is=In*G(σ), simbolo, orientata alla matematica, analisi della ricerca.

Qui, G(σ) è un filtro gaussiano e * rappresenta la convoluzione. È stato utilizzato un filtro gaussiano con kernel 5 × 5 e deviazione standard σ = 1.0. È stata applicata una padding riflessiva ai pixel del bordo al fine di ridurre gli artefatti ai margini. Prima della riduzione di scala e della normalizzazione, il processo di denoising è stato eseguito immediatamente dopo il caricamento dell'immagine. Per garantire una pre-elaborazione uniforme durante l'intero studio, la stessa configurazione del filtro è stata applicata a ogni immagine nei dataset Miao Batik e WikiArt. Per il dataset Miao Batik, le maschere di segmentazione sono create in base alla Equazione 5:

Formula matematica per l'identificazione della regione del motivo, che mostra i criteri di classificazione dei pixel.

Qui, M è una maschera di segmentazione utilizzata per guidare il modello SegFormer.

La pipeline di preelaborazione inizia con l'acquisizione di immagini dal dataset Miao Batik e dal dataset WikiArt, come mostrato in Figura 3. Durante l'addestramento non sono state impiegate tecniche di aumento dei dati. Dopo la preelaborazione, che includeva ridimensionamento, normalizzazione, denoising gaussiano e preparazione delle maschere di segmentazione, le immagini sono state utilizzate direttamente per l'addestramento, la validazione e il test del framework proposto SegCycle-SPADE. Il primo passo della pipeline di preelaborazione consiste nel ridimensionare le immagini a una dimensione fissa, consentendo al modello di apprendimento profondo di elaborarle in modo più efficiente. Il secondo passo prevede la normalizzazione, che converte i valori dei pixel in un intervallo numerico standardizzato e facilita la convergenza del modello. Il terzo passo riguarda la rimozione del rumore, mediante il quale le immagini vengono ripulite da rumori indesiderati per migliorare il riconoscimento dei pattern. Inoltre, per il dataset Miao Batik, le regioni dei motivi culturali vengono annotate, consentendo la generazione di maschere utilizzate nel modulo di segmentazione del modello proposto, garantendo così che i motivi culturali siano preservati durante la generazione. L'output finale di questa fase è un dataset pulito, pronto per l'addestramento dei moduli di segmentazione e generazione del modello proposto.

Diagramma di elaborazione del dataset; i passaggi includono ridimensionamento, normalizzazione, rimozione del rumore, annotazione dei motivi.
Figura 3. Pipeline di pre-elaborazione dei dati per immagini del patrimonio culturale. Flusso di lavoro che illustra le procedure di pre-elaborazione delle immagini applicate prima dell'addestramento del modello. La pipeline comprende l'acquisizione del dataset, il ridimensionamento delle immagini, la normalizzazione, la denoising gaussiana, le annotazioni esistenti dei motivi culturali e la preparazione delle maschere di segmentazione. Le immagini e le maschere risultanti elaborate vengono utilizzate come input per la segmentazione semantica e la ricostruzione dei pattern. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Ogni immagine è stata sottoposta a un processo di controllo qualità prima dell'addestramento del modello. Il dataset Miao Batik conteneva 15.148 immagini. Campioni corrotti, duplicati e di bassa qualità erano già stati gestiti dai creatori originali del dataset; pertanto, nessun'ulteriore immagine è stata esclusa durante il controllo qualità in questo studio. Di conseguenza, tutte le 15.148 immagini sono state mantenute per l'analisi. Le immagini sono state caricate in formato RGB durante la pre-elaborazione e ridimensionate a 256 × 256 pixel utilizzando l'interpolazione bilineare. I valori dei pixel sono stati scalati dall'intervallo [0, 255] a [0, 1] dividendo per 255. Successivamente è stata applicata una normalizzazione per canale utilizzando valori medi di [0,485, 0,456, 0,406] e valori di deviazione standard di [0,229, 0,224, 0,225] per i canali rosso, verde e blu, rispettivamente. La pipeline di pre-elaborazione includeva il caricamento delle immagini, la conversione in RGB, il ridimensionamento, la scalatura dei valori dei pixel, la normalizzazione e la conversione in tensori. Quando necessario, le immagini in scala di grigi sono state convertite in formato RGB a tre canali per mantenere la compatibilità con i modelli di apprendimento profondo. Dopo la pre-elaborazione, le immagini sono state suddivise in sottoinsiemi di addestramento, validazione e test. Tutte le fasi del framework SegCycle-SPADE—compresa la segmentazione semantica, la fusione di caratteristiche, la ricostruzione del motivo e la sintesi artistica basata su SPADE—hanno utilizzato una risoluzione di ingresso costante di 256 × 256 pixel.

Segmentazione per Pattern Semantici utilizzando SegFormer
Dopo questa fase di pre-elaborazione, le immagini pulite e normalizzate del dataset dei motivi culturali del Batik Miao e del dataset WikiArt vengono inserite nel modulo di segmentazione semantica basato sul framework proposto di SegFormer-B2. Lo scopo di questo passaggio è identificare correttamente e separare i motivi culturali presenti nei pattern del patrimonio. Il framework proposto di SegFormer si basa su un'architettura transformer che incorpora un codificatore Transformer gerarchico e un decoder MLP leggero per catturare accuratamente informazioni contestuali globali nonché informazioni strutturali dettagliate da complessi pattern del patrimonio. Il modello estrae innanzitutto rappresentazioni di caratteristiche a più scale dall'immagine in ingresso, seguite da una fusione di queste rappresentazioni attraverso il decoder per generare pattern segmentati precisi. Ciò garantisce che i pattern nell'immagine del patrimonio vengano segmentati correttamente in motivi come pattern geometrici, pattern floreali e pattern simbolici, separandoli così dallo sfondo mantenendone l'integrità strutturale. Queste informazioni strutturali vengono successivamente utilizzate nelle fasi successive di generazione dei pattern all'interno del framework SegCycle-SPADE.

Si indichi l'immagine in ingresso preelaborata con Equation 6:

Equazione che illustra lo spazio dell'immagine da dimensioni a valori reali; formula: I_p ∈ ℝ^(H×W×C) (6)

L'encoder SegFormer suddivide l'immagine in porzioni ed estrae caratteristiche gerarchiche utilizzando strati transformer, come mostrato nella Equazione 7¹:

Equazione che mostra il processo di codifica delle caratteristiche; formula: F = Encoder(Ip).

Qui, F indica le mappe di caratteristiche multiscala ottenute dall'encoder transformer. Queste caratteristiche codificano sia i pattern locali di trama sia le relazioni contestuali globali tra le regioni del motivo. Il modello SegFormer estrae mappe di caratteristiche a diverse scale come definito nella Equazione 8:

Formula di notazione vettoriale F={F1,F2,F3,F4}, utilizzata nell'analisi dell'equilibrio statico, notazione matematica.

L'uso di rappresentazioni multiscala facilita il rilevamento di schemi di dimensioni diverse all'interno di motivi culturali. Infine, le caratteristiche vengono combinate utilizzando il decodificatore MLP come mostrato nella Equazione 9¹:
Equazione: S=Decoder(F₁,F₂,F₃,F₄); formula matematica, funzione decodificatrice.

In questo caso, S indica la mappa finale di segmentazione predetta.

Il modello SegFormer-B2 è stato inizializzato utilizzando pesi preaddestrati su ImageNet e successivamente affinato sul dataset Miao Batik per la segmentazione dei motivi culturali. Il checkpoint preaddestrato è stato ottenuto dall'implementazione ufficiale di SegFormer. In particolare, il checkpoint MIT-B2 preaddestrato su ImageNet-1K (mit_b2.pth) fornito dal repository ufficiale di SegFormer è stato utilizzato per inizializzare il modello SegFormer-B2 prima dell'affinamento. I pesi preaddestrati corrispondono al modello MIT-B2 rilasciato dagli autori di SegFormer e sono stati impiegati come modello iniziale per l'addestramento alla segmentazione semantica. I restanti strati specifici per il compito sono stati inizializzati utilizzando le procedure di inizializzazione dei pesi predefinite di PyTorch prima dell'addestramento.

Viene utilizzato un codificatore Transformer gerarchico a quattro stadi con incorporamenti di patch sovrapposti. Nella fase iniziale, la dimensione della patch è stata impostata a 7 × 7 con uno stride di 4. Per ciascuno dei quattro stadi del codificatore, le dimensioni degli incorporamenti erano rispettivamente 64, 128, 320 e 512. Nei quattro stadi erano presenti 1, 2, 5 e 8 testine di autoattenzione multi-testa, e le profondità corrispondenti del codificatore erano rispettivamente di 3, 4, 6 e 3 livelli. Le caratteristiche multiscala recuperate dal codificatore sono state aggregate mediante un decoder completamente basato su MLP, leggero. Prima di generare la mappa finale di segmentazione, il decoder ha proiettato le caratteristiche di ogni stadio del codificatore in un singolo spazio di incorporamento. Tutti i blocchi Transformer hanno utilizzato la funzione di attivazione Gaussian Error Linear Unit (GELU). Durante l'addestramento è stato applicato un tasso di dropout pari a 0,1 per migliorare la capacità di generalizzazione e ridurre l'overfitting.

Durante la fase di addestramento, il framework SegFormer riceve le immagini preelaborate da entrambi i dataset. Le immagini del dataset Miao Batik contengono regioni di motivi che fungono da etichette per l'apprendimento supervisionato del modello di segmentazione. L'encoder Transformer elabora l'intera immagine e cattura le relazioni a lungo raggio tra i componenti dell'immagine, aspetto particolarmente importante per i motivi tradizionali del batik che presentano elementi distribuiti spazialmente. Il meccanismo gerarchico di estrazione delle caratteristiche cattura contemporaneamente strutture locali, come texture geometriche ripetute. Il decoder MLP elabora queste caratteristiche estratte e produce una maschera di segmentazione che evidenzia le regioni dei motivi. Le mappe di segmentazione generate in questa fase vengono successivamente utilizzate come input strutturali per il modulo di attenzione e per la fase di ricostruzione del motivo, contribuendo così a preservare l'autenticità dei pattern generati.

I motivi culturali sono stati suddivisi in diverse classi per la segmentazione semantica in base alle loro caratteristiche visive e culturali. La tassonomia di segmentazione comprendeva motivi animali (ad esempio, farfalle, pesci, uccelli e altre fauna simboliche), motivi vegetali (ad esempio, fiori, foglie, rampicanti e motivi botanici), motivi geometrici (ad esempio, forme ripetute, bordi e strutture geometriche astratte) e aree di sfondo che rappresentano zone prive di motivi. Per assegnare ogni pixel a una delle classi predefinite sono state utilizzate maschere di segmentazione a livello di pixel. Le etichette intere sono state codificate come segue: Etichetta 0 = sfondo, Etichetta 1 = motivi animali, Etichetta 2 = motivi vegetali ed Etichetta 3 = motivi geometrici. Le annotazioni di segmentazione e le etichette dei motivi sono state ottenute direttamente dalla fonte originale del dataset Miao Batik. In questo studio non sono state eseguite ulteriori annotazioni manuali, modifiche delle etichette, verifiche dei contorni o procedure di conferma da esperti. Le annotazioni esistenti fornite dai creatori del dataset sono state utilizzate senza modifiche per l'addestramento e la valutazione.

Il modello SegFormer per la segmentazione di motivi culturali elabora le immagini preelaborate del dataset Miao Batik e del dataset WikiArt mediante un meccanismo basato su trasformatori per un'accurata rilevazione delle regioni di motivi culturali, come mostrato in Figura 4. In primo luogo, l'immagine in ingresso contenente motivi culturali tradizionali viene fornita al modello SegFormer. L'encoder basato su trasformatori estrae sia informazioni contestuali globali sia caratteristiche strutturali locali da porzioni dell'immagine. Le caratteristiche risultanti multiscala vengono trasmesse al decoder di segmentazione, che utilizza una rete feed-forward ibrida per affinare le rappresentazioni delle caratteristiche e migliorare il rilevamento dei motivi. L'uscita del modello SegFormer è una maschera di segmentazione che evidenzia i pixel corrispondenti ai motivi culturali, sopprimendo al contempo le informazioni di sfondo irrilevanti. I motivi culturali isolati fungono quindi da guida strutturale per le fasi successive del framework SegCycle-SPADE.

Diagramma di SegFormer; segmentazione delle immagini con encoder Transformer, estrazione di caratteristiche, maschera di segmentazione.
Figura 4. Segmentazione semantica basata su SegFormer-B2 dei motivi culturali. Architettura del modulo di segmentazione semantica SegFormer-B2 utilizzato per l'estrazione dei motivi culturali, addestrato esclusivamente sul dataset Miao Batik. Il framework comprende un encoder basato su Transformer per l'estrazione di caratteristiche multiscala e un decoder di segmentazione leggero per la generazione delle maschere dei motivi. Il modello prevede quattro classi semantiche—animale, vegetale, geometrico e sfondo—dove le maschere di segmentazione risultanti identificano le regioni dei motivi culturalmente significativi sopprimendo le informazioni di sfondo irrilevanti. Questi output di segmentazione forniscono un orientamento strutturale per le fasi successive di fusione delle caratteristiche, ricostruzione e sintesi artistica del framework proposto SegCycle-SPADE. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Non è necessario creare nuove annotazioni di segmentazione nel framework proposto. Il dataset Miao Batik è stato ottenuto da una fonte pubblica già esistente, e il modello è stato addestrato utilizzando le informazioni sui motivi fornite dagli autori del dataset. Durante il processo di apprendimento, il modello SegFormer ha prodotto mappe di segmentazione semantica. Di conseguenza, lo studio attuale non ha richiesto alcun software aggiuntivo per l'annotazione manuale, linee guida per l'annotazione o procedure di controllo della qualità delle annotazioni.

CAFFM
Per migliorare l'interazione tra le caratteristiche della segmentazione semantica e le rappresentazioni della ricostruzione generativa, lo studio ha proposto anche un CAFFM. L'encoder SegFormer-B2 fornisce mappe di caratteristiche semantiche al modulo CAFFM, mentre il passaggio di ricostruzione di CycleGAN fornisce mappe di caratteristiche generative. In primo luogo, vengono utilizzati strati di proiezione lineare per proiettare entrambi i flussi di caratteristiche in uno spazio di incorporamento comune. Per il calcolo dell'attenzione incrociata, vengono create rappresentazioni di query (Q), chiave (K) e valore (V) utilizzando i tensori di caratteristiche generati. Le relazioni tra le informazioni sui motivi strutturali e gli elementi dello stile artistico sono quindi modellate mediante attenzione incrociata multi-testa. Successivamente, vengono applicate normalizzazione dello strato, connessioni residue e strati feed-forward con attivazione GELU alle rappresentazioni di caratteristiche fuse. Lo stadio di sintesi basato su SPADE riceve l'output del modulo CAFFM, consentendo la preservazione di temi culturalmente significativi senza compromettere la coerenza artistica.

Per garantire la compatibilità delle caratteristiche, le caratteristiche di ingresso vengono inizialmente proiettate, mediante strati di proiezione lineare, in uno spazio di incorporamento condiviso con una dimensione di incorporamento pari a 256. Le interconnessioni tra le informazioni strutturali semantiche e le rappresentazioni stilistiche generative vengono quindi modellate utilizzando un meccanismo di attenzione incrociata MultiHead con otto testine di attenzione. Il calcolo dell'attenzione incrociata utilizza i vettori Query (Q), Key (K) e Value (V), prodotti da specifici strati di trasformazione lineare. Per aumentare la stabilità dell'addestramento e mantenere l'integrità delle caratteristiche, vengono impiegate connessioni residue e la normalizzazione del livello (Layer Normalization), al fine di potenziare ulteriormente le rappresentazioni delle caratteristiche fuse. L'apprendimento non lineare delle caratteristiche viene quindi migliorato applicando una rete feed-forward con la funzione di attivazione Gaussian Error Linear Unit (GELU). Il modulo genera una rappresentazione delle caratteristiche in uscita di dimensione 256, che viene inviata ad altre fasi per la sintesi creativa. Il CAFFM combina con successo i dati dello stile artistico con le strutture dei motivi culturali mediante una tecnica di fusione basata sull'attenzione incrociata, migliorando così la preservazione dei motivi e la coerenza visiva nei modelli del patrimonio culturale ricostruiti.

Nel sistema proposto, le caratteristiche strutturali sono derivate dal dataset Miao Batik, mentre le caratteristiche stilistiche sono apprese dal dataset WikiArt. Sia la mappa delle caratteristiche ottenuta dalla rete di segmentazione SegFormer utilizzando immagini del dataset Miao Batik indicata con F_s, mentre la mappa delle caratteristiche derivata dal ramo di estrazione delle caratteristiche stilistiche utilizzando immagini WikiArt è indicata con F_a. Il CAFFM proposto combina i due domini delle caratteristiche mediante un meccanismo di cross-attenzione per apprendere sia le dipendenze strutturali che quelle stilistiche dei motivi culturali. Tabella 3 riporta tutte le caratteristiche architetturali, inclusi le dimensioni degli embedding, i livelli di normalizzazione, le funzioni di attivazione e la configurazione delle testine di attenzione. Per una dimensione dell'immagine in ingresso di 256 × 256 pixel, l'encoder SegFormer-B2 ha prodotto mappe delle caratteristiche semantiche di dimensione 64 × 64 × 128, mentre il ramo di estrazione delle caratteristiche stilistiche ha prodotto mappe delle caratteristiche di dimensione 64 × 64 × 128. Entrambe le mappe delle caratteristiche sono state proiettate attraverso strati lineari apprendibili in uno spazio di embedding condiviso di dimensione 256 prima della fusione mediante cross-attenzione.

Parametro	Configurazione
Framework proposto	SegCycle-SPADE
Modello di segmentazione semantica	SegFormer-B2
Stadi dell'encoder SegFormer	4
Inizializzazione dei pesi	SegFormer-B2 preaddestrato su ImageNet-1K (backbone MIT-B2)
Origine del checkpoint	Repository ufficiale NVIDIA SegFormer (https://github.com/NVlabs/SegFormer); checkpoint: segformer.b2.512x512.ade.160k
Strategia di fine-tuning	Finetuning end-to-end sul dataset Miao Batik
Dimensione dell'embedding delle patch	7 × 7
Passo delle patch	4
Dimensioni dell'embedding	64, 128, 320 e 512
Profondità dell'encoder	3, 4, 6 e 3
Teste di attenzione	1, 2, 5 e 8
Tipo di decoder	Decoder completamente MLP
Funzione di attivazione	GELU
Tasso di dropout	0,1
Modulo di potenziamento delle caratteristiche	Modulo di fusione delle caratteristiche culturali con attenzione incrociata (CAFFM)
Dimensione dell'embedding CAFFM	256
Teste di attenzione CAFFM	8
Scale di fusione CAFFM	4
Modello di ricostruzione	CycleGAN
Modello di generazione dello stile	SPADE
Dataset culturale	Dataset Miao Batik
Dataset di stile	Dataset WikiArt
Immagini Miao Batik	15.148
Immagini WikiArt	Circa 80.000
Risoluzione dell'immagine in ingresso	256 × 256 pixel
Formato colore	RGB
Metodo di interpolazione	Interpolazione bilineare
Metodo di denoising	Filtraggio gaussiano
Dimensione del kernel gaussiano	5 × 5
Sigma gaussiano (σ)	1
Intervallo di normalizzazione	[0, 1]
Dimensione del batch	16
Numero di epoche	100
Ottimizzatore	Adam
Tasso di apprendimento	0,0002
Parametri Adam	β₁ = 0,5, β₂ = 0,999, ε = 1 × 10⁻⁸, weight decay = 0
Funzioni di perdita	Perdita di segmentazione, perdita avversaria, perdita di coerenza ciclica, perdita di ricostruzione, perdita di preservazione del motivo e perdita di coerenza stilistica
Strategia di suddivisione del dataset	Addestramento / Validazione / Test
Set di addestramento	70%
Set di validazione	15%
Set di test	15%
Seed casuale	42
Metriche di valutazione	Accuratezza di segmentazione, IoU, coefficiente di Dice, SSIM, PSNR e FID
Linguaggio di programmazione	Python 3.8.10
Framework di deep learning	PyTorch 1.10.0
Piattaforma hardware	GPU NVIDIA RTX 3090 (24 GB VRAM), Intel Core i7 (11ª generazione), 32 GB RAM
Ambiente operativo	Ubuntu 20.04 LTS

Tabella 3: Configurazione sperimentale e del modello. Sintesi dei componenti architetturali, della configurazione di addestramento, delle impostazioni di pre-elaborazione, dei set di dati, dei parametri di ottimizzazione, delle metriche di valutazione e dell'ambiente computazionale utilizzati per l'implementazione e la valutazione del framework proposto SegCycle-SPADE.

Il modulo di attenzione mappa innanzitutto la mappa delle caratteristiche in rappresentazioni di query, chiave e valore utilizzando Equazione 10:

Formule di equilibrio statico, Q=FsWq, K=FsWk, V=FsWv, equazione per l'analisi meccanica.

Qui, W_q, W_k e W_v sono matrici di pesi apprendibili. I pesi dell'attenzione vengono calcolati in base alla similarità tra il vettore di query e il vettore chiave utilizzando la Equazione 11¹⁷:

Formula della funzione Softmax, A=Softmax((QK^T)/√d_k), equazione per il meccanismo di attenzione.

Qui, d_k è la dimensione del vettore chiave. La rappresentazione delle caratteristiche migliorata viene calcolata moltiplicando i pesi dell'attenzione con la matrice dei valori utilizzando l'Equazione 12:

$Formula di equilibrio statico $F_a = A \cdot V$ mostrata; concetto chiave nell'analisi del bilancio delle forze.$

Qui, F_a è la rappresentazione migliorata della mappa delle caratteristiche. La rappresentazione migliorata delle caratteristiche viene calcolata combinando le caratteristiche originali di segmentazione con le caratteristiche potenziate ottenute mediante il meccanismo di attenzione utilizzando la Equazione 13:

$Equazione di equilibrio statico $ F_e = F_s + F_a $, che descrive le forze, formula.$

Qui, F_e è la mappa delle caratteristiche potenziata utilizzata per la ricostruzione del pattern. Il CAFFM viene esteso con un meccanismo di attenzione incrociata multiscala per estrarre caratteristiche relative a motivi culturali a diverse scale. Sia F_sⁱ a indicare le caratteristiche di segmentazione alla scala i, mentre F_a^j indica le caratteristiche di stile artistico alla stessa scala. La rappresentazione finale delle caratteristiche è definita mediante la Equazione 14:

$Formula del meccanismo di attenzione $F_{\text{fusion}} = \sum_{i=1}^{N} \text{Attention}(Q_i, K_i, V_i)$.$

Qui, Q_i, K_i e V_i rappresentano rispettivamente la matrice di query, la matrice di chiavi e la matrice dei valori alla scala i, mentre N indica il numero di scale delle caratteristiche. In questo studio, N = 4, corrispondente alle mappe delle caratteristiche estratte a risoluzioni spaziali di 1/4, 1/8, 1/16 e 1/32 della dimensione dell'immagine in ingresso. Queste rappresentazioni multiscala delle caratteristiche sono state fuse utilizzando pesi di attenzione apprendibili prima della ricostruzione e della sintesi artistica. Questa estensione consente al metodo di estrarre motivi culturali e texture globali per ricostruire pattern culturali. CAFFM si colloca tra la fase di segmentazione basata su SegFormer e la fase di sintesi creativa basata su SPADE nel sistema proposto SegCycle-SPADE. In primo luogo, mentre CycleGAN genera contemporaneamente caratteristiche di ricostruzione contenenti informazioni stilistiche e relative ai pattern, SegFormer-B2 recupera mappe di caratteristiche semantiche che descrivono le proprietà strutturali dei motivi culturali. Il modulo CAFFM riceve questi due flussi di caratteristiche e utilizza una fusione basata sull'attenzione incrociata per identificare le relazioni tra rappresentazioni strutturali e artistiche. Al fine di generare pattern culturalmente autentici mantenendo coerenza semantica e caratteristiche strutturali, le mappe di caratteristiche fuse risultanti vengono quindi inviate al modulo SPADE per la sintesi creativa guidata dalla segmentazione.

Ricostruzione del Modello mediante CycleGAN
Una volta completata la fase di potenziamento delle caratteristiche basata sull'attenzione, le mappe delle caratteristiche conterranno le strutture dei motivi culturali potenziate. Tuttavia, le mappe delle caratteristiche potrebbero ancora presentare regioni di motivi incompleti o danneggiate. Pertanto, per affrontare il problema della ricostruzione dei modelli, il framework proposto utilizzerà il modello CycleGAN. Nel framework proposto, i due domini saranno i modelli originali dei motivi culturali e i modelli ricostruiti dei motivi culturali. Utilizzando le caratteristiche potenziate ottenute dalle fasi precedenti, il modello CycleGAN ricostruirà i modelli culturali mantenendo la coerenza strutturale. Ciò garantirà che i modelli culturali, come quelli geometrici, floreali e simbolici, conservino la loro disposizione spaziale. Le immagini originali di Miao Batik sono state sottoposte a operazioni di mascheramento casuale e di occlusione parziale per generare motivi culturali incompleti o danneggiati. Queste procedure di degrado hanno simulato regioni di modelli mancanti e danni strutturali comunemente osservati in manufatti del patrimonio culturale deteriorati. Le immagini degradate sono state utilizzate come input per il modulo di ricostruzione, mentre le corrispondenti immagini originali sono state impiegate come immagini di riferimento per la valutazione delle prestazioni e della qualità della ricostruzione. Questa strategia ha permesso al modello di apprendere il ripristino delle strutture dei motivi mancanti preservando al contempo la coerenza semantica e le caratteristiche culturali.

Sia X il dominio dei modelli culturali incompleti e Y il dominio dei modelli culturali ricostruiti. I due generatori apprendono a eseguire una mappatura bidirezionale utilizzando Equazione 15:

Diagramma di funzioni e applicazioni GF:X→Y, FM:Y→X, trasformazioni matematiche nelle equazioni.

Qui, G_E viene utilizzato per ricostruire le strutture dei motivi e F_M per riportare i modelli nel dominio originale. La perdita avversaria è utilizzata per garantire che i modelli ricostruiti siano realistici (Equazione 16)³⁰

$Equazione della perdita GAN $L_{GAN}$; formula per il miglioramento dei modelli generativi; espressione matematica.$

Qui, D_Y è il discriminatore utilizzato per distinguere i modelli reali da quelli ricostruiti, e G_E(x) indica il modello ricostruito generato. CycleGAN impone inoltre la coerenza ciclica per preservare la disposizione strutturale dei motivi culturali (Equazione 17)³⁰.

$Formula matematica della funzione di perdita $L_{cycle}(G_F, F_M)$ nella modellizzazione computazionale.$

La funzione di perdita finale è definita utilizzando l'Equazione 18³⁰:

Equazione di equilibrio statico, L_totale=L_GAN(G_E,D_Y,X,Y)+L_GAN(F_M,D_X,Y,X)+λ_L_ciclo(G_E,F_M).

Qui, λ_i indica il coefficiente di ponderazione per la perdita di coerenza ciclica ed è stato impostato a 10 durante l'addestramento, in linea con la formulazione originale di CycleGAN. Questo valore è stato scelto per bilanciare l'apprendimento avversario e la coerenza di ricostruzione tra i domini sorgente e target.

Il modulo di ricostruzione CycleGAN è composto da due generatori e due discriminatori per la traduzione bidirezionale delle immagini. Ogni generatore segue un'architettura a rete residua costituita da un livello iniziale di convoluzione 7 × 7, seguito da due livelli di convoluzione di sottocampionamento, nove blocchi residui e due livelli di sovracampionamento. Tutte le operazioni di convoluzione utilizzano una dimensione del kernel pari a 3 × 3, ad eccezione del livello di ingresso, che impiega un kernel 7 × 7 per un'estrazione avanzata delle caratteristiche. Dopo ogni livello convoluzionale viene applicata la normalizzazione per istanza (Instance Normalization) al fine di migliorare la stabilità dell'addestramento, mentre l'attivazione ReLU viene utilizzata in tutta la rete del generatore. Il livello di uscita impiega una funzione di attivazione Tanh per generare uscite immagine normalizzate. Il discriminatore segue un'architettura PatchGAN 70 × 70, costituita da una serie di livelli convoluzionali con dimensioni del kernel pari a 4 × 4 e canali delle caratteristiche progressivamente crescenti. Nel discriminatore vengono impiegate la normalizzazione per istanza e l'attivazione LeakyReLU (pendenza negativa = 0,2) per migliorare la discriminazione delle caratteristiche e l'apprendimento avversario. Il modulo CycleGAN riceve in ingresso immagini preelaborate di motivi culturali e genera rappresentazioni di pattern ricostruiti, che vengono successivamente trasmesse al CAFFM per l'integrazione con le caratteristiche di segmentazione. L'addestramento del CycleGAN è stato effettuato utilizzando l'ottimizzatore Adam (β₁ = 0,5, β₂ = 0,999) con un tasso di apprendimento iniziale pari a 0,0002. Il tasso di apprendimento è stato mantenuto costante per le prime 100 epoche e successivamente ridotto linearmente a zero nel periodo rimanente di addestramento. Per stabilizzare l'addestramento del discriminatore è stato utilizzato un buffer di riproduzione contenente 50 immagini precedentemente generate. I generatori e i discriminatori sono stati aggiornati con un rapporto di aggiornamento 1:1, con un aggiornamento del generatore seguito da un aggiornamento del discriminatore in ogni iterazione di addestramento.

Il processo di ricostruzione del CycleGAN si basa sulle mappe delle caratteristiche potenziate ottenute mediante il meccanismo CAFFM mostrato in Figura 5. Le mappe delle caratteristiche contengono motivi culturali potenziati provenienti dalle fasi precedenti di segmentazione e CAFFM. Tali mappe vengono utilizzate come ingresso per il primo generatore G_E. Il primo generatore G_E apprende la mappatura necessaria per ricostruire i modelli culturali. Gli output vengono quindi inviati al discriminatore D_Y per distinguere tra modelli culturali reali e modelli ricostruiti. Il discriminatore D_Y aiuta il generatore G_E a produrre output realistici. Per garantire che i modelli culturali non vengano distorti durante la ricostruzione, il secondo generatore F_M esegue una mappatura di coerenza ciclica. Il secondo generatore F_M rimappa gli output al dominio originale. Gli output vengono quindi valutati dal discriminatore per verificarne il realismo. Gli output finali vengono successivamente inviati al modulo SPADE per la generazione dello stile artistico nella fase successiva del framework proposto SegCycle-SPADE.

Processo di ricostruzione del modello; diagramma che utilizza GAN per la generazione di motivi culturali.
Figura 5. Flusso di lavoro della ricostruzione del modello basato su CycleGAN. Flusso di lavoro del modulo di ricostruzione CycleGAN. Rappresentazioni delle caratteristiche potenziate dall'attenzione vengono fornite come input alla rete generatrice per ricostruire motivi culturali incompleti. Il discriminatore valuta gli output ricostruiti rispetto ai modelli di riferimento, mentre il mapping di coerenza ciclica preserva l'integrità strutturale durante la traduzione bidirezionale delle immagini. I motivi ricostruiti vengono successivamente inviati al modulo SPADE per la sintesi dello stile artistico. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Generazione di stili artistici utilizzando SPADE
Successivamente, i motivi culturali ricostruiti vengono sottoposti al modulo SPADE per la generazione di uno stile artistico. L'obiettivo principale del modulo SPADE è aggiungere texture artistiche visivamente più ricche ai motivi culturali ricostruiti, senza compromettere la disposizione strutturale dei motivi stessi. Il modulo SPADE è una tecnica di generazione condizionata di immagini che sfrutta il concetto di segmentazione dell'immagine per la creazione di immagini. Mappe semantiche multicanale corrispondenti alle classi di motivi predeterminate sono state codificate a partire dalle maschere di segmentazione semantica prodotte da SegFormer-B2. Queste mappe codificate sono state fornite al generatore SPADE come input condizionanti. I parametri di scala spazialmente adattativa (γ) e di bias (β) sono stati generati elaborando le mappe semantiche attraverso strati convoluzionali all'interno di ciascun livello SPADE. In questo modo, il generatore è stato in grado di mantenere i contorni dei motivi, le disposizioni strutturali e le informazioni semantiche durante la sintesi artistica, applicando tali parametri alle attivazioni delle caratteristiche normalizzate. La guida semantica ha potuto influenzare sia la ricostruzione strutturale a livello alto sia la sintesi delle texture a livello basso, poiché il processo di condizionamento è stato eseguito in diversi strati del generatore SPADE. Di conseguenza, i motivi artistici generati incorporano tratti stilistici derivati dal dataset WikiArt, mantenendo al contempo le strutture dei motivi culturali identificate durante la fase di segmentazione.

Il dataset WikiArt, che comprende opere di 27 diverse categorie artistiche — come Rinascimento, Impressionismo, Cubismo, Espressionismo, Surrealismo, Realismo e Arte Astratta — è stato utilizzato come risorsa principale per comprendere gli stili artistici. Per esporre il modello a una varietà di tratti creativi e migliorare la generalizzazione dello stile, durante l'addestramento sono state selezionate casualmente immagini di stile dalle diverse categorie. Il dataset è stato suddiviso in sottoinsiemi di addestramento, validazione e test, con una rappresentazione bilanciata delle categorie artistiche, al fine di ridurre il bias legato allo stile. Per garantire una rappresentazione equilibrata di tutte le 27 categorie artistiche, è stato impiegato un campionamento stratificato. I campioni di ciascuna categoria sono stati assegnati in modo proporzionale ai sottoinsiemi di addestramento, validazione e test, mantenendo la distribuzione originale delle classi. Il modulo CAFFM è stato utilizzato per fondere gli aspetti stilistici derivati dalle immagini di WikiArt con le caratteristiche di ricostruzione prodotte da CycleGAN. Le rappresentazioni risultanti, una volta fuse, sono state fornite come informazione condizionante al generatore SPADE, consentendo alla rete di sintesi di trasferire qualità artistiche mantenendo al contempo la struttura semantica e i confini dei motivi culturali derivati dalle mappe di segmentazione. Grazie a questa tecnica di condizionamento stilistico, il framework proposto è stato in grado di generare pattern artistici culturalmente autentici con rappresentazioni strutturali e stilistiche coerenti.

SPADE introduce anche parametri adattivi spazialmente che dipendono dalla mappa di segmentazione. I parametri possono essere definiti come mostrato nella Equazione 19¹:

Equazione della trasformazione lineare: y=γ(S)x̂+β(S) (Eq. 19), rappresentazione matematica.

Qui, γ(S) è il parametro di scala variabile nello spazio e β(S) è il parametro di bias variabile nello spazio. Tali parametri possono aiutare il generatore a creare diverse texture e stili in base alla regione semantica presente nelle immagini. L'opera d'arte culturale finale può essere definita come mostrato nella Equazione 20:

Equazione per la formula del processo di valutazione genetica I_gen=G_E(X^P_r,SM).

Qui, G_E è il generatore SPADE, X_r^P è il modello ricostruito e SM è la mappa di segmentazione. L'opera finale mantiene l'integrità strutturale dei motivi culturali migliorando al contempo l'aspetto artistico. Per ottimizzare l'architettura proposta SegCycle-SPADE, è stata utilizzata una funzione di perdita composita che bilancia accuratezza della segmentazione semantica, preservazione dei motivi culturali, qualità della ricostruzione del modello e coerenza dello stile artistico. Per definire l'obiettivo complessivo di addestramento, è stata impiegata una combinazione pesata di perdita di segmentazione (L_seg), perdita avversaria (L_adv), perdita di coerenza ciclica (L_cycle), perdita di ricostruzione (L_recon), perdita di preservazione del motivo (L_motif) e perdita di coerenza stilistica (L_style). La funzione di perdita totale è definita nella Equazione 21:

La formula della perdita totale, L_Totale, corrisponde a più componenti, mostrata come equazione matematica per l'analisi. (21)

Al fine di garantire la coerenza strutturale tra i motivi culturali in ingresso e quelli ricostruiti, il coefficiente della perdita di coerenza ciclica è stato impostato a 10. Per mantenere le caratteristiche finemente dettagliate dei motivi e migliorare l'accuratezza visiva, il coefficiente della perdita di ricostruzione è stato fissato a 5. Per evidenziare la preservazione di schemi strutturali culturalmente essenziali durante la sintesi artistica, è stato utilizzato un coefficiente pari a 2 per la perdita di preservazione del motivo. Per favorire il trasferimento dello stile artistico senza distorcere eccessivamente le strutture semantiche del motivo, il coefficiente della perdita di coerenza stilistica è stato regolato a 1. Per mantenere un contributo bilanciato tra la produzione di immagini realistiche e la segmentazione precisa dei motivi, sono stati assegnati pesi uguali alle perdite di segmentazione e avversaria. Le rappresentazioni stilistiche basate sulle caratteristiche del dataset WikiArt sono state utilizzate per calcolare la perdita di coerenza stilistica. In particolare, le caratteristiche stilistiche artistiche sono state catturate mediante correlazioni di matrici di Gram ottenute da mappe di caratteristiche profonde. La differenza in norma di Frobenius tra le matrici di Gram dell'immagine stilistica target e dell'immagine generata è stata utilizzata per calcolare la perdita stilistica, come mostrato nella Equazione 22:

Equazione di calcolo per la perdita di stile nelle reti neurali, che mostra la formula L_style e la rappresentazione del metodo.

Qui, G_l è la matrice di Gram calcolata a partire dal l^esimo livello di caratteristiche, I_gen indica l'immagine artistica generata, I_style indica l'immagine dello stile obiettivo proveniente dal dataset WikiArt e F indica la norma di Frobenius. Questa formulazione consente al framework proposto di preservare le caratteristiche artistiche mantenendo al contempo l'integrità strutturale e semantica dei motivi culturali.

Le rappresentazioni delle caratteristiche fuse prodotte dal modulo CAFFM vengono utilizzate come ingressi condizionanti per il modulo SPADE, che svolge il ruolo di componente di sintesi artistica nell'architettura proposta. Il generatore SPADE comprende sette blocchi residui SPADE con una dimensione delle caratteristiche latenti di 256 canali e genera immagini in uscita con una risoluzione di 256 × 256 pixel. Le mappe di segmentazione semantica ottenute dal modulo SegFormer–CAFFM vengono impiegate come ingressi condizionanti in tutti i livelli residui SPADE. I livelli SPADE vengono applicati prima delle funzioni di attivazione all'interno di ciascun blocco residuo, consentendo una condizionatura semantica guidata dalla segmentazione. Mediante operazioni successive di upsampling e convoluzionali, la rappresentazione latente delle caratteristiche viene affinata progressivamente per generare pattern artistici ad alta risoluzione, mantenendo al contempo coerenza semantica e struttura dei motivi. Vengono utilizzate funzioni di attivazione LeakyReLU in tutto il generatore, mentre al livello di uscita viene applicata una funzione di attivazione Tanh per produrre immagini normalizzate.

Algoritmo e Flusso di Lavoro
Il framework SegCycle-SPADE integra segmentazione semantica, fusione di caratteristiche, ricostruzione di pattern e sintesi di stile artistico all'interno di una pipeline unificata di addestramento. Il flusso di lavoro inizia con l'acquisizione e la pre-elaborazione del dataset, inclusi ridimensionamento delle immagini, normalizzazione, rimozione del rumore e preparazione delle maschere di segmentazione. Le immagini pre-elaborate vengono successivamente elaborate mediante la rete di segmentazione SegFormer-B2 per estrarre rappresentazioni semantiche dei motivi. Le caratteristiche di segmentazione risultanti vengono fuse con le caratteristiche di ricostruzione attraverso il modulo CAFFM, consentendo l'interazione tra informazioni strutturali sui motivi e rappresentazioni delle caratteristiche artistiche. Le mappe di caratteristiche fuse vengono quindi fornite al modulo di ricostruzione CycleGAN, che ripristina le strutture incomplete dei motivi culturali preservandone la coerenza semantica. I pattern ricostruiti vengono successivamente inviati al generatore SPADE per la sintesi artistica guidata dalla segmentazione, consentendo un miglioramento stilistico pur mantenendo i contorni dei motivi e l'autenticità strutturale. Durante l'addestramento, i parametri del modello vengono ottimizzati utilizzando la funzione di perdita composita descritta nelle Equazioni 21 e 22, che bilancia accuratezza della segmentazione, preservazione dei motivi, qualità della ricostruzione e coerenza dello stile artistico. Un flusso di implementazione dettagliato passo dopo passo, compreso caricamento del dataset, pre-elaborazione, inizializzazione del modello, iterazioni di addestramento, procedure di validazione, selezione dei checkpoint ed valutazione finale, è fornito nel File Supplementare 1 (Algoritmo 1). L'intero flusso di lavoro algoritmico è stato implementato con una dimensione del batch pari a 16, una velocità di apprendimento di 0,0002 e 100 epoche di addestramento. È stato utilizzato un seme casuale fisso pari a 42 per la suddivisione del dataset, l'inizializzazione del modello e tutti gli esperimenti di addestramento. Il seme è stato applicato in modo coerente ai generatori di numeri casuali di Python, NumPy e PyTorch per garantire la riproducibilità. L'ottimizzatore Adam è stato configurato con β₁ = 0,5, β₂ = 0,999 e senza decadimento del peso (weight decay = 0). I checkpoint del modello sono stati selezionati in base al punteggio IoU di validazione più alto ottenuto sul dataset di validazione.

Ottimizzazione della Funzione di Perdita
Per preservare le strutture dei motivi culturali durante la ricostruzione e la sintesi artistica, il framework proposto utilizza un obiettivo di ottimizzazione composito che combina perdite di segmentazione, avversariale, di coerenza ciclica, di ricostruzione, di preservazione del motivo e di coerenza stilistica. La formulazione matematica completa, i coefficienti di pesatura e la definizione della perdita stilistica sono forniti nelle Equazioni 21 e 22 all'interno del sottosezione Generazione di Stile Artistico mediante SPADE. Il componente di preservazione del motivo penalizza le deviazioni strutturali tra le regioni dei motivi previste e le maschere di segmentazione reali corrispondenti, incoraggiando così il mantenimento delle strutture di pattern culturalmente significative durante tutto il processo di ricostruzione.

Risultati

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il framework proposto SegCycle-SPADE è stato valutato utilizzando due dataset: il dataset dei motivi culturali del batik Miao e il dataset WikiArt. Il dataset del batik Miao contiene immagini del patrimonio culturale tradizionale ed è stato utilizzato principalmente per compiti di segmentazione semantica e ricostruzione strutturale, mentre il dataset WikiArt contiene stili artistici diversificati ed è stato impiegato per l'apprendimento e la generazione di stili artistici. Le immagini provenienti da entrambi i dataset sono state elaborate attraverso l'intero processo SegCycle-SPADE, inclusi segmentazione semantica, CAFFM, ricostruzione del motivo e generazione dello stile artistico basata su SPADE. L'integrazione delle informazioni sui motivi culturali e delle rappresentazioni dello stile artistico ha permesso al framework di generare output culturalmente significativi e visivamente coerenti.

Tutti gli esperimenti sono stati condotti su una workstation abilitata per GPU, dotata di un processore Intel Core i7 e di una GPU NVIDIA. In particolare, gli esperimenti sono stati eseguiti su una workstation equipaggiata con una CPU Intel Core i7 (11ª generazione), una GPU NVIDIA RTX 3090 con 24 GB di memoria VRAM e 32 GB di memoria di sistema. I modelli sono stati implementati utilizzando Python 3.8 e PyTorch 1.10 con accelerazione CUDA. L'addestramento è stato effettuato mediante una configurazione a singola GPU, senza ricorrere all'addestramento distribuito. È stata utilizzata precisione standard FP32 in tutti gli esperimenti, mentre l'addestramento in precisione mista non è stato impiegato. È stato usato l'ottimizzatore Adam con una dimensione del batch pari a 16 per 100 epoche di addestramento. Tabella 3 riassume i parametri di implementazione e l'ambiente computazionale utilizzati in questo studio.

L'architettura proposta comprende quattro componenti principali: SegFormer-B2 per la segmentazione semantica, CAFFM per la fusione delle caratteristiche, CycleGAN per la ricostruzione del motivo e SPADE per la sintesi dello stile artistico. Le immagini provenienti da entrambi i dataset sono state ridimensionate a 256 × 256 pixel prima dell'addestramento. Questa risoluzione standardizzata ha garantito un'efficienza computazionale, preservando al contempo dettagli importanti del motivo e contribuendo a un addestramento avversario stabile dei moduli CycleGAN e SPADE.

Le prestazioni del framework proposto sono state valutate utilizzando metriche di segmentazione e di valutazione della qualità dell'immagine, incluse Accuratezza di Segmentazione, IoU, Coefficiente di Similarità di Dice (Dice), SSIM, PSNR e FID. L'autenticità visiva è stata valutata qualitativamente mediante ispezione visiva dei modelli culturali generati. La valutazione qualitativa si è concentrata sulla conservazione dei motivi, sulla coerenza semantica, sulle caratteristiche culturali e sull'aspetto artistico rispetto ai motivi culturali di riferimento. L'autenticità visiva non è stata utilizzata come metrica di valutazione quantitativa indipendente.

La valutazione quantitativa del framework proposto è stata eseguita utilizzando le seguenti metriche.

L'accuratezza della segmentazione è stata calcolata utilizzando Equazione 23:

Formula di accuratezza, TP+TN/TP+TN+FP+FN, equazione di analisi statistica per la valutazione del modello.

In questo caso, TP, TN, FP e FN indicano rispettivamente veri positivi, veri negativi, falsi positivi e falsi negativi.

L'indice di sovrapposizione (IoU) è stato calcolato utilizzando l'Equazione 24:

Formula di IoU, TP/(TP+FP+FN), equazione matematica per l'accuratezza della segmentazione delle immagini.

Il coefficiente di similarità di Dice (Dice) è stato calcolato utilizzando l'equazione 25:

$Equazione del coefficiente di Dice, $ \frac{2*TP}{2*TP+FP+FN} $, formula utilizzata nella valutazione dell'analisi dei dati.$

L'indice SSIM è stato utilizzato per valutare la similarità percettiva delle immagini ed è definito mediante l'equazione 26³³:

equazione dell'indice SSIM; formula matematica per la valutazione della qualità dell'immagine; diagramma. (26)

Qui, μ indica l'intensità media, σ indica la varianza, σ_xy indica la covarianza tra le immagini, mentre C₁ e C₂ sono costanti di stabilizzazione.

PSNR è una metrica comunemente utilizzata per valutare la qualità delle immagini generate ed è definita nella Equazione 27³³:

Formula del PSNR, valutazione della qualità dell'immagine, equazione per il calcolo del rapporto segnale-rumore di picco.

Qui, Max_I indica il valore massimo possibile del pixel dell'immagine e MSE è l'errore quadratico medio tra l'immagine originale e quella ricostruita.

FID può essere calcolato utilizzando le medie e le matrici di covarianza come nell'Equazione 28³³:

Equazione della Fréchet Inception Distance (FID); metodo statistico; formula per la valutazione della qualità delle immagini. (28)

Qui, μ_r è il valore medio dell'immagine reale, μ_g è il valore medio dell'immagine generata, e Σ_r e Σ_g sono rispettivamente la matrice di covarianza delle immagini reali e di quelle generate.

A scopo di confronto delle prestazioni, il framework proposto è stato valutato rispetto a metodi rappresentativi comunemente utilizzati per la segmentazione semantica, la ricostruzione di immagini e la generazione artistica di immagini. U-Net e DeepLabV3+ sono stati inclusi come basi di confronto per la segmentazione, mentre Pix2Pix e CycleGAN sono stati inclusi come basi di confronto per la ricostruzione. StyleGAN e AttentionGAN sono stati utilizzati come metodi rappresentativi per la generazione artistica di immagini. Questi confronti sono stati effettuati per valutare l'efficacia di SegCycle-SPADE nel preservare le informazioni sui motivi strutturali, migliorando al contempo la qualità artistica.

Ogni esperimento è stato ripetuto cinque volte per valutare la stabilità e la riproducibilità delle prestazioni. È stato utilizzato un seme casuale fisso pari a 42 per la suddivisione del dataset, al fine di garantire sottoinsiemi coerenti per l'addestramento, la validazione e i test in tutti gli esperimenti. I risultati sono riportati come media ± deviazione standard. I bassi valori di deviazione standard osservati per Accuratezza, IoU, Dice, SSIM, PSNR e FID indicano che il framework proposto ha raggiunto prestazioni stabili in ripetute esecuzioni sperimentali. La significatività statistica è stata valutata mediante test t appaiati, e le differenze sono state considerate statisticamente significative quando p < 0,05. Poiché tutti i modelli sono stati valutati sulle stesse partizioni del dataset, sono state ottenute misurazioni appaiate delle prestazioni nelle ripetizioni, giustificando l'uso del test t appaiato. Per controllare il tasso di errore familiare associato a confronti multipli a coppie, è stata applicata la correzione di Bonferroni, e la significatività statistica è stata determinata utilizzando una soglia aggiustata pari a α/n, dove n indica il numero di confronti a coppie.

I risultati sperimentali supportano fortemente l'efficacia del framework proposto SegCycle-SPADE. Le prestazioni superiori nella segmentazione ottenute da SegFormer-B2 dimostrano la sua capacità di identificare con precisione e preservare i confini dei motivi culturalmente significativi. I miglioramenti nei punteggi IoU e Dice indicano ulteriormente una preservazione efficace delle strutture semantiche dei motivi lungo tutta la pipeline di elaborazione. L'integrazione di CycleGAN e SPADE ha ricostruito con successo le strutture dei motivi incomplete mantenendo dettagli visivi finemente definiti, come evidenziato dai valori migliorati di SSIM e PSNR. Inoltre, punteggi FID più bassi indicano che gli schemi artistici generati presentano una maggiore somiglianza con immagini culturali e artistiche autentiche, suggerendo una maggiore coerenza stilistica e realismo visivo.

Il CAFFM ha contribuito in modo significativo a questi miglioramenti facilitando un'efficace interazione tra le informazioni strutturali derivate dalla segmentazione e le rappresentazioni stilistiche generative. Attraverso la fusione di caratteristiche basata sull'attenzione incrociata, il CAFFM ha migliorato sia la fedeltà strutturale che l'autenticità artistica, preservando al contempo le relazioni a lungo raggio tra i motivi culturali.

Figura 6 mostra il confronto tra l'accuratezza di segmentazione del framework proposto SegCycle-SPADE e dei metodi esistenti sui dataset Miao Batik e WikiArt. Gli approcci tradizionali di segmentazione come U-Net e DeepLabV3+ hanno ottenuto prestazioni competitive grazie alla loro capacità di apprendere rappresentazioni spaziali. Tuttavia, Pix2Pix e CycleGAN hanno mostrato un'accuratezza di segmentazione inferiore poiché non sono stati progettati specificamente per compiti di segmentazione. Il framework proposto SegCycle-SPADE ha ottenuto l'accuratezza di segmentazione più elevata su entrambi i dataset grazie all'integrazione di SegFormer-B2 e del potenziamento delle caratteristiche basato su CAFFM.

Grafico dell'accuratezza della segmentazione; confronto tra i metodi U-Net, DeepLabV3+, Pix2Pix, CycleGAN, SegCycle-SPADE.
Figura 6. Confronto dell'accuratezza della segmentazione tra diversi metodi. Confronto dell'accuratezza della segmentazione ottenuta utilizzando U-Net, DeepLabV3+, Pix2Pix, CycleGAN e il framework proposto SegCycle-SPADE sui dataset Miao Batik e WikiArt. I risultati sono presentati come media ± deviazione standard (DS) ottenuta da cinque esecuzioni indipendenti (n = 5). Le barre di errore rappresentano una deviazione standard. Valori più elevati indicano prestazioni migliori nella segmentazione. Il framework proposto SegCycle-SPADE ha ottenuto l'accuratezza più elevata su entrambi i dataset. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 7 presenta il confronto dell'indice IoU tra i metodi valutati. U-Net e DeepLabV3+ hanno ottenuto prestazioni di sovrapposizione elevate grazie alle loro architetture orientate alla segmentazione. Al contrario, Pix2Pix e CycleGAN hanno prodotto valori IoU più bassi poiché il loro obiettivo principale è la traduzione dell'immagine piuttosto che la segmentazione semantica. Il framework proposto SegCycle-SPADE ha ottenuto i valori IoU più alti su entrambi i dataset, indicando un miglioramento nella localizzazione e nel mantenimento delle regioni dei motivi culturali.

Confronto del punteggio IoU, grafico a barre; Metodi di segmentazione rispetto ai dataset Miao Batik e WikiArt; Media ± DS.
Figura 7. Confronto dei punteggi Intersection over Union (IoU) per la segmentazione di motivi culturali. Confronto delle prestazioni in termini di IoU tra diversi metodi di segmentazione sui dataset Miao Batik e WikiArt. I risultati sono espressi come media ± deviazione standard (DS) ottenuta da cinque esecuzioni indipendenti (n = 5). Le barre di errore indicano una deviazione standard. Valori più elevati di IoU indicano un migliore sovrapposizione tra le regioni del motivo previste e quelle di riferimento, nonché una più accurata conservazione dei contorni del motivo. Il framework proposto SegCycle-SPADE ha ottenuto i punteggi IoU più alti su entrambi i dataset. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 8 presenta il confronto del coefficiente di similarità di Dice. L'indice di Dice misura l'overlap tra le maschere di segmentazione predette e le regioni del motivo reale. Gli approcci convenzionali di segmentazione hanno ottenuto punteggi di Dice relativamente elevati grazie alla loro efficacia nell'apprendimento delle strutture spaziali. Tuttavia, il framework proposto SegCycle-SPADE ha ottenuto i punteggi di Dice più alti su entrambi i dataset, dimostrando una maggiore coerenza nella segmentazione e un migliore mantenimento del motivo.

Grafico del coefficiente di Dice per la segmentazione dei motivi; metodi: U-Net, DeepLabV3+, Pix2Pix, CycleGAN.
Figura 8. Confronto del coefficiente di Dice per la segmentazione dei motivi culturali. Confronto dei valori del coefficiente di Dice ottenuti utilizzando diversi approcci di segmentazione sui dataset Miao Batik e WikiArt. Il coefficiente di Dice valuta l'overlap tra le maschere di segmentazione predette e le maschere di riferimento, con valori più elevati che indicano una migliore prestazione nella segmentazione e nell'identificazione delle regioni dei motivi. Il framework proposto SegCycle-SPADE ha ottenuto i valori più alti del coefficiente di Dice su entrambi i dataset. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 9 presenta il confronto SSIM tra i modelli culturali ricostruiti. I metodi basati su GAN, come Pix2Pix, CycleGAN e StyleGAN, hanno ottenuto valori SSIM più elevati rispetto ai metodi tradizionali di segmentazione poiché sono stati progettati per la generazione di immagini. Tuttavia, il framework proposto SegCycle-SPADE ha ottenuto i valori SSIM più alti su entrambi i dataset, indicando una migliore conservazione dei dettagli strutturali e della coerenza artistica. Grafico a barre del confronto della similarità strutturale; punteggi SSIM per Pix2Pix, CycleGAN, ecc. sui dataset.

Figura 9. Confronto dell'indice di similarità strutturale (SSIM). Confronto dei valori dell'indice di similarità strutturale (SSIM) ottenuti utilizzando diversi metodi di ricostruzione sui dataset Miao Batik e WikiArt. I risultati sono presentati come media ± deviazione standard (DS) di cinque esecuzioni indipendenti (n = 5). Le barre di errore indicano una deviazione standard. Valori più elevati di SSIM indicano una maggiore similarità strutturale tra i pattern ricostruiti e quelli di riferimento. Il framework proposto SegCycle-SPADE ha ottenuto i punteggi SSIM più alti su entrambi i dataset. Cliccare qui per visualizzare una versione ingrandita di questa figura.

L'FID è stato utilizzato per valutare il realismo e la similarità distributiva dei pattern artistici generati. Il calcolo dell'FID è stato eseguito mediante una rete Inception-v3 preaddestrata, con vettori di caratteristiche estratti dal livello pool3, ottenendo rappresentazioni caratteristiche di 2048 dimensioni. Prima dell'estrazione delle caratteristiche, le immagini generate e di riferimento sono state ridimensionate a 299 × 299 pixel utilizzando l'interpolazione bilineare e normalizzate secondo il protocollo di preelaborazione standard di Inception-v3. L'FID è stato calcolato utilizzando le distribuzioni delle caratteristiche estratte dal dataset di test indipendente. Le statistiche della media e della covarianza sono state stimate dagli embedding delle caratteristiche e utilizzate all'interno della formulazione standard dell'FID.

Come mostrato nella Tabella 4, approcci convenzionali di generazione delle immagini come Pix2Pix e CycleGAN hanno prodotto punteggi FID relativamente elevati poiché mancavano di un orientamento strutturale esplicito. StyleGAN e AttentionGAN hanno ottenuto punteggi FID più bassi grazie a migliori capacità di apprendimento delle caratteristiche. Tuttavia, il framework proposto SegCycle-SPADE ha ottenuto i punteggi FID più bassi su entrambi i dataset, dimostrando una maggiore realismo delle immagini, coerenza stilistica e preservazione dei motivi culturali.

Metodo	Dati Miao Batik (FID)	Dati WikiArt (FID)
Pix2Pix	48,6	52,3
CycleGAN	42,8	46,5
StyleGAN	39,7	43,1
AttentionGAN	36,9	40,4
SegCycle-SPADE (Proposto)	28,5	31,2

Tabella 4: Risultati della Frechet Inception Distance (FID) per la Ricostruzione di Motivi Culturali. Confronto dei punteggi di Frechet Inception Distance (FID) ottenuti dal framework proposto SegCycle-SPADE e dai modelli generativi di riferimento sui dataset Miao Batik e WikiArt. Valori FID più bassi indicano una maggiore somiglianza tra le distribuzioni delle caratteristiche delle immagini generate e quelle reali, riflettendo quindi un miglior realismo visivo nella ricostruzione dei motivi culturali.

Figura 10 confronta la qualità di ricostruzione ottenuta con diversi metodi. La qualità di ricostruzione (%) è stata calcolata convertendo l'SSIM tra l'immagine ricostruita e l'immagine di riferimento corrispondente in una scala percentuale (SSIM × 100). Percentuali più elevate indicano una maggiore fedeltà strutturale e somiglianza visiva con il motivo culturale originale. I modelli generativi convenzionali, come Pix2Pix e CycleGAN, hanno ottenuto prestazioni di ricostruzione moderate. Architetture più avanzate, tra cui StyleGAN e AttentionGAN, hanno raggiunto una qualità di ricostruzione migliore grazie alle loro capacità potenziate di apprendimento delle caratteristiche. Tuttavia, il framework proposto SegCycle-SPADE ha ottenuto la qualità di ricostruzione più elevata grazie all'integrazione della guida della segmentazione semantica, della fusione delle caratteristiche mediante cross-attenzione, dell'apprendimento della ricostruzione e della sintesi artistica.

Grafico di confronto della qualità della ricostruzione; metodi: Pix2Pix, CycleGAN, StyleGAN, AttentionGAN, SegCycle-SPADE.
Figura 10. Confronto della Qualità di Ricostruzione dei Pattern. Confronto della qualità di ricostruzione ottenuta utilizzando Pix2Pix, CycleGAN, StyleGAN, AttentionGAN e il framework proposto SegCycle-SPADE sui dataset Miao Batik e WikiArt. I risultati sono presentati come media ± deviazione standard (DS) ottenuta da cinque esecuzioni indipendenti (n = 5). Le barre di errore indicano una deviazione standard. Valori più elevati indicano una migliore conservazione dei dettagli strutturali, della coerenza semantica e della fedeltà visiva. Il framework proposto SegCycle-SPADE ha ottenuto i punteggi più alti in termini di qualità di ricostruzione su entrambi i dataset. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Il PSNR è stato utilizzato per valutare la fedeltà della ricostruzione misurando la somiglianza a livello di pixel tra le immagini ricostruite e le corrispondenti immagini di riferimento. Il PSNR è stato calcolato tra ogni immagine ricostruita e l'immagine originale Miao Batik corrispondente, utilizzata come riferimento reale. Valori più elevati di PSNR indicano un errore di ricostruzione minore. Come mostrato nella Tabella 5, Pix2Pix e CycleGAN hanno ottenuto valori di PSNR moderati poiché hanno ricostruito i motivi senza un orientamento strutturale esplicito. StyleGAN e AttentionGAN hanno ottenuto valori di PSNR più elevati grazie a un apprendimento più profondo delle caratteristiche. Il framework proposto SegCycle-SPADE ha ottenuto i valori di PSNR più alti su entrambi i dataset, dimostrando una maggiore fedeltà di ricostruzione e una migliore preservazione delle strutture dei motivi culturali.

Metodo	Dati Miao Batik (PSNR, dB)	Dati WikiArt (PSNR, dB)
Pix2Pix	25,8	24,6
CycleGAN	27,3	26,1
StyleGAN	28,7	27,5
AttentionGAN	29,9	28,6
SegCycle-SPADE (Proposto)	32,4	31,2

Tabella 5: Risultati del rapporto segnale-rumore di picco (PSNR) per la ricostruzione di motivi culturali. Confronto dei valori del rapporto segnale-rumore di picco (PSNR) ottenuti dal framework proposto SegCycle-SPADE e dai metodi di base sui dataset Miao Batik e WikiArt. Valori PSNR più elevati indicano una migliore fedeltà di ricostruzione e una minore distorsione rispetto alle immagini di riferimento corrispondenti.

Figura 11 illustra il comportamento di convergenza del framework proposto SegCycle-SPADE durante l'addestramento. Le curve di perdita rappresentano le perdite medie di addestramento calcolate come media su cinque esecuzioni indipendenti di addestramento. Per ridurre la variabilità stocastica e fornire una rappresentazione più robusta della convergenza durante l'addestramento, i valori di perdita sono stati mediati in ogni epoca su tutte le esecuzioni. Nelle epoche iniziali di addestramento, i valori di perdita erano relativamente elevati poiché il modello stava ancora apprendendo le rappresentazioni delle caratteristiche dai dati in ingresso. Procedendo con l'addestramento, tutti i componenti della perdita sono gradualmente diminuiti e si sono stabilizzati, indicando un'ottimizzazione efficace degli obiettivi di segmentazione, ricostruzione e sintesi artistica. Il comportamento di convergenza osservato dimostra l'efficacia, la stabilità e la riproducibilità del framework proposto durante l'addestramento.

Grafico di convergenza dell'addestramento, framework SegCycle-SPADE. Perdita rispetto alle epoche; L_total, L_seg, L_G, L_D.
Figura 11. Convergenza dell'Addestramento del Framework Proposto SegCycle-SPADE. Curve della perdita durante l'addestramento del framework proposto SegCycle-SPADE su 100 epoche di addestramento, mediate su cinque esecuzioni indipendenti dell'addestramento (n = 5). La figura illustra l'evoluzione della perdita totale (LTotal), della perdita di segmentazione (LSeg), della perdita del generatore (LG) e della perdita del discriminatore (LD) durante l'addestramento. La riduzione graduale e la successiva stabilizzazione di tutti i componenti della perdita indicano una convergenza riuscita e un'ottimizzazione stabile del framework proposto. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Studio di ablazione
Per valutare il contributo di ciascun componente all'interno del framework proposto SegCycle-SPADE, è stato condotto uno studio di ablazione utilizzando diverse configurazioni controllate del modello. I risultati sono riassunti nelle Tabelle 6 e 7.

Configurazione del modello	Accuratezza della segmentazione (%)	IoU	SSIM
Solo SegFormer	87,3	0,76	0,82
SegFormer + CAFFM	89,6	0,79	0,86
SegFormer + CAFFM + CycleGAN	91,4	0,82	0,89
SegFormer + CAFFM + CycleGAN + SPADE (proposto)	93,8	0,86	0,93

Tabella 6: Studio di ablazione dei componenti di SegCycle-SPADE. Confronto delle prestazioni di configurazioni del modello progressivamente migliorate per valutare il contributo dei singoli componenti del framework. Lo studio analizza gli effetti della segmentazione semantica, del modulo di fusione delle caratteristiche culturali con attenzione incrociata (CAFFM), della ricostruzione basata su CycleGAN e della sintesi artistica basata su SPADE sull'accuratezza della segmentazione, sull'Indice di Intersezione rispetto all'Unione (IoU) e sull'Indice di Similarità Strutturale (SSIM). Valori più elevati indicano una migliore segmentazione dei motivi, qualità della ricostruzione e preservazione della struttura.

Variante	IoU (%)	Dice (%)	SSIM	PSNR (dB)	FID ↓
Solo SegFormer	84,2 ± 0,4	88,5 ± 0,3	0,82 ± 0,01	24,8 ± 0,2	31,8 ± 0,6
SegFormer + CycleGAN	86,7 ± 0,3	90,2 ± 0,2	0,85 ± 0,01	26,3 ± 0,2	27,5 ± 0,5
SegFormer + SPADE	87,0 ± 0,3	90,5 ± 0,2	0,88 ± 0,01	27,8 ± 0,2	23,4 ± 0,4
SegFormer + CAFFM	90,0 ± 0,2	93,1 ± 0,2	0,90 ± 0,01	29,6 ± 0,1	20,3 ± 0,3
SegCycle-SPADE (Modello Completo)	93,0 ± 0,2	95,4 ± 0,1	0,92 ± 0,01	31,2 ± 0,1	17,6 ± 0,2

Tabella 7: Analisi della Contribuzione dei Componenti del Framework Proposto SegCycle-SPADE. Confronto delle prestazioni delle singole varianti del framework utilizzate per valutare il contributo di CAFFM, CycleGAN, SPADE e dell'architettura completa SegCycle-SPADE. I risultati sono riportati in termini di Intersection over Union (IoU), coefficiente di Dice, Structural Similarity Index (SSIM), Peak Signal-to-Noise Ratio (PSNR) e Frechet Inception Distance (FID). Valori più elevati di IoU, Dice, SSIM e PSNR indicano una migliore qualità di segmentazione e ricostruzione, mentre valori più bassi di FID indicano una maggiore realismo visivo dei pattern culturali generati.

Tabella 6 valuta il contributo cumulativo dei principali componenti del framework utilizzando quattro configurazioni: (i) solo SegFormer, (ii) SegFormer + CAFFM, (iii) SegFormer + CAFFM + CycleGAN e (iv) SegFormer + CAFFM + CycleGAN + SPADE (framework proposto). Il modello SegFormer di base ha raggiunto un'accuratezza di segmentazione del 87,3%, un punteggio IoU di 0,76 e un valore SSIM di 0,82. L'integrazione del modulo CAFFM ha migliorato le prestazioni in tutte le metriche di valutazione, aumentando l'accuratezza di segmentazione al 89,6%, l'IoU a 0,79 e l'SSIM a 0,86. L'aggiunta di CycleGAN ha ulteriormente potenziato la capacità di ricostruzione strutturale, ottenendo un IoU di 0,82 e un valore SSIM di 0,89. L'intero framework SegCycle-SPADE ha raggiunto le migliori prestazioni complessive, con un'accuratezza di segmentazione del 93,8%, un IoU di 0,86 e un valore SSIM di 0,93. Questi risultati dimostrano che ciascun componente contribuisce in modo incrementale al miglioramento dell'accuratezza di segmentazione, della preservazione strutturale e della qualità di ricostruzione dell'immagine.

Tabella 7 analizza ulteriormente il contributo dei singoli componenti del framework utilizzando cinque varianti del modello: (i) solo SegFormer, (ii) SegFormer + CycleGAN, (iii) SegFormer + SPADE, (iv) SegFormer + CAFFM e (v) il modello completo che incorpora SegFormer, CAFFM, CycleGAN, SPADE e la perdita per la conservazione del motivo. Le prestazioni sono state valutate mediante le metriche IoU, coefficiente di Dice, SSIM, PSNR e FID.

La configurazione di base basata esclusivamente su SegFormer ha raggiunto un IoU del 84,2%, un coefficiente Dice dell'88,5%, un valore SSIM di 0,82, un PSNR di 24,8 dB e un punteggio FID di 31,8. L'aggiunta di CycleGAN ha migliorato la qualità della ricostruzione e ridotto il punteggio FID a 27,5, indicando una maggiore realismo delle immagini. L'integrazione di SPADE ha ulteriormente migliorato la similarità strutturale e la qualità delle immagini, portando il valore SSIM a 0,88 e il punteggio FID a 23,4. L'inclusione del modulo proposto CAFFM ha determinato notevoli miglioramenti in tutte le metriche, aumentando l'IoU al 90,0%, il coefficiente Dice al 93,1%, l'SSIM a 0,90 e il PSNR a 29,6 dB, riducendo al contempo il punteggio FID a 20,3. Il modello completo, che include inoltre la funzione di perdita per la conservazione del motivo, ha ottenuto le prestazioni complessive migliori con un IoU del 93,0%, un coefficiente Dice del 95,4%, un valore SSIM di 0,92, un PSNR di 31,2 dB e un punteggio FID di 17,6.

Tabella 8 presenta una panoramica comparativa di approcci rappresentativi di apprendimento profondo (DL) utilizzati per la ricostruzione e la conservazione di motivi del patrimonio culturale. I metodi convenzionali basati su CNN forniscono un'apprendimento efficace delle caratteristiche locali e prestazioni di segmentazione, ma spesso incontrano difficoltà nel preservare strutture di motivi complesse a causa di una modellazione limitata delle dipendenze a lungo raggio. Gli approcci basati su GAN migliorano le capacità di sintesi delle immagini e di trasferimento dello stile; tuttavia, possono presentare inconsistenze semantiche e perdita di dettagli strutturali fini. I metodi basati su trasformatori potenziano la comprensione contestuale globale ma in genere mancano di capacità di ricostruzione generativa, mentre i metodi basati su diffusione offrono un'elevata realismo visivo a scapito di una maggiore complessità computazionale. Gli approcci ibridi basati su trasformatori e GAN affrontano parzialmente tali limitazioni combinando meccanismi di estrazione delle caratteristiche e di generazione delle immagini. Al contrario, il framework proposto SegCycle-SPADE integra segmentazione basata su trasformatori, fusione delle caratteristiche mediante cross-attenzione, ricostruzione generativa e sintesi artistica guidata dalla segmentazione all'interno di un'architettura unificata, migliorando così la fedeltà strutturale, la coerenza semantica e la preservazione dei motivi culturali. Il confronto è riassunto nella Tabella 8.

Approccio	Metodologia Fondamentale	Punti di Forza	Limitazioni	Rilevanza per il Patrimonio Culturale
Metodi Basati su CNN (ad es. U-Net, DeepLabV3+)	Estrazione di caratteristiche convoluzionali e segmentazione semantica	Apprendimento efficace delle caratteristiche locali e segmentazione precisa	Modellazione limitata delle dipendenze a lungo raggio; difficoltà nel preservare strutture di motivi complessi	Adatti alla segmentazione dei motivi, ma meno efficaci per la ricostruzione artistica
Metodi Basati su GAN (ad es. Pix2Pix, CycleGAN)	Generazione avversaria di immagini e traduzione da immagine a immagine	Sintesi di immagini di alta qualità e trasferimento di stile	Instabilità durante l'addestramento; incoerenza semantica; possibile perdita di dettagli strutturali fini	Utili per il ripristino di pattern, ma potrebbero non preservare con precisione i motivi culturali
Metodi Basati su Transformer	Autoattenzione e modellazione del contesto globale	Catturano dipendenze a lungo raggio e relazioni visive complesse	Elevato costo computazionale; richiedono grandi dataset di addestramento	Efficaci per l'analisi di pattern complessi, ma capacità generativa limitata quando utilizzati singolarmente
Metodi Basati su Diffusione	Generazione di immagini basata su denoising iterativo	Alta realismo visivo e diversità delle immagini	Velocità di inferenza lenta; elevati requisiti computazionali; controllo strutturale limitato	Promettenti per la generazione di immagini del patrimonio culturale, ma computazionalmente intensivi
Metodi Ibridi Transformer-GAN	Combinazione di estrazione di caratteristiche basata su Transformer e generazione basata su GAN	Miglioramento della rappresentazione delle caratteristiche globali e della qualità delle immagini	Spesso manca una guida semantica esplicita per la preservazione dei motivi	Migliorano la qualità della generazione, ma non sono specificamente progettati per i motivi del patrimonio culturale
SegCycle-SPADE Proposto	SegFormer + CAFFM + CycleGAN + SPADE	Segmentazione basata su Transformer, fusione guidata dall'attenzione delle caratteristiche, coerenza semantica, preservazione dei motivi e ricostruzione artistica controllabile	Complessità computazionale maggiore rispetto agli approcci basati su CNN autonomi	Progettato specificamente per la ricostruzione e la preservazione di pattern del patrimonio culturale, con maggiore fedeltà strutturale e coerenza semantica

Tabella 8: Confronto tra approcci rappresentativi di apprendimento profondo per la ricostruzione e la conservazione di motivi del patrimonio culturale. Confronto qualitativo tra approcci rappresentativi di apprendimento profondo utilizzati per la segmentazione delle immagini, la ricostruzione di motivi, la generazione di stili e la conservazione del patrimonio culturale. La tabella riassume la metodologia principale, i punti di forza, i limiti e l'applicabilità di ciascun approccio, evidenziando come il framework proposto SegCycle-SPADE combini segmentazione semantica, fusione di caratteristiche, ricostruzione e sintesi dello stile per affrontare le sfide legate alla conservazione strutturale e alla coerenza semantica nei motivi del patrimonio culturale.

I miglioramenti osservati dimostrano che il modulo CAFFM potenzia efficacemente l'interazione tra le caratteristiche strutturali derivate dalla segmentazione e le rappresentazioni dello stile artistico attraverso la fusione di caratteristiche basata sull'attenzione incrociata. Inoltre, la perdita di conservazione del motivo contribuisce a mantenere strutture di motivi culturalmente significative durante la ricostruzione e la sintesi artistica, portando a una maggiore coerenza nella segmentazione, fedeltà strutturale e realismo visivo. Nel complesso, i risultati dell'analisi ablativa confermano che l'integrazione di SegFormer-B2, CAFFM, CycleGAN, SPADE e della perdita di conservazione del motivo è responsabile delle prestazioni superiori del framework proposto SegCycle-SPADE.

Disponibilità dei dati:
Il dataset WikiArt utilizzato per l'apprendimento dello stile artistico è disponibile pubblicamente tramite il repository Kaggle WikiArt (https://www.kaggle.com/datasets/steubk/wikiart). Il dataset Miao Batik utilizzato in questo studio è disponibile pubblicamente tramite Zenodo (https://doi.org/10.5281/zenodo.20807658). I dataset elaborati, le maschere di segmentazione, i pesi del modello preaddestrato, gli output generati e i file di implementazione in Python associati al framework proposto SegCycle-SPADE sono disponibili anch'essi tramite lo stesso repository Zenodo.

FILE SUPPLEMENTARE:
File Supplementare 1. Algoritmo 1: Flusso di Implementazione del Framework Proposto SegCycle-SPADE. Codice pseudocodice passo-passo che descrive l'intera pipeline di implementazione del framework proposto SegCycle-SPADE, inclusi il caricamento del dataset, la pre-elaborazione, la segmentazione semantica mediante SegFormer-B2, la fusione delle caratteristiche tramite il Modulo di Fusione delle Caratteristiche Culturali con Attenzione Incrociata (CAFFM), la ricostruzione del motivo culturale mediante CycleGAN, la sintesi dello stile artistico mediante SPADE, l'addestramento del modello, la validazione, la selezione dei checkpoint e la valutazione finale delle prestazioni. Cliccare qui per scaricare questo file.

Discussione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La conservazione e la ricostruzione digitale dei modelli del patrimonio culturale immateriale (ICH) hanno ricevuto un'attenzione crescente negli ultimi anni a causa della progressiva scomparsa delle arti tradizionali. Studi precedenti hanno cercato di affrontare la perdita del patrimonio culturale attraverso tecniche di elaborazione delle immagini basate sul DL. Ad esempio, Quan et al.³² hanno proposto un framework per la conservazione del patrimonio culturale basato su grafi della conoscenza e DL, relativo alla cultura del batik dei Miao del Guizhou. Sebbene lo studio si sia concentrato sulla ricostruzione digitale dei modelli culturali, la sua metodologia si basava principalmente su rappresentazioni mediante grafi della conoscenza. Analogamente, Fu e Razmjooy¹⁶ hanno proposto un framework basato sulla rete a piramide di caratteristiche (FPN) per il miglioramento e il restauro delle immagini del patrimonio culturale. Sebbene questo metodo abbia fornito un'estrazione efficace delle caratteristiche per il miglioramento delle immagini, non includeva indicazioni di segmentazione delle immagini né meccanismi di ricostruzione generativa per modelli culturali incompleti. Al contrario, il framework proposto SegCycle-SPADE combina diversi componenti DL per superare queste limitazioni. In primo luogo, la segmentazione semantica mediante il modello SegFormer viene impiegata per l'identificazione accurata delle regioni dei motivi all'interno dei modelli del patrimonio culturale. Successivamente, un modulo di miglioramento delle caratteristiche basato su CAFFM migliora le rappresentazioni delle caratteristiche per strutture di motivi finemente dettagliate. Un modulo di ricostruzione CycleGAN viene quindi utilizzato per ricostruire regioni mancanti o incomplete all'interno dei modelli culturali attraverso l'apprendimento avversario. Infine, un modulo SPADE esegue un miglioramento stilistico mantenendo l'allineamento strutturale con le mappe di segmentazione. I metodi esistenti basati su CNN, GAN, trasformatori e diffusione¹⁷^,¹⁹^,²⁰^,²¹^,²²^,²³^,²⁴^,²⁵^,³⁰^,³⁴ offrono ciascuno vantaggi unici; tuttavia, presentano anche limitazioni nel preservare la coerenza semantica, mantenere le caratteristiche strutturali o raggiungere un'efficienza computazionale, come riassunto in Tabella 8. L'architettura proposta SegCycle-SPADE combina i punti di forza della segmentazione basata su SegFormer, della fusione incrociata delle caratteristiche mediante attenzione, della ricostruzione CycleGAN e della sintesi guidata da SPADE, affrontando al contempo tali limitazioni. Di conseguenza, il framework raggiunge una qualità di ricostruzione migliorata e una conservazione potenziata dei motivi culturalmente significativi.

Nonostante le promettenti prestazioni, il framework proposto SegCycle-SPADE presenta ancora diverse limitazioni. In primo luogo, la valutazione è stata condotta utilizzando soltanto i dataset Miao Batik e WikiArt, il che potrebbe limitare la generalizzabilità del framework ad altri domini del patrimonio culturale. In secondo luogo, il deployment su piattaforme con risorse limitate potrebbe risultare difficoltoso poiché l'integrazione di SegFormer, CAFFM, CycleGAN e SPADE aumenta la complessità computazionale e i requisiti di memoria. In terzo luogo, le prestazioni della segmentazione dipendono fortemente dalla qualità e coerenza delle annotazioni dei motivi, e un bias nelle annotazioni potrebbe influire sulla preservazione di strutture culturalmente significative. Infine, poiché il framework è stato valutato utilizzando soltanto due dataset, potrebbero essere necessari ulteriori dati di addestramento e adattamenti specifici per dominio al fine di garantirne l'applicabilità su collezioni diverse di patrimonio culturale. Pertanto, studi futuri dovrebbero esplorare strategie di addestramento più robuste, architetture leggere, procedure di annotazione migliorate e valutazioni cross-domain mediante l'utilizzo di ulteriori dataset di patrimonio culturale.

La scalabilità del framework SegCycle-SPADE a dataset più ampi e diversificati nel campo del patrimonio culturale rappresenterà un obiettivo principale delle future ricerche. Sarà condotta un'analisi comparativa di motivi del patrimonio provenienti da diverse regioni e tradizioni artistiche al fine di migliorare la generalizzazione del modello e la sua adattabilità culturale. Inoltre, estensioni multimodali che integrino descrizioni testuali, documenti storici e metadati culturali potrebbero fornire un orientamento semantico più solido durante la ricostruzione. Il framework potrebbe inoltre essere esteso per supportare la ricostruzione tridimensionale del patrimonio culturale integrando tecniche di ricostruzione basate su immagini con metodi di modellazione 3D. Sarà inoltre esplorata la sua implementazione in archivi digitali, musei, mostre virtuali e piattaforme di conservazione del patrimonio culturale, al fine di facilitare applicazioni pratiche della conservazione e documentazione del patrimonio assistite dall'intelligenza artificiale. Per migliorare ulteriormente l'interpretabilità e l'autenticità culturale, le future ricerche valuteranno l'integrazione di grafi della conoscenza culturale, documentazione etnografica, metadati storici e basi di conoscenza curate da esperti, al fine di consentire un'analisi e una ricostruzione dei motivi culturalmente informate³².

Diversi aspetti pratici devono essere presi in considerazione durante l'implementazione del framework proposto SegCycle-SPADE. Durante l'addestramento di CycleGAN, può verificarsi una convergenza avversaria instabile se le perdite del generatore e del discriminatore diventano fortemente sbilanciate. In tali situazioni, la riduzione del tasso di apprendimento, l'aumento del peso della perdita di coerenza ciclica o il monitoraggio del dominio del discriminatore possono migliorare la stabilità dell'addestramento. Il collasso di modalità può verificarsi quando il generatore produce ripetutamente output visivamente simili; questo problema può essere attenuato mediante un addestramento avversario bilanciato, l'utilizzo di un buffer di riproduzione e un attento monitoraggio delle tendenze delle perdite di generatore e discriminatore. Possono inoltre verificarsi errori di segmentazione quando i motivi culturali presentano trame complesse, basso contrasto o contorni ambigui. Per affrontare questo problema, la qualità delle immagini deve essere verificata prima dell'addestramento e le maschere di segmentazione devono essere ispezionate visivamente per garantire la coerenza delle annotazioni. È inoltre importante mantenere la risoluzione in ingresso e le impostazioni di normalizzazione raccomandate per ottenere prestazioni affidabili di SegFormer. L'instabilità durante l'addestramento può derivare ulteriormente da impostazioni inadeguate del tasso di apprendimento, da dati di addestramento insufficienti o da variazioni numeriche legate all'hardware. Per migliorare la riproducibilità, si dovrebbero utilizzare semi casuali fissi per le operazioni di NumPy, PyTorch, CUDA e di mescolamento del dataset. Inoltre, devono essere mantenuti costanti in tutti i cicli sperimentali la stessa pipeline di pre-elaborazione, le partizioni del dataset, gli iperparametri del modello e l'ambiente software. Si raccomanda inoltre il salvataggio periodico dei checkpoint e il monitoraggio della perdita di validazione per prevenire il degrado delle prestazioni e facilitare il recupero da sessioni di addestramento interrotte.

Il lavoro proposto contribuisce al progresso teorico dei framework basati sull'intelligenza artificiale per la ricostruzione del patrimonio culturale. Gli approcci convenzionali di ripristino delle immagini trattano generalmente segmentazione, ricostruzione e generazione dello stile come processi indipendenti¹⁷^,¹⁹^,²⁰^,³⁰. Al contrario, questo studio propone un framework che integra questi processi attraverso una strategia di ricostruzione generativa guidata dalla segmentazione. Di conseguenza, lo studio contribuisce allo sviluppo teorico della ricostruzione del patrimonio culturale assistita da intelligenza artificiale, dimostrando come segmentazione, ricostruzione e generazione dello stile possano essere unificati all'interno di un unico framework. Tale integrazione è particolarmente importante nelle applicazioni relative al patrimonio culturale, dove la conservazione della struttura dei motivi e del significato semantico è fondamentale. Da un punto di vista pratico, il framework proposto offre una soluzione efficace per la conservazione digitale, il restauro e il miglioramento artistico dei modelli culturali tradizionali. Istituzioni del patrimonio culturale, musei e designer possono utilizzare SegCycle-SPADE per identificare automaticamente le regioni dei motivi, ricostruire modelli danneggiati o incompleti e generare rappresentazioni artistiche visivamente migliorate di disegni tradizionali. Questa capacità è particolarmente preziosa per le tradizioni artigianali a rischio, tra cui i modelli tessili del batik Miao, in cui gli artefatti storici possono essere parzialmente danneggiati o incompleti. Inoltre, grazie all'integrazione della sintesi generativa dello stile, il framework può supportare applicazioni moderne di design culturale, come il design tessile, la creazione artistica digitale e l'educazione al patrimonio. In questo modo, il framework proposto colma il divario tra la conservazione del patrimonio culturale e le applicazioni contemporanee di design culturale.

Tuttavia, nonostante i risultati promettenti ottenuti dal framework proposto SegCycle-SPADE, permangono diverse limitazioni. In primo luogo, la valutazione è stata condotta utilizzando esclusivamente i dataset Miao Batik e WikiArt, il che potrebbe influire sulla capacità di generalizzazione del framework nella ricostruzione di altre forme di motivi del patrimonio culturale. In secondo luogo, poiché il processo di ricostruzione si basa su modelli GAN, gli output generati possono occasionalmente presentare artefatti o texture innaturali quando si trattano strutture di motivi altamente complesse. In terzo luogo, il framework si concentra attualmente sulla ricostruzione di pattern bidimensionali, mentre alcuni manufatti del patrimonio culturale presentano strutture intrinsecamente tridimensionali. Nel complesso, i risultati sperimentali dimostrano l'efficacia del framework proposto SegCycle-SPADE nella ricostruzione artistica di motivi del patrimonio culturale immateriale (ICH). L'integrazione della segmentazione semantica basata su SegFormer, del CAFFM, della ricostruzione dei motivi basata su CycleGAN e della sintesi artistica basata su SPADE ha migliorato in modo costante le metriche di prestazione relative a segmentazione, ricostruzione e qualità dell'immagine. Gli studi di ablazione hanno ulteriormente validato il contributo di ciascun componente del framework, mostrando che il CAFFM e la loss di preservazione del motivo hanno notevolmente aumentato la fedeltà strutturale e l'autenticità visiva. Questi risultati sostengono l'ipotesi centrale secondo cui la ricostruzione guidata dalla segmentazione semantica, combinata con la fusione di caratteristiche a cross-attenzione, può preservare efficacemente i motivi culturalmente significativi generando output artisticamente ricchi. Pertanto, il framework proposto fornisce un approccio computazionale affidabile e riproducibile per la preservazione digitale, il restauro e la rivitalizzazione creativa dei motivi del patrimonio culturale immateriale.

Dichiarazioni

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Conflitto di interessi:
Gli autori dichiarano di non avere interessi concorrenti.

Ringraziamenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori ringraziano il supporto accademico e istituzionale fornito dal Guangdong Engineering Polytechnic e dalla South China Normal University durante lo svolgimento di questa ricerca. Questa ricerca è stata sostenuta dal Progetto Generale del Fondo Nazionale per le Scienze Sociali 2023 (n. 23BH161), intitolato “Museo di Rigenerazione Digitale: Ricerca sull’Attivazione e sulla Comunicazione dei Reperti Culturali Classici Cinesi di Calligrafia e Pittura”.

Materiali

Elenco dei materiali utilizzati in questo articolo
Nome	Azienda	Numero di catalogo	Commenti
Adam Optimizer	PyTorch Optimizer Library	Adam	Algoritmo di ottimizzazione utilizzato durante l'addestramento del modello.
CUDA Toolkit	NVIDIA Corporation	CUDA 11.3	Accelerazione GPU per i calcoli di deep learning.
cuDNN	NVIDIA Corporation	cuDNN 8.2	Libreria di accelerazione per reti neurali profonde utilizzata per velocizzare l'addestramento e l'inferenza.
CycleGAN	University of California, Berkeley / Open Source	Implementazione ufficiale PyTorch (https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)	Rete avversaria generativa utilizzata per la ricostruzione di motivi culturali.
Pesi Pre-addestrati su ImageNet	ImageNet / Open Source	mit_b2.pth (Punto di controllo pre-addestrato su ImageNet-1K)	Utilizzati per inizializzare il backbone SegFormer-B2 prima del fine-tuning sul dataset Miao Batik.
Processore Intel	Intel Corporation	Intel Core i7 (11ª generazione)	CPU utilizzata per la pre-elaborazione delle immagini, il supporto all'addestramento del modello e l'inferenza.
Matplotlib	Matplotlib Development Team	Matplotlib 3.5.1	Visualizzazione delle curve di addestramento e dei risultati di valutazione.
Dataset Miao Batik	Zenodo Repository	DOI: 10.5281/zenodo.20807658	Dataset di motivi culturali contenente 15.148 immagini, utilizzato per la segmentazione semantica e la ricostruzione di pattern.
NumPy	NumPy Developers	NumPy 1.21.5	Calcolo numerico ed elaborazione del dataset.
GPU NVIDIA	NVIDIA Corporation	NVIDIA RTX 3090 (24 GB VRAM)	Piattaforma hardware utilizzata per l'addestramento e l'inferenza del modello.
OpenCV	OpenCV Foundation	OpenCV 4.5.5	Pre-elaborazione delle immagini, ridimensionamento, interpolazione e denoising gaussiano.
Sistema Operativo	Canonical Ltd.	Ubuntu 20.04 LTS	Ambiente sperimentale di esecuzione.
Pillow (PIL)	Python Imaging Library	Pillow 8.4.0	Caricamento e manipolazione delle immagini.
Python	Python Software Foundation	Python 3.8.10	Linguaggio di programmazione utilizzato per l'implementazione e gli esperimenti.
PyTorch	Meta AI	PyTorch 1.10.0	Framework di deep learning utilizzato per l'addestramento e l'inferenza del modello.
Random Seed	Experimental Setting	42	Seed fisso utilizzato per la partizione del dataset, l'inizializzazione del modello e la riproducibilità sperimentale.
Scikit-learn	Scikit-learn Developers	Scikit-learn 1.0.2	Partizione del dataset, analisi statistica e metriche di valutazione.
Seaborn	Open Source Community	Seaborn 0.11.2	Visualizzazione statistica dei dati.
SegFormer-B2	NVIDIA Research / Open Source	SegFormer-B2 (Backbone MIT-B2)	Modello di segmentazione semantica basato su Transformer utilizzato per la segmentazione di motivi culturali.
Maschere di Segmentazione / Annotazioni	Miao Batik Dataset	Incluso con il Dataset	Etichette di segmentazione semantica a livello di pixel utilizzate per la classificazione dei motivi e l'addestramento.
SPADE	NVIDIA Research / Open Source	Implementazione ufficiale PyTorch (https://github.com/NVlabs/SPADE)	Modello di sintesi guidata da segmentazione utilizzato per la generazione artistica di pattern.
TorchVision	Meta AI	TorchVision 0.11.1	Utilità per l'elaborazione delle immagini e trasformazioni del dataset utilizzate con PyTorch.
Dataset WikiArt	WikiArt	https://www.wikiart.org/	Dataset di stili artistici contenente oltre 80.000 opere d'arte appartenenti a 27 stili artistici, utilizzato per l'apprendimento e la sintesi dello stile.

Riferimenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Huang B, Mo L. SegCycle-SPADE: An end-to-end framework for semantic segmentation-based automated extraction and artistic reconstruction of traditional craft patterns using conditional GAN. PLoS ONE. 2025;20:e0329100.
Yan Z, et al. Digital sustainability of heritage: Exploring indicators affecting the effectiveness of digital dissemination of intangible cultural heritage through qualitative interviews. Sustainability. 2025;17:1593.
Yan Z, et al. Construction of digital dissemination effects evaluation indicator system of traditional techniques of intangible cultural heritage. npj Heritage Science. 2025;13:224.
Imon SS. Intangible cultural heritage as a tourism product in the historic city of Macao. In: Sustainable Management of Historic Settlements in Asia: Role of Intangible Cultural Heritage. Springer Nature Singapore; Singapore. 2025. p.233-240.
Buragohain D, et al. Digitalizing cultural heritage through metaverse applications: Challenges, opportunities, and strategies. Heritage Science. 2024;12:295.
Ma Y. The ghostly ethics of mediatized shaping: Cultural memory creative transformation of Anhui’s ICH in reviving the craftsmanship. Journal of Current Social Issues Studies. 2025;2:240-249.
Wanju T, Wang Z, Tu Y. ICH and e-commerce: Bridging tradition and modernity in cultural creative products. Journal of Economics, Management and Trade. 2025;31:1-8.
Sun L, et al. Research on the redesign of China’s intangible cultural heritage based on sustainable livelihood—The case of Luanzhou shadow play empowering rural development. Sustainability. 2024;16:4555.
Pan S, et al. Constructing a sustainable evaluation framework for AIGC technology in Yixing Zisha pottery: Balancing heritage preservation and innovation. Sustainability. 2025;17:910.
Na Z, Sharul Azim SR. Research on innovative development of Miao embroidery intangible cultural heritage in Guizhou, China based on digital design. Journal of Business and Economic Review. 2024;9:85-94.
Guo S, Canessa A. Ethnic elder poverty: Miao household livelihoods and elderly self-sufficiency practices in Midwest China. Culture, Agriculture, Food and Environment. 2023;45:55-68.
Han D, Cong L. Miao traditional patterns: The origins and design transformation. Visual Studies. 2023;38:425-432.
Dong B, et al. Spatial distribution and tourism competition of intangible cultural heritage: Take Guizhou, China as an example. Heritage Science. 2023;11:64-80.
Chen Z, Ren X, Zhang Z. Cultural heritage as rural economic development: Batik production amongst China’s Miao population. Journal of Rural Studies. 2021;81:182-193.
Zhennan LY, Yahaya SR. An aesthetic study on traditional batik design of Miao ethnicity in China. Kupas Seni. 2021;9:12-25.
Fu X, Razmjooy N. Preserving and enhancing cultural heritage through art design using feature pyramid network optimized by modified builder optimization algorithm. Scientific Reports. 2025;15:42603.
Liu X, Wan J, Wang N. Ancient painting inpainting with regional attention-style transfer and global context perception. Applied Sciences. 2024;14:8777.
Xu Q, Iwasaki M. Image restoration model of wood-structured raw lacquer cultural relics based on diffusion generation network. Journal of Asian Architecture and Building Engineering. 2025:1-19.
Cherian A, Sullivan A. Sem-GAN: Semantically-consistent image-to-image translation [conference presentation]. Presented at: IEEE Winter Conference on Applications of Computer Vision (WACV); 2019. doi: 10.1109/WACV.2019.00196.
Rombach R, et al. High-resolution image synthesis with latent diffusion models [conference presentation]. Presented at: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2022. p.10684-10695. Available from: http://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdf.
Gendy GGH, Nabil S. Diffusion models for image super-resolution: State-of-the-art and future directions. Neurocomputing. 2025;617:128911.
Kazerouni A, et al. Diffusion models in medical imaging: A comprehensive survey. Medical Image Analysis. 2023;88:102846.
Yang L, et al. Diffusion models: A comprehensive survey of methods and applications. ACM Computing Surveys. 2023;56:1-39.
Croitoru FA, Hondru V, Ionescu RT, Shah M. Diffusion models in vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023;45:10850-10869.
Cao H, et al. A survey on generative diffusion models. IEEE Transactions on Knowledge and Data Engineering. 2024;36:2814-2830.
Po R, et al. State of the art on diffusion models for visual computing. Computer Graphics Forum. 2024;43:e15063.
Thampanichwat C, et al. Mindful architecture from text-to-image AI perspectives: A case study of DALL-E, Midjourney, and Stable Diffusion. Buildings. 2025;15:972.
Li W. Enhanced automated art curation using supervised modified CNN for art style classification. Scientific Reports. 2025;15:7319.
Chen C. Algorithm and tool development for creative generation of graphic design of folk houses and ancient buildings integrating cultural and creative elements. Scalable Computing: Practice and Experience. 2024;25:4729-4736.
Liu B, Ji J, Gu L, Jiang Z. An integrated CycleGAN-diffusion approach for realistic image generation [conference presentation]. Presented at: International Conference on Signal Processing and Machine Learning; 2024. p.92-101. doi: 10.1117/12.3027121.
Bao Q, Zhao J, Liu Z, Liang N. AI-assisted inheritance of Qinghua porcelain cultural genes and sustainable design using low-rank adaptation and stable diffusion. Electronics. 2025;14:725.
Quan H, et al. Protection of Guizhou Miao batik culture based on knowledge graph and deep learning. Heritage Science. 2024;12:1-22.
Sun H, et al. HRPGAN: A GAN-based model to generate high-resolution remote sensing images. IOP Conference Series: Earth and Environmental Science. 2020;428:012060.
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. Available from: https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Engineering Deep Learning CAFFM Artistic Reconstruction Intangible Cultural Heritage Patterns End to End Framework

Ricostruzione guidata dalla segmentazione semantica e sintesi di stile artistico di pattern del patrimonio culturale immateriale tramite un framework di deep learning

In questo articolo

Sommario

Abstract

Introduzione

Protocollo

Risultati

Discussione

Dichiarazioni

Ringraziamenti

Materiali

Riferimenti

Ristampe e permessi

Tag

Articoli correlati