Rekonstrukcja sterowana segmentacją semantyczną i synteza stylu artystycznego wzorów niematerialnego dziedzictwa kulturowego z wykorzystaniem frameworku głębokiego uczenia

Zhi Zhan; Guang Luo

doi:10.3791/71577

Artykuł badawczy

Rekonstrukcja sterowana segmentacją semantyczną i synteza stylu artystycznego wzorów niematerialnego dziedzictwa kulturowego z wykorzystaniem frameworku głębokiego uczenia

DOI:

10.3791/71577

⸱

14 sierpnia 2026

Zhi Zhan¹ , Guang Luo²

¹School of Art and Design, Guangdong Engineering Polytechnic, ²School of Fine Arts, South China Normal University

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Niniejszy protokół opisuje przepływ pracy oparty na głębokim uczeniu w celu segmentacji semantycznej, rekonstrukcji i syntezy artystycznego stylu wzorów niematerialnego dziedzictwa kulturowego, wykorzystując ekstrakcję cech opartą na transformatorach, rekonstrukcję przeciwstawną oraz przestrzennie adaptacyjne generowanie obrazów, aby wesprzeć cyfrową konserwację i kreatywne zastosowania w obszarze dziedzictwa.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cyfrowa konserwacja i rekonstrukcja wzorów niematerialnego dziedzictwa kulturowego (ICH) zyskały na znaczeniu wraz z rozwojem technik syntezy obrazu opartych na głębokim uczeniu. Istniejące podejścia oparte na SegCycle-SPADE wykazały potencjał w zakresie segmentacji strukturalnej i artystycznej rekonstrukcji tradycyjnych wzorów rzemieślniczych; jednak nadal istnieją ograniczenia, w tym ograniczona różnorodność zbiorów danych, niewystarczające uwzględnienie semantyki kulturowej oraz nieodpowiednia konserwacja cech strukturalnych wzorów podczas rekonstrukcji. Aby sprostać tym wyzwaniom, w niniejszym badaniu zaproponowano ulepszony framework SegCycle-SPADE do segmentacji semantycznej i artystycznej rekonstrukcji typów wzorów ICH. Do dokładnej identyfikacji granic motywów i obszarów wzorów wykorzystano model segmentacji oparty na Transformerach, SegFormer. Ponadto wprowadzono moduł Cross-Attention Cultural Feature Fusion, aby wzmocnić motywy o znaczeniu kulturowym i poprawić reprezentację cech. Translacja i rekonstrukcja wzorów są realizowane za pomocą CycleGAN, natomiast do syntezy stylu artystycznego wykorzystano Spatial-Adaptive Denormalization (SPADE), aby zachować spójność semantyczną między mapami segmentacji a generowanymi obrazami. W celu poprawy generalizacji modelu i różnorodności artystycznej, framework został przeszkolony z wykorzystaniem zarówno zbioru danych motywów kulturowych Miao Batik, jak i zbioru danych WikiArt. Wyniki eksperymentalne wykazują, że zaproponowany framework SegCycle-SPADE z mechanizmem uwagi poprawia dokładność segmentacji oraz wydajność rekonstrukcji wzorów dziedzictwa w porównaniu z istniejącymi metodami rekonstrukcji opartymi na generatywnych sieciach przeciwstawnych (GAN). Zaproponowany framework stanowi skalowalne rozwiązanie dla dokumentacji dziedzictwa kulturowego wspomaganej sztuczną inteligencją, rekonstrukcji oraz artystycznej rewitalizacji tradycyjnych projektów wzorów.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dziedzictwo kulturowe, obejmujące zarówno elementy niematerialne, takie jak zwyczaje, języki i wierzenia, jak i elementy materialne, takie jak dzieła sztuki, budynki i zapisy pisemne, stanowi fundamentalny przejaw ludzkiej historii, kreatywności i tożsamości¹. Konserwacja dziedzictwa ma na celu umożliwienie społecznościom ponownego nawiązania kontaktu z ich korzeniami i pozwala przyszłym pokoleniom korzystać z ich zbiorowej pamięci kulturowej. Sprzyja ona również zrozumieniu międzykulturowemu, docenianiu różnorodnych tradycji i zwyczajów oraz uznawaniu różnych narracji historycznych. Zasoby kulturowe te pomagają nam zrozumieć wartości, perspektywy i doświadczenia poprzednich pokoleń oraz przyczyniają się do kształtowania współczesnych tożsamości społecznych i ciągłości kulturowej. Podstawowe zasady ochrony dziedzictwa kulturowego przedstawiono na Rysunku 1.

Schemat frameworku SegCycle-SPADE; obejmuje SegFormer, CycleGAN oraz SPADE do rekonstrukcji obrazów.
Rysunek 1. Koncepcyjny przegląd rekonstrukcji wzorów dziedzictwa kulturowego z wykorzystaniem frameworku SegCycle-SPADE. Schematyczny rysunek proponowanego podejścia do rekonstrukcji i ulepszania wzorów niematerialnego dziedzictwa kulturowego. Przepływ pracy obejmuje zbieranie danych z zestawów danych Miao Batik i WikiArt, wstępne przetwarzanie obrazów, segmentację semantyczną z użyciem SegFormer-B2, fuzję cech z wykorzystaniem modułu Cross-Attention Cultural Feature Fusion Module (CAFFM), rekonstrukcję wzorów za pomocą CycleGAN, syntezę stylu artystycznego z użyciem SPADE oraz końcową ewaluację z wykorzystaniem metryk segmentacji i rekonstrukcji. Strzałki wskazują przepływ danych i reprezentacji cech w obrębie frameworku. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Zbiorowa pamięć i dziedzictwo kulturowe ludzkiego społeczeństwa są ucieleśnione w niematerialnym dziedzictwie kulturowym (NDK), które stanowi istotne medium ekspresji artystycznej i tożsamości kulturowej. Jednakże NDK mierzy się ze znacznymi wyzwaniami wynikającymi ze skutków globalizacji i cyfryzacji²^,³^,⁴. Wiele zagrożonych praktyk NDK wymaga nowych podejść do konserwacji i rozwoju ze względu na spadającą liczbę wykwalifikowanych rzemieślników oraz ograniczoną zdolność adaptacji do współczesnych rynków⁵^,⁶. Jako istotny obszar badań nad NDK, projektowanie zrównoważone kładzie nacisk na zintegrowany rozwój kultury, społeczeństwa i środowiska, oferując praktyczną drogę do dalszego zachowania NDK. Dzięki podejściom opartym na projektowaniu zrównoważonym, NDK może zostać zrewitalizowane przy jednoczesnym dostosowaniu do potrzeb współczesnego społeczeństwa⁷^,⁸.

W niniejszym badaniu termin „wzorce niematerialnego dziedzictwa kulturowego” odnosi się do wizualnych reprezentacji motywów, które przekazują i zachowują podstawowe niematerialne wartości kulturowe. W związku z tym proponowane ramy mają na celu zachowanie i udokumentowanie informacji kulturowych związanych z tymi motywami przy jednoczesnej rekonstrukcji ich form wizualnych.

Haft i batik ludu Miao są istotnymi formami niematerialnego dziedzictwa kulturowego (ICH) Chin, odzwierciedlającymi historię, wierzenia i tradycje społeczności Miao poprzez symboliczne motywy, takie jak ptaki, motyle i totemy przodków⁹. Motywy te są głęboko zakorzenione w strojach rytualnych oraz praktykach festiwalowych i przyczyniają się do lokalnego rozwoju kulturowego i gospodarczego¹⁰^,¹¹. Postępy w technologiach cyfrowych, w szczególności w dziedzinie sztucznej inteligencji (AI) i głębokiego uczenia (DL), stworzyły nowe możliwości dla ochrony, analizy, rekonstrukcji i dokumentacji dziedzictwa kulturowego. Batik Miao z prowincji Guizhou, jedna z najlepiej zachowanych tradycji batikowych w Chinach, stanowi ważne medium przekazywania wiedzy kulturowej, wierzeń, zwyczajów i rytuałów ludu Miao¹²^,¹³^,¹⁴^,¹⁵^,¹⁶.

Niedawne badania wykazały potencjał głębokiego uczenia (DL) w zachowaniu dziedzictwa kulturowego i rekonstrukcji wzorów, osiągając lepszą dokładność segmentacji (dokładność pikseli = 88,6%, średnia wartość intersection over union [IoU] = 78,1%) oraz wydajność rekonstrukcji w porównaniu z U-Net i DeepLabV3+1. Niemniej jednak wciąż pozostaje kilka wyzwań. Istniejące podejścia oparte na generatywnych sieciach przeciwstawnych (GAN) często mają trudności z zachowaniem drobnych szczegółów strukturalnych w złożonych wzorach¹⁷, natomiast ograniczona różnorodność zbiorów danych ogranicza generalizację modelu w różnych domenach kulturowych¹⁸. Ponadto modele translacji obraz-obraz, takie jak CycleGAN, mogą nie zachować spójności semantycznej między mapami segmentacji a wygenerowanymi obrazami¹⁹, a brak mechanizmów uwagi może prowadzić do utraty kulturowo istotnych szczegółów motywów podczas rekonstrukcji²⁰. W związku z tym, w celu efektywnej rekonstrukcji wzorów niematerialnego dziedzictwa kulturowego (ICH), konieczne jest opracowanie ulepszonego frameworka integrującego segmentację opartą na transformerach, uczenie cech z przewodnią uwagą oraz trening na wielu zbiorach danych.

Nowe możliwości ochrony dziedzictwa kulturowego pojawiły się dzięki digitalizacji haftów ludu Miao oraz szybkiemu rozwojowi generatywnej sztucznej inteligencji. Modele dyfuzyjne, wschodząca klasa głębokich modeli generatywnych, wykazały niezwykłą skuteczność w zadaniach wizji komputerowej ze względu na swoje potężne możliwości generowania treści²¹^,²²^,²³^,²⁴^,²⁵. Podczas procesu odwrotnej dyfuzji model stopniowo uczy się rekonstruować oryginalne dane wejściowe z reprezentacji zaszumionych²⁶^,²⁷^,²⁸. Wcześniejsze badania analizowały również zastosowanie technik rekonstrukcji trójwymiarowej oraz projektowania wspomaganego komputerowo (CAD) w celu ochrony i upowszechniania dziedzictwa kulturowego.

Mimo że splotowe sieci neuronowe (CNN) i sieci GAN sprawdzają się w generowaniu obrazów i zachowaniu cech, wciąż borykają się z problemami związanymi z ograniczonymi polami recepcyjnymi, zapadaniem trybów (mode collapse) oraz niestabilnością procesu trenowania²⁹. Architektury oparte na transformerach, takie jak SegFormer i Segmenter, doskonale radzą sobie z przechwytywaniem globalnego kontekstu i relacji semantycznych; są one jednak kosztowne obliczeniowo i mogą mieć trudności z odwzorowaniem drobnych szczegółów. Chociaż modele dyfuzyjne, takie jak Stable Diffusion, wykazują silne możliwości generowania obrazów, często brakuje im precyzyjnej kontroli nad strukturalnymi i artystycznymi cechami generowanych projektów. Ponadto większość istniejących podejść wykorzystuje niezależne strategie trenowania, co ogranicza efektywną wymianę informacji i wspólną optymalizację między komponentami segmentacji i generowania, prowadząc do kompromisu pomiędzy dokładnością strukturalną a autentycznością artystyczną³⁰.

Współczesne modele oparte na dyfuzji, takie jak dyfuzja latentna (latent diffusion) i Stable Diffusion, umożliwiają wysokiej jakości syntezę obrazów, lecz wymagają iteracyjnego odszumiania, co prowadzi do wzrostu kosztów obliczeniowych i czasu inferencji. Ponadto zachowanie drobnych motywów kulturowych oraz spójności strukturalnej pozostaje wyzwaniem bez zastosowania specjalistycznych mechanizmów warunkowania. Generatywne modele oparte na transformatorach skutecznie przechwytują globalne zależności kontekstowe, jednak często wymagają one zestawów danych na dużą skalę oraz znacznych zasobów obliczeniowych. W przeciwieństwie do nich, proponowana struktura SegCycle-Spatially Adaptive Denormalization (SegCycle-SPADE) łączy segmentację opartą na SegFormer, fuzję cech za pomocą mechanizmu cross-attention, rekonstrukcję CycleGAN oraz syntezę sterowaną przez SPADE, aby zapewnić wyraźne prowadzenie strukturalne, poprawiając tym samym zachowanie motywów, spójność semantyczną oraz sterowalną rekonstrukcję wzorów dziedzictwa kulturowego.

Większość nowoczesnych technik segmentacji semantycznej opiera się na w pełni splotowych sieciach neuronowych (FCNN) o architekturze w kształcie litery U³¹. Podczas etapu kodowania, poprzez serię operacji splotu i undersamplingu, ekstrahowane są głębokie cechy o dużych polach recepcyjnych. Etap dekodowania stopniowo przywraca rozdzielczość przestrzenną poprzez upsampling, co w końcowym etapie umożliwia semantyczną predykcję na poziomie pikseli. Połączenia pomijające (skip connections) pozwalają na bezpośrednią integrację informacji o wysokiej rozdzielczości z różnych poziomów kodera w dekoderze³², co kompensuje utratę informacji przestrzennej podczas undersamplingu i poprawia wydajność segmentacji w szerokim zakresie zastosowań.

Chociaż ostatnie metody oparte na sieciach GAN, CNN i modelach dyfuzyjnych wykazały obiecujące wyniki w generowaniu obrazów i restauracji dziedzictwa kulturowego, często mają one trudności z zachowaniem spójności semantycznej, utrzymaniem drobnych motywów strukturalnych oraz zapewnieniem powtarzalnej rekonstrukcji w przypadku różnorodnych wzorów kulturowych. Większość istniejących podejść traktuje segmentację, rekonstrukcję i syntezę stylu jako oddzielne procesy, co może prowadzić do utraty elementów istotnych kulturowo i niespójnych wyników. Aby wypełnić tę lukę metodologiczną, w niniejszym badaniu zaproponowano zunifikowaną strukturę SegCycle-SPADE, która integruje segmentację semantyczną opartą na SegFormer, nowatorski moduł fuzji cech kulturowych z mechanizmem krzyżowej uwagi (CAFFM), rekonstrukcję opartą na CycleGAN oraz syntezę stylu sterowaną przez SPADE. Poprzez jawne zintegrowanie informacji o segmentacji strukturalnej z generatywnym uczeniem cech, zaproponowany model umożliwia bardziej niezawodną, semantycznie spójną i powtarzalną rekonstrukcję motywów niematerialnego dziedzictwa kulturowego (ICH), zachowując jednocześnie autentyczność kulturową i jakość artystyczną.

W niniejszym badaniu zidentyfikowano trzy główne ograniczenia obecnych podejść do rekonstrukcji dziedzictwa kulturowego: (i) niewystarczające zachowanie drobnych motywów strukturalnych w metodach rekonstrukcji opartych na sieciach GAN; (ii) ograniczoną generalizację wynikającą z uczenia na małych lub specyficznych dla danej dziedziny zbiorach danych; oraz (iii) niewystarczającą spójność semantyczną między wynikami segmentacji a generowanymi obrazami w ramach tłumaczenia obraz-obraz. Ponadto segmentacja, rekonstrukcja i synteza stylu są powszechnie traktowane jako oddzielne procesy, co prowadzi do utraty kulturowo istotnych elementów podczas rekonstrukcji. Poprzez połączenie semantycznej segmentacji opartej na transformatorach, fuzji cech z mechanizmem cross-attention, rekonstrukcji CycleGAN oraz syntezy artystycznej sterowanej przez SPADE w ramach jednolitej architektury, proponowany framework SegCycle-SPADE eliminuje te ograniczenia i poprawia zachowanie motywów, spójność semantyczną oraz autentyczność artystyczną w rekonstrukcji wzorów niematerialnego dziedzictwa kulturowego (ICH).

Głównym celem niniejszego badania jest opracowanie ulepszonego frameworka SegCycle-SPADE do artystycznej rekonstrukcji wzorów niematerialnego dziedzictwa kulturowego (ICH) z wykorzystaniem sterowanej segmentacji semantycznej. Framework ten integruje model SegFormer do dokładnej segmentacji motywów kulturowych, CycleGAN do rekonstrukcji wzorów oraz SPADE do artystycznej syntezy spójnej stylistycznie. W celu poprawy reprezentacji cech i zachowania drobnych szczegółów strukturalnych wprowadzono moduł CAFFM, który ułatwia efektywną interakcję między cechami segmentacji a cechami generatywnymi. Framework, wytrenowany na zestawach danych Miao Batik oraz WikiArt, zwiększa autentyczność rekonstrukcji, spójność stylu oraz stopień zachowania motywów o znaczeniu kulturowym.

Poprzez połączenie segmentacji semantycznej, fuzji cech sterowanej mechanizmem uwagi, rekonstrukcji wzorów oraz syntezy stylu w ramach ujednoliconej architektury, niniejsze badanie przedstawia nowatorski framework SegCycle-SPADE do artystycznej rekonstrukcji wzorów niematerialnego dziedzictwa kulturowego (ICH). Główne wkłady tej pracy są następujące. Po pierwsze, opracowano nowatorski framework rekonstrukcji sterowanej segmentacją semantyczną poprzez integrację modelu SegFormer, co umożliwia precyzyjną ekstrakcję i zachowanie złożonych motywów kulturowych oraz elementów strukturalnych. Po drugie, wprowadzono nowy moduł CAFFM w celu efektywnej fuzji cech segmentacji z reprezentacjami generatywnymi, co pozwala modelowi uchwycić dalekosiężne relacje między motywami kulturowymi a artystycznymi wzorcami stylu. Po trzecie, proponowany moduł CAFFM zwiększa stopień zachowania istotnych kulturowo elementów, poprawiając jednocześnie realizm wizualny i spójność strukturalną zrekonstruowanych wzorów dziedzictwa. Po czwarte, poprzez integrację modelu CycleGAN do rekonstrukcji wzorów kulturowych oraz SPADE do sterowanej segmentacją syntezy artystycznej, framework zapewnia zarówno dokładność semantyczną, jak i autentyczność stylistyczną w generowanych wynikach. Po piąte, w celu poprawy generalizacji i różnorodności artystycznej, model został przeszkolony z wykorzystaniem zbioru danych motywów kulturowych Miao Batik do nauki wzorów kulturowych oraz zbioru danych WikiArt do reprezentacji stylu artystycznego. WikiArt służy jako pomocniczy zbiór danych do oceny zdolności generalizacji frameworka, odporności uczenia cech oraz skuteczności kontroli stylu w różnych kontekstach wizualnych, a nie jako styl docelowy do bezpośredniego zastosowania w produktach dziedzictwa kulturowego Miao. Wreszcie, w porównaniu z istniejącymi metodami rekonstrukcji dziedzictwa kulturowego opartymi na sieciach GAN, wyniki eksperymentalne wykazują, że proponowany framework SegCycle-SPADE osiąga lepszą dokładność segmentacji, wyższą jakość rekonstrukcji oraz większą spójność stylistyczną.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zaproponowana struktura SegCycle-SPADE została opracowana w celu rekonstrukcji i ulepszenia tradycyjnych wzorów dziedzictwa kulturowego poprzez segmentację semantyczną, wzmacnianie cech z wykorzystaniem mechanizmu uwagi, rekonstrukcję generatywną oraz syntezę stylu artystycznego. W badaniu wykorzystano ogólnodostępne zbiory danych obrazów artystycznych i dziedzictwa kulturowego, w tym zbiór danych Miao Batik oraz zbiór danych WikiArt. W badaniach nie uczestniczyli ludzie, nie wykorzystano danych pacjentów, informacji osobistych, zwierząt ani dokumentacji klinicznej; w związku z tym nie wymagano zgody instytucjonalnej komisji etycznej ani świadomej zgody uczestników. W pierwszej kolejności do ewaluacji wykorzystano zbiór motywów kulturowych Miao Batik oraz zbiór danych WikiArt. Zbiór danych Miao Batik został opisany w pracy Quan et al. (2024)32 i zawiera 15 148 adnotowanych obrazów tradycyjnych motywów batiku Miao. Istniejące adnotacje dostarczone przez twórców zbioru zostały użyte bezpośrednio; w niniejszym badaniu nie tworzono dodatkowych adnotacji ręcznych. Następnie przeprowadzono wstępne przetwarzanie obrazów poprzez zmianę rozmiaru, normalizację, odszumianie oraz tworzenie maski segmentacji. Dokładne parametry wstępnego przetwarzania opisano w podrozdziale Wstępne przetwarzanie danych. Zaproponowana struktura wykorzystuje model oparty na transformatorze o nazwie SegFormer-B2 do segmentacji semantycznej danych. Metoda ta została zaprojektowana w celu wykrywania kluczowych regionów motywów kulturowych i uczenia się ich struktur. Segmentowane cechy są następnie wzmacniane poprzez mechanizm uwagi, w którym podkreślane są istotne informacje związane z motywami kulturowymi, a informacje nieistotne są odrzucane. Konfiguracja mechanizmu uwagi została opisana w podrozdziale CAFFM. Wzmocnione cechy są następnie przekazywane do CycleGAN, gdzie uszkodzone struktury są rekonstruowane poprzez uczenie cykliczne. Podczas treningu sztucznie stworzono niekompletne próbki motywów, stosując operacje losowego maskowania i częściowego zasłaniania oryginalnych obrazów batiku Miao. Procedury degradacji te symulowały brakujące regiony motywów i uszkodzenia strukturalne powszechnie obserwowane w zdegradowanych artefaktach dziedzictwa kulturowego. Powstałe niekompletne obrazy posłużyły jako dane wejściowe dla modułu rekonstrukcji CycleGAN, natomiast odpowiadające im oryginalne obrazy stanowiły cele rekonstrukcji. Zrekonstruowane wzory dziedzictwa kulturowego są następnie ulepszane za pomocą SPADE, gdzie wzmocnienie artystyczne jest realizowane na podstawie wygenerowanych map segmentacji. Skuteczność proponowanej struktury oceniono za pomocą ilościowych metryk segmentacji i jakości obrazu, natomiast autentyczność wizualną zrekonstruowanych motywów kulturowych oceniono jakościowo. Autentyczność wizualną oceniano poprzez inspekcję wzrokową wygenerowanych wzorów kulturowych i nie była ona traktowana jako niezależna metryka ilościowa. Ocena koncentrowała się na zachowaniu motywów, spójności semantycznej, cechach kulturowych, kohezji strukturalnej oraz wyglądzie artystycznym w odniesieniu do odpowiadających im referencyjnych motywów kulturowych. Ilościowa ocena wydajności modelu została przeprowadzona z wykorzystaniem dokładności segmentacji (Segmentation Accuracy), IoU, współczynnika Dice (Dice Coefficient), wskaźnika podobieństwa strukturalnego (SSIM), szczytowego stosunku sygnału do szumu (PSNR) oraz odległości Frécheta Inception Distance (FID). Rysunek 2 przedstawia ogólny schemat działania proponowanej struktury SegCycle-SPADE i podsumowuje metryki oceny wykorzystane w niniejszym badaniu.

Schemat przetwarzania zbioru danych z wykorzystaniem SegFormer i CycleGAN do generowania stylu artystycznego; zawarto metryki ewaluacji.
Rycina 2. Ogólny schemat przepływu architektury proponowanego frameworka SegCycle-SPADE. Przegląd kompletnego przepływu pracy SegCycle-SPADE. Obrazy ze zbiorów danych Miao Batik i WikiArt poddawane są wstępnemu przetwarzaniu przed etapem segmentacji semantycznej z wykorzystaniem SegFormer-B2, wzmocnienia cech za pomocą CAFFM, rekonstrukcji wzorów przy użyciu CycleGAN oraz generowania stylu artystycznego za pomocą SPADE. Wydajność modelu jest oceniana za pomocą wskaźników Segmentation Accuracy, Intersection over Union (IoU), współczynnika Dice, Structural Similarity Index Measure (SSIM), PSNR oraz Fréchet Inception Distance (FID), natomiast autentyczność wizualna jest oceniana jakościowo. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Struktura SegCycle-SPADE do rekonstrukcji wzorów dziedzictwa kulturowego została zaprojektowana w celu zintegrowania wielu komponentów głębokiego uczenia (DL) dla dokładnej segmentacji motywów, rekonstrukcji i artystycznego ulepszenia, co zilustrowano na Rysunku 2. Do zapewnienia różnorodności wzorów kulturowych i stylów artystycznych wykorzystano obrazy z zestawu danych motywów kulturowych Miao Batik oraz zestawu danych WikiArt. Początkowo obrazy są przetwarzane za pomocą modułu segmentacji semantycznej opartego na modelu SegFormer, aby zidentyfikować i wyodrębnić motywy kulturowe z tła. Cała architektura składa się z czterech głównych etapów. Po pierwsze, model SegFormer wyodrębnia mapy segmentacji semantycznej z obrazów wzorów kulturowych. Po drugie, moduł CAFFM integruje cechy segmentacji z reprezentacjami generatywnymi w celu usprawnienia uczenia cech. Po trzecie, moduł CycleGAN rekonstruuje wzory kulturowe, wykorzystując scalone reprezentacje cech. Na koniec moduł SPADE generuje artystycznie ulepszone wyniki, zachowując spójność strukturalną dzięki syntezie sterowanej segmentacją. Uszczegółowione mapy cech są następnie przetwarzane przez moduł rekonstrukcji CycleGAN, który uczy się przywracać niekompletne motywy kulturowe poprzez mapowanie zdegradowanych wzorów na ich odpowiadające im pełne formy. Próbki niekompletnych motywów wygenerowano poprzez zastosowanie losowego maskowania i operacji częściowego zasłaniania oryginalnych obrazów Miao Batik, symulując w ten sposób brakujące regiony wzorów i degradację strukturalną często obserwowaną w uszkodzonych artefaktach kulturowych. Każdy zdegradowany obraz został sparowany z odpowiadającym mu obrazem oryginalnym, który służył jako cel rekonstrukcji podczas uczenia. Strategia ta umożliwiła modułowi CycleGAN naukę przywracania brakujących struktur motywów przy jednoczesnym zachowaniu spójności semantycznej i istotnych cech kulturowych. Ostatecznie generator SPADE tworzy wizualnie ulepszone wyniki artystyczne, warunkując syntezę obrazu na podstawie wygenerowanych map segmentacji, co pozwala zachować integralność strukturalną motywów kulturowych w całym procesie ulepszania artystycznego.

Poniższe kroki są zaangażowane w proponowany schemat SegCycle-SPADE.

Krok 1: Gromadzenie zbiorów danych
W celu realizacji celów nauki wzorców kulturowych oraz generowania stylów artystycznych wykorzystano dwa zbiory danych. Zbiór motywów kulturowych Miao Batik posłużył do dostarczenia informacji o tradycyjnych wzorach kulturowych. Zbiór ten jest publicznie dostępny za pośrednictwem Zenodo (https://doi.org/10.5281/zenodo.20807658) i zawiera 15 148 opisanych obrazów tradycyjnych motywów batikowych ludu Miao. Wykorzystano bezpośrednio istniejące adnotacje dostarczone przez twórców zbioru; w niniejszym badaniu nie tworzono dodatkowych adnotacji ręcznych. Zbiór danych WikiArt został wykorzystany do dostarczenia zróżnicowanych informacji o stylach artystycznych na potrzeby generowania stylu i został pobrany z publicznie dostępnego repozytorium WikiArt (https://www.wikiart.org/).

Krok 2: Przetwarzanie wstępne danych
Wszystkie obrazy poddano wstępnemu przetwarzaniu poprzez zmianę rozmiaru, normalizację oraz redukcję szumów. Wykorzystano istniejące adnotacje motywów kulturowych pochodzące z oryginalnych źródeł zbioru danych, aby wesprzeć etap segmentacji semantycznej. W ramach niniejszego badania nie przeprowadzono żadnych dodatkowych procedur adnotacji ani ponownego etykietowania.

Krok 3: Segmentacja wzorców semantycznych z wykorzystaniem SegFormer
Do segmentacji motywów kulturowych wykorzystano model SegFormer. Dokładna architektura szkieletowa (backbone) oraz strategia inicjalizacji modelu SegFormer zostały opisane w podrozdziale Semantic Pattern Segmentation Using SegFormer. W szczególności do semantycznej segmentacji motywów zastosowano architekturę SegFormer-B2 z szkieletem MIT-B2 wstępnie wytrenowanym na zbiorze ImageNet. Model ten skutecznie przechwytuje globalne informacje kontekstowe, zachowując jednocześnie złożone szczegóły strukturalne tradycyjnych wzorców kulturowych.

Krok 4: CAFFM
Moduł CAFFM łączy cechy segmentacji semantycznej z reprezentacjami generatywnymi, umożliwiając frameworkowi naukę zarówno charakterystyki motywów strukturalnych, jak i informacji o stylu artystycznym. Szczegóły integracji CAFFM przedstawiono w podrozdziale CAFFM. Moduł ten znajduje się pomiędzy etapem segmentacji semantycznej opartym na SegFormer a etapem rekonstrukcji generatywnej, gdzie scala cechy strukturalne pochodzące z segmentacji z cechami rekonstrukcji za pomocą wielogłowicowej uwagi krzyżowej (multi-head cross-attention). Proces ten poprawia zachowanie motywów kulturowych i zwiększa realizm zrekonstruowanych wyników.

Krok 5: Rekonstrukcja wzorów (CycleGAN)
Połączone cechy są następnie przetwarzane przez moduł CycleGAN w celu rekonstrukcji struktur wzorów kulturowych. Architektura CycleGAN oraz konfiguracja treningowa zostały opisane w podrozdziale Rekonstrukcja wzorów przy użyciu CycleGAN. Moduł rekonstrukcji składa się z dwóch generatorów i dwóch dyskryminatorów, wykorzystuje architekturę generatora opartą na sieciach rezdualnych z dziewięcioma blokami rezdualnymi, stosuje dyskryminator PatchGAN i jest trenowany z wykorzystaniem strat adversarialnych oraz strat spójności cyklu. Taka konfiguracja umożliwia dwukierunkowe mapowanie domen i ułatwia rekonstrukcję niekompletnych struktur wzorów kulturowych.

Krok 6: Generowanie stylu artystycznego (SPADE)
Zrekonstruowane wzory są następnie przetwarzane przez moduł SPADE w celu przeprowadzenia syntezy stylu artystycznego sterowanej segmentacją. Konfiguracja generatora SPADE została opisana w podrozdziale Artistic Style Generation Using SPADE. Moduł wykorzystuje bloki rezidualne SPADE, warstwy normalizacji adaptacyjnej przestrzennie oraz warunkowanie semantyczne pochodzące z map segmentacji SegFormer i reprezentacji cech CAFFM. Dzięki warunkowaniu generowania obrazów na podstawie map segmentacji, zsyntetyzowane wyniki zachowują spójność strukturalną z oryginalnymi motywami kulturowymi, jednocześnie przyjmując charakterystyczne cechy stylu artystycznego.

Krok 7: Ocena wydajności
Zaproponowany model został oceniony przy użyciu wielu metryk segmentacji i oceny jakości obrazu, w tym dokładności segmentacji (Segmentation Accuracy), IoU, współczynnika podobieństwa Dice’a (Dice), SSIM, PSNR oraz FID. Aby ocenić spójność eksperymentalną, wszystkie doświadczenia powtórzono pięć razy, stosując różne ziarna losowe, a wyniki przedstawiono jako średnią ± odchylenie standardowe. Istotność statystyczną oceniono za pomocą testów t-studenta dla prób zależnych, przyjmując próg istotności p < 0,05.

Zbieranie zbiorów danych
W proponowanej strukturze SegCycle-SPADE do rozumienia wzorców kulturowych i nauki stylu wykorzystuje się dwa zbiory danych. Pierwszym zbiorem danych zastosowanym w proponowanej strukturze jest zbiór motywów kulturowych batiku ludu Miao. Zbiór ten zawiera motywy kulturowe batiku Miao, które są zazwyczaj obrazami tradycyjnego batiku Miao zawierającymi motywy takie jak zwierzęta, rośliny i kształty geometryczne, stosowane w sztuce etnicznej ludu Miao. Zbiór ten zawiera obrazy z bogatymi informacjami o teksturze, co jest zazwyczaj istotne dla zachowania dziedzictwa kulturowego. Drugim zbiorem danych wykorzystanym w proponowanej strukturze SegCycle-SPADE jest zbiór danych WikiArt. Zbiór ten zawiera ogromną liczbę dzieł sztuki, zazwyczaj w różnych stylach. Jest on wykorzystywany do złożonej nauki stylu, co jest zazwyczaj przydatne w celu ulepszania dzieł sztuki. Zbiór ten obejmuje 80 000 dzieł w rozdzielczości HD, z 27 różnymi wzorami, co czyni go bardziej użytecznym w zadaniach generowania lub transformacji stylu opartych na DL.

Zbiór danych Miao Batik:
Zbiór danych Miao Batik (https://doi.org/10.5281/zenodo.20807658) obejmuje 15 148 obrazów wzorów batiku przedstawiających motywy o znaczeniu kulturowym. Obrazy zawierają różnorodne tradycyjne wzory, takie jak motywy zwierzęce (np. motyle i ryby), wzory roślinne oraz motywy geometryczne niosące symbolikę kulturową. Zbiór ten jest istotnym elementem proponowanego modelu, ponieważ dostarcza autentycznych struktur kulturowych, które umożliwiają modułowi segmentacji dokładne identyfikowanie i zachowywanie granic motywów podczas rekonstrukcji wzoru (Tabela 1). W niniejszym badaniu motywy o znaczeniu kulturowym odnoszą się do symbolicznych elementów wizualnych powszechnie dokumentowanych w literaturze dotyczącej dziedzictwa kulturowego ludu Miao i reprezentowanych w adnotacjach zbioru danych, w tym ptaków, motyli, wzorów kwiatowych oraz totemów przodków. Motywy te wybrano na podstawie ich udokumentowanego znaczenia kulturowego i powtarzalnej obecności w tradycyjnych wzorach batiku i haftów Miao, a nie wyłącznie na podstawie ich częstotliwości występowania czy kompozycji przestrzennej. Adnotacje motywów i etykiety segmentacji opracowane pod kierunkiem ekspertów pobrano z oryginalnego źródła zbioru danych Miao Batik i wykorzystano bezpośrednio w niniejszym badaniu. Autorzy nie przeprowadzali żadnych dodatkowych adnotacji ręcznych, ponownego etykietowania ani procedur adnotacji z udziałem ekspertów. Istniejące adnotacje dostarczone przez twórców zbioru danych wykorzystano do trenowania i oceny segmentacji semantycznej.

Parametr	Opis
Nazwa zbioru danych	Zbiór danych wzorów kulturowych batiku ludu Miao
Źródło zbioru danych	Repozytorium Zenodo (DOI: 10.5281/zenodo.20807658)
Dziedzina	Niematerialne dziedzictwo kulturowe (ICH) / analiza wzorów tekstylnych
Całkowita liczba obrazów	15 148 obrazów
Typ obrazu	Cyfrowe obrazy tradycyjnych tkanin batiki ludu Miao
Kategorie wzorów	Motywy zwierzęce, roślinne i geometryczne
Pochodzenie kulturowe	Kultura etniczna Miao, prowincja Guizhou, Chiny
Oryginalna rozdzielczość obrazu	Obrazy o wysokiej rozdzielczości (zazwyczaj ≥ 1 000 pikseli na krótszym boku), pozyskane jako skany surowe lub fotografie przed wstępnym przetwarzaniem
Rozdzielczość treningowa	Obrazy przeskalowane do rozmiaru 256 × 256 pikseli podczas wstępnego przetwarzania
Dostępność adnotacji	Istniejące adnotacje segmentacyjne dostarczone przez twórców zbioru danych zostały wykorzystane bez modyfikacji do trenowania i ewaluacji. W niniejszym badaniu nie przeprowadzono dodatkowych adnotacji ręcznych, ponownego etykietowania ani procedur potwierdzania przez ekspertów.
Zastosowanie w niniejszym badaniu	Segmentacja motywów kulturowych, ekstrakcja cech, zachowanie motywów i rekonstrukcja wzorów

Tabela 1: Charakterystyka zbioru danych wzorów kulturowych batików ludu Miao. Podsumowanie zbioru danych motywów kulturowych batików ludu Miao wykorzystanego do segmentacji semantycznej, analizy wzorów kulturowych oraz rekonstrukcji motywów. Tabela opisuje źródło zbioru danych, charakterystykę obrazów, kategorie motywów, pochodzenie kulturowe, rozdzielczość obrazów oraz rolę zbioru w ramach zaproponowanej architektury SegCycle-SPADE.

Zbiór danych WikiArt:
Zbiór danych WikiArt [https://www.wikiart.org/] jest popularnym, wielkoskalowym cyfrowym repozytorium sztuki, które obejmuje ponad 80 000 obrazów reprezentujących 27 różnych stylów artystycznych wymienionych w Tabeli 2. Style te obejmują sztukę renesansu, impresjonizm, kubizm i surrealizm. Zbiór ten jest bardzo istotny w proponowanym modelu, ponieważ dostarcza wiedzy pozwalającej modułowi SPADE na tworzenie wzorów wzbogaconych kulturowo przy jednoczesnym zachowaniu informacji strukturalnych uzyskanych w procesie segmentacji. Zbiór danych składa się z 56 000 obrazów do uczenia oraz 12 000 obrazów do walidacji i testowania. Obrazy zawarte w zbiorze pomagają w efektywnym trenowaniu modelu DL.

Parametr	Opis
Nazwa zbioru danych	Zbiór danych WikiArt
Źródło zbioru danych	Repozytorium WikiArt (https://www.wikiart.org/)
Dziedzina	Sztuka cyfrowa i malarstwo
Całkowita liczba obrazów	Około 80 000 dzieł sztuki
Obrazy treningowe	56 000
Obrazy walidacyjne	12 000
Obrazy testowe	12 000
Style artystyczne	27 stylów artystycznych, w tym renesans, impresjonizm, kubizm, surrealizm, ekspresjonizm, realizm i sztuka abstrakcyjna
Oryginalna rozdzielczość obrazów	Oryginalne rozdzielczości obrazów różnią się w zależności od dzieła i źródła. Podczas wstępnego przetwarzania obrazy zostały przeskalowane do jednolitej rozdzielczości 256 × 256 pikseli.
Rozdzielczość treningowa	Obrazy przeskalowane do 256 × 256 pikseli podczas wstępnego przetwarzania przed nauką stylu artystycznego i syntezą obrazu sterowaną segmentacją.
Podział zbioru danych	Stratyfikowany podział losowy (70% trening, 15% walidacja i 15% testy) przy użyciu stałego ziarna losowania 42
Strategia próbkowania stylów	Zastosowano stratyfikowane próbkowanie proporcjonalne, aby zachować rozkład 27 stylów artystycznych w podzbiorach treningowym, walidacyjnym i testowym
Zastosowanie w niniejszym badaniu	Nauka stylu artystycznego, reprezentacja stylu oraz sterowana segmentacją synteza artystyczna

Tabela 2: Charakterystyka zbioru danych WikiArt.Podsumowanie zbioru danych WikiArt wykorzystanego do uczenia stylu artystycznego i syntezy obrazów sterowanej stylem. Tabela opisuje źródło zbioru danych, rozkład obrazów, zakres stylów artystycznych, podział zbioru danych, rozdzielczość obrazów oraz zastosowanie zbioru w ramach proponowanego frameworku SegCycle-SPADE.

Zbiór danych Miao Batik zawiera 15 148 obrazów reprezentujących tradycyjne motywy kulturowe ludu Miao.32 Zbiór ten jest ogólnodostępny za pośrednictwem Zenodo (https://doi.org/10.5281/zenodo.20807658). Przed trenowaniem modelu wszystkie obrazy poddano inspekcji wizualnej, zmieniono ich rozmiar do 256 × 256 pikseli, znormalizowano oraz przeanalizowano pod kątem uszkodzonych lub zduplikowanych próbek. Kontrola jakości nie doprowadziła do wykluczenia żadnych obrazów, w związku z czym wszystkie 15 148 obrazów zachowano do dalszej analizy. Zbiór danych został losowo podzielony na podzbiory treningowy (70%), walidacyjny (15%) i testowy (15%) przy użyciu stałego ziarna losowości (random seed) o wartości 42, aby zapewnić powtarzalność podziału danych. Dostęp do zbioru danych WikiArt uzyskano poprzez oficjalne repozytorium WikiArt (https://www.wikiart.org/), które zawiera ponad 80 000 dzieł sztuki obejmujących 27 stylów artystycznych. W eksperymentach dotyczących uczenia stylu wykorzystano 56 000 obrazów do trenowania, 12 000 do walidacji oraz 12 000 do testowania.

Wstępne przetwarzanie danych
Przed rozpoczęciem trenowania proponowanego frameworka SegCycle-SPADE, zbiór motywów kulturowych Miao Batik oraz zbiór WikiArt zostały poddane kilku etapom wstępnego przetwarzania, aby zapewnić spójną jakość obrazów i dokładną reprezentację cech. Do obu zbiorów danych zastosowano ten sam podstawowy potok przetwarzania, obejmujący odszumianie Gaussa, normalizację, zmianę rozmiaru do spójnej rozdzielczości wejściowej oraz weryfikację jakości obrazu. Zbiory te pełniły jednak odmienne role w ramach frameworka. Zbiór WikiArt wykorzystano do nauki i syntezy stylu artystycznego, natomiast zbiór Miao Batik służył głównie do segmentacji i rekonstrukcji motywów kulturowych. Poza tymi specyficznymi dla zadań rolami nie wprowadzono żadnych zmian w przetwarzaniu danych. Aby zapewnić spójne przetwarzanie przez model DL, obrazy zostały najpierw przeskalowane do stałej rozdzielczości. Krok ten był niezbędny, ponieważ obrazy w obu zbiorach różniły się rozdzielczością w zależności od źródła. Zmiana rozmiaru zwiększyła wydajność obliczeniową i zapobiegła wpływowi niespójności wymiarowych na proces trenowania. Drugim etapem wstępnego przetwarzania była normalizacja, w której wartości pikseli przeskalowano do standardowego zakresu, aby ustabilizować aktualizacje gradientów podczas trenowania. Następnie obrazy przetworzono za pomocą filtrowania Gaussa w celu zredukowania szumów, które mogłyby zakłócać struktury motywów kulturowych. W przypadku zbioru Miao Batik, istniejące maski segmentacji motywów kulturowych, pozyskane bezpośrednio z oryginalnego źródła zbioru danych, zostały wykorzystane bez modyfikacji do trenowania i ewaluacji segmentacji semantycznej. Na potrzeby niniejszego badania nie generowano nowych masek segmentacji.

O ile nie wskazano inaczej, równania opisujące uznane metody zostały zaadaptowane z wcześniejszych badań i są odpowiednio cytowane. Równania opisujące proponowaną metodę CAFFM oraz złożony framework optymalizacyjny SegCycle-SPADE zostały opracowane przez autorów na potrzeby niniejszej pracy.

Przyjmijmy, że obraz wejściowy z zestawu danych jest reprezentowany przez Równanie 1:

Reprezentacja przestrzeni wektorowej, I ∈ ℝⁿˣʷˣᶜ, ilustracja formuły, edukacyjny koncept matematyczny. (1)

W tym przypadku H, W i C oznaczają odpowiednio wysokość obrazu, szerokość oraz liczbę kanałów kolorystycznych. Wszystkie obrazy są zmieniane na stały wymiar H′ × W′, zgodnie z Równaniem 2:

Wzór przetwarzania obrazu, równanie Ir = Resize(I,H'×W'), powiązane z metodami zmiany rozmiaru.

W tym przypadku I_r oznacza obraz po zmianie rozmiaru. Znormalizowane wartości pikseli są obliczane zgodnie z Równaniem 3:

Wzór matematyczny na znormalizowaną intensywność, równanie: In = Ir/255, istotne w analizie danych. (3)

Pomaga to ustabilizować procedurę uczenia. Filtrowanie szumów jest wykonywane przy użyciu filtru Gaussa, zgodnie z Równaniem 4:

Równanie stanu równowagi statycznej Is=In*G(σ), symbol, ukierunkowany na matematykę, analiza badawcza.

Tutaj G(σ) oznacza filtr Gaussa, a * reprezentuje splot. Zastosowano filtr Gaussa z jądrem o rozmiarze 5 × 5 i odchyleniem standardowym σ = 1.0. W celu zredukowania artefaktów krawędziowych zastosowano do pikseli brzegowych dopełnienie zwierciadlane (reflective padding). Proces odszumiania przeprowadzono bezpośrednio po wczytaniu obrazów, przed skalowaniem i normalizacją. Aby zapewnić jednolity preprocessing w całym badaniu, tę samą konfigurację filtra zastosowano do każdego obrazu w zbiorach danych Miao Batik i WikiArt. Dla zbioru danych Miao Batik maski segmentacji tworzy się zgodnie z Równaniem 5:

Wzór matematyczny dla identyfikacji regionu motywu, przedstawiający kryteria klasyfikacji pikseli.

W tym przypadku M jest maską segmentacji służącą do naprowadzania modelu SegFormer.

Potok przetwarzania wstępnego rozpoczyna się od pozyskania obrazów z zestawu danych Miao Batik oraz zestawu danych WikiArt, jak pokazano na Rysunku 3. Podczas trenowania nie zastosowano technik augmentacji danych. Po przetwarzaniu wstępnym, które obejmowało zmianę rozmiaru, normalizację, odszumianie gaussowskie oraz przygotowanie masek segmentacyjnych, obrazy zostały bezpośrednio wykorzystane do trenowania, walidacji i testowania proponowanego frameworku SegCycle-SPADE. Pierwszym krokiem potoku przetwarzania wstępnego jest zmiana rozmiaru obrazów do stałej wartości, co pozwala modelowi DL na bardziej efektywne przetwarzanie danych. Drugim krokiem jest normalizacja, która przekształca wartości pikseli na ustandaryzowany zakres numeryczny i ułatwia konwergencję modelu. Trzeci krok obejmuje usuwanie szumów, w wyniku czego obrazy są oczyszczane z niepożądanych zakłóceń w celu poprawy rozpoznawania wzorców. Dodatkowo, w przypadku zestawu danych Miao Batik, adnotowane są obszary motywów kulturowych, co umożliwia wygenerowanie masek wykorzystywanych w module segmentacji proponowanego modelu, zapewniając zachowanie motywów kulturowych podczas generowania. Końcowym wynikiem tego etapu jest oczyszczony zestaw danych, gotowy do trenowania modułów segmentacji i generowania proponowanego modelu.

Schemat przetwarzania zbioru danych; kroki obejmują zmianę rozmiaru, normalizację, usuwanie szumów, adnotację motywów.
Rycina 3. Potok wstępnego przetwarzania danych dla obrazów dziedzictwa kulturowego. Przebieg procesu ilustrujący procedury wstępnego przetwarzania obrazów stosowane przed trenowaniem modelu. Potok obejmuje pozyskiwanie zbioru danych, zmianę rozmiaru obrazów, normalizację, odszumianie gaussowskie, adnotacje istniejących motywów kulturowych oraz przygotowanie masek segmentacji. Powstałe przetworzone obrazy i maski służą jako dane wejściowe dla segmentacji semantycznej i rekonstrukcji wzorców. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Każdy obraz został poddany procesowi kontroli jakości przed trenowaniem modelu. Zbiór danych Miao Batik zawierał 15 148 obrazów. Próbki uszkodzone, zdublowane oraz niskiej jakości zostały już opracowane przez oryginalnych twórców zbioru danych; w związku z tym w ramach niniejszego badania podczas przesiewowej kontroli jakości nie wykluczono żadnych dodatkowych obrazów. W konsekwencji do analizy zachowano wszystkie 15 148 obrazów. Podczas wstępnego przetwarzania obrazy wczytywano w formacie RGB i zmieniano ich rozmiar do 256 × 256 pikseli przy użyciu interpolacji bilinearnej. Wartości pikseli przeskalowano z zakresu [0, 255] do [0, 1] poprzez dzielenie przez 255. Następnie zastosowano normalizację dla poszczególnych kanałów, używając wartości średnich [0.485, 0.456, 0.406] oraz odchyleń standardowych [0.229, 0.224, 0.225] odpowiednio dla kanałów czerwonego, zielonego i niebieskiego. Potok wstępnego przetwarzania obejmował wczytywanie obrazów, konwersję do RGB, zmianę rozmiaru, skalowanie wartości pikseli, normalizację oraz konwersję do tensorów. W razie potrzeby obrazy w skali szarości konwertowano do trójkanałowego formatu RGB, aby zachować kompatybilność z modelami DL. Po wstępnym przetwarzaniu obrazy podzielono na podzbiory treningowy, walidacyjny i testowy. Wszystkie etapy frameworka SegCycle-SPADE – w tym segmentacja semantyczna, fuzja cech, rekonstrukcja motywu oraz synteza artystyczna oparta na SPADE – wykorzystywały spójną rozdzielczość wejściową 256 × 256 pikseli.

Segmentacja wzorców semantycznych przy użyciu SegFormer
Po tym etapie wstępnego przetwarzania, oczyszczone i znormalizowane obrazy z zestawu danych motywów kulturowych Miao Batik oraz zestawu danych WikiArt są wprowadzane do modułu segmentacji semantycznej opartego na zaproponowanej strukturze SegFormer-B2. Celem tego kroku jest prawidłowe zidentyfikowanie i oddzielenie motywów kulturowych występujących we wzorach dziedzictwa. Zaproponowana struktura SegFormer opiera się na architekturze transformera, która zawiera hierarchiczny koder Transformer oraz lekki dekoder MLP, aby precyzyjnie przechwytywać globalne informacje kontekstowe, a także szczegółowe informacje strukturalne ze złożonych wzorów dziedzictwa. Model najpierw wyodrębnia reprezentacje cech w wielu skalach z obrazu wejściowego, a następnie dokonuje fuzji tych reprezentacji poprzez dekoder w celu wygenerowania dokładnych segmentowanych wzorców. Zapewnia to prawidłową segmentację wzorów na obrazach dziedzictwa na takie motywy jak wzory geometryczne, roślinne i symboliczne, oddzielając je tym samym od tła przy zachowaniu ich integralności strukturalnej. Informacje strukturalne te są następnie wykorzystywane w późniejszych etapach generowania wzorców w ramach struktury SegCycle-SPADE.

Niech wstępnie przetworzony obraz wejściowy będzie reprezentowany przez Równanie 6:

Równanie ilustrujące przestrzeń obrazu z wymiarami rzeczywistymi; wzór: I_p ∈ ℝ^(H×W×C) (6)

Koder SegFormer dzieli obraz na fragmenty (patche) i ekstrahuje cechy hierarchiczne przy użyciu warstw transformatora, jak pokazano w Równaniu 7¹:

Równanie przedstawiające proces kodowania cech; wzór: F = Encoder(Ip).

Tutaj F oznacza wielkoskalowe mapy cech uzyskane z koderen transformera. Cechy te kodują zarówno lokalne wzorce tekstury, jak i globalne relacje kontekstowe pomiędzy regionami motywów. Model SegFormer wyodrębnia mapy cech w różnych skalach, zgodnie z definicją w Równaniu 8:

Wzór na notację wektorową F={F1,F2,F3,F4}, stosowany w analizie równowagi statycznej, notacja matematyczna.

Zastosowanie reprezentacji wieloskalowych ułatwia wykrywanie wzorców o różnych rozmiarach w obrębie motywów kulturowych. Ostatecznie cechy zostają połączone przy użyciu dekodera MLP, zgodnie z równaniem 9¹:
Równanie: S=Decoder(F₁,F₂,F₃,F₄); formuła matematyczna, funkcja dekodera.

W tym przypadku S oznacza końcową przewidywaną mapę segmentacji.

Szkielet SegFormer-B2 został zainicjowany przy użyciu wag wstępnie wytrenowanych na zbiorze ImageNet, a następnie dostrojony (fine-tuned) na zbiorze danych Miao Batik w celu segmentacji motywów kulturowych. Punkt kontrolny (checkpoint) z wstępnym treningiem pobrano z oficjalnej implementacji SegFormer. W szczególności, do inicjalizacji szkieletu SegFormer-B2 przed dostrojeniem wykorzystano punkt kontrolny MIT-B2 (mit_b2.pth) wstępnie wytrenowany na zbiorze ImageNet-1K, udostępniony w oficjalnym repozytorium SegFormer. Wagi te odpowiadają szkieletowi MIT-B2 udostępnionemu przez autorów SegFormer i służyły jako model inicjalizujący dla treningu segmentacji semantycznej. Pozostałe warstwy specyficzne dla zadania zostały zainicjowane przy użyciu domyślnych procedur inicjalizacji wag w PyTorch przed rozpoczęciem treningu.

W architekturze zastosowano czterostopniowy hierarchiczny koder Transformer z nakładającymi się osadzeniami łatek (patch embeddings). W etapie początkowym rozmiar łatki ustawiono na 7 × 7 z krokiem 4. Dla każdego z czterech etapów kodera wymiary osadzeń wynosiły odpowiednio 64, 128, 320 i 512. W czterech etapach zastosowano kolejno 1, 2, 5 i 8 głowic wielogłowicowej mechanizmu self-attention, a odpowiadające im głębokości kodera wynosiły 3, 4, 6 i 3 warstwy. Cechy wieloskalowe pobrane z kodera zostały zagregowane za pomocą lekkiego dekodera opartego wyłącznie na MLP. Przed utworzeniem końcowej mapy segmentacji dekoder rzutował cechy z każdego etapu kodera do jednej wspólnej przestrzeni osadzeń. We wszystkich blokach Transformera wykorzystano funkcję aktywacji Gaussian Error Linear Unit (GELU). W celu poprawy generalizacji i ograniczenia przeuczenia podczas treningu zastosowano współczynnik dropout wynoszący 0,1.

Podczas fazy szkolenia framework SegFormer otrzymuje wstępnie przetworzone obrazy z obu zbiorów danych. Obrazy z zestawu danych Miao Batik zawierają obszary motywów, które służą jako etykiety do nadzorowanego uczenia modelu segmentacji. Koder Transformer przetwarza cały obraz i przechwytuje zależności dalekiego zasięgu między komponentami obrazu, co jest szczególnie istotne w przypadku tradycyjnych wzorów batik zawierających rozproszone przestrzennie motywy. Hierarchiczny mechanizm ekstrakcji cech jednocześnie przechwytuje struktury lokalne, takie jak powtarzalne tekstury geometryczne. Dekoder MLP przetwarza te wyekstrahowane cechy i generuje maskę segmentacji wyróżniającą obszary motywów. Mapy segmentacji wygenerowane na tym etapie są następnie wykorzystywane jako wejścia strukturalne dla modułu uwagi oraz etapu rekonstrukcji wzoru, co pomaga zachować autentyczność generowanych wzorów.

Motywy kulturowe podzielono na różne klasy do segmentacji semantycznej zgodnie z ich cechami wizualnymi i kulturowymi. Taksonomia segmentacji obejmowała motywy zwierzęce (np. motyle, ryby, ptaki i inną symboliczną faunę), motywy roślinne (np. kwiaty, liście, pnącza i wzory botaniczne), motywy geometryczne (np. powtarzające się kształty, obramowania i abstrakcyjne struktury geometryczne) oraz obszary tła reprezentujące strefy pozbawione motywów. Maski segmentacji na poziomie pikseli zostały wykorzystane do przypisania każdego piksela do jednej z zdefiniowanych wcześniej klas. Etykiety całkowite zakodowano w następujący sposób: Etykieta 0 = tło, Etykieta 1 = motywy zwierzęce, Etykieta 2 = motywy roślinne i Etykieta 3 = motywy geometryczne. Adnotacje segmentacji i etykiety motywów pozyskano bezpośrednio z oryginalnego źródła zbioru danych Miao Batik. W niniejszym badaniu nie przeprowadzono dodatkowej adnotacji ręcznej, zmiana etykietowania, weryfikacji granic ani procedur potwierdzenia przez ekspertów. Istniejące adnotacje dostarczone przez twórców zbioru danych zostały wykorzystane bez modyfikacji do celów uczenia i ewaluacji.

Model SegFormer do segmentacji motywów kulturowych przetwarza wstępnie przetworzone obrazy z zestawu danych Miao Batik oraz zestawu danych WikiArt, wykorzystując mechanizm oparty na transformerze do dokładnego wykrywania obszarów wzorów kulturowych, jak pokazano na Rysunku 4. Najpierw do modelu SegFormer przekazywany jest obraz wejściowy zawierający tradycyjne motywy kulturowe. Koder Transformera wyodrębnia zarówno globalne informacje kontekstowe, jak i lokalne cechy strukturalne z fragmentów obrazu. Uzyskane cechy wieloskalowe są przekazywane do dekodera segmentacji, który wykorzystuje sieć Mix Feed-Forward Network w celu doprecyzowania reprezentacji cech i poprawy wykrywania motywów. Wynikiem modelu SegFormer jest maska segmentacyjna, która wyróżnia piksele odpowiadające wzorom kulturowym, jednocześnie tłumiąc nieistotne informacje tła. Wyizolowane wzory kulturowe służą następnie jako wytyczne strukturalne dla kolejnych etapów frameworku SegCycle-SPADE.

Schemat SegFormer; segmentacja obrazu z koderami Transformer, ekstrakcja cech, maska segmentacji.
Rysunek 4. Segmentacja semantyczna motywów kulturowych w oparciu o SegFormer-B2. Architektura modułu segmentacji semantycznej SegFormer-B2 wykorzystanego do ekstrakcji motywów kulturowych i wytrenowanego wyłącznie na zbiorze danych Miao Batik. Struktura składa się z kodera opartego na Transformerze do wieloskalowej ekstrakcji cech oraz lekkiego dekodera segmentacji do generowania masek motywów. Model przewiduje cztery klasy semantyczne — zwierzęcia, rośliny, geometrię i tło — gdzie wynikowe maski segmentacji identyfikują istotne kulturowo obszary motywów, jednocześnie tłumiąc nieistotne informacje o tle. Wyniki tej segmentacji stanowią wytyczne strukturalne dla kolejnych etapów fuzji cech, rekonstrukcji i syntezy artystycznej w proponowanej strukturze SegCycle-SPADE. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

W sugerowanych ramach nie ma potrzeby tworzenia nowych adnotacji segmentacji. Zbiór danych Miao Batik został pozyskany z istniejącego publicznego źródła, a model został przeszkolony przy użyciu powiązanych informacji o motywach dostarczonych przez twórców zbioru. W procesie uczenia model SegFormer generował mapy segmentacji semantycznej. W konsekwencji obecne badanie nie wymagało zastosowania dodatkowego oprogramowania do adnotacji ręcznych, wytycznych dotyczących adnotacji ani procedur kontroli jakości adnotacji.

CAFFM
Aby poprawić interakcję między cechami segmentacji semantycznej a reprezentacjami rekonstrukcji generatywnej, w badaniu zaproponowano również moduł CAFFM. Koder SegFormer-B2 dostarcza mapy cech semantycznych do modułu CAFFM, natomiast etap rekonstrukcji CycleGAN dostarcza mapy cech generatywnych. Najpierw wykorzystano warstwy projekcji liniowej do rzutowania obu strumieni cech do wspólnej przestrzeni osadzeń. Do obliczeń uwagi krzyżowej (cross-attention) stworzono reprezentacje zapytania (Q), klucza (K) i wartości (V) przy użyciu wygenerowanych tensorów cech. Następnie relacje między informacjami o motywach strukturalnych a elementami stylu artystycznego zostały zamodelowane za pomocą wielogłowicowej uwagi krzyżowej. Do połączonych reprezentacji cech zastosowano następnie normalizację warstwową, połączenia rezydualne oraz warstwy przejścia w przód z aktywacją GELU. Etap syntezy oparty na SPADE otrzymuje wynik z modułu CAFFM, co pozwala na zachowanie motywów o znaczeniu kulturowym bez utraty spójności artystycznej.

Aby zagwarantować kompatybilność cech, cechy wejściowe są najpierw rzutowane za pomocą warstw projekcji liniowej na wspólną przestrzeń zanurzeń o wymiarze 256. Interakcje między semantycznymi informacjami strukturalnymi a generatywnymi reprezentacjami stylu są następnie modelowane przy użyciu mechanizmu MultiHead Cross-Attention z ośmioma głowicami uwagi. Obliczenia uwagi krzyżowej (cross-attention) wykorzystują wektory Query (Q), Key (K) oraz Value (V), które są generowane przez specyficzne warstwy transformacji liniowej. Aby zwiększyć stabilność treningu i zachować integralność cech, zastosowano połączenia rezydualne oraz normalizację warstwową (Layer Normalization), co pozwala na dalszą poprawę reprezentacji cech po fuzji. Nieliniowe uczenie cech jest następnie usprawniane poprzez zastosowanie sieci typu feed-forward z funkcją aktywacji Gaussian Error Linear Unit (GELU). Moduł generuje reprezentację cechy wyjściowej o wymiarze 256, która jest przesyłana do kolejnych etapów syntezy kreatywnej. Moduł CAFFM skutecznie łączy dane dotyczące stylu artystycznego ze strukturami motywów kulturowych, wykorzystując technikę fuzji opartą na uwadze krzyżowej, co poprawia zachowanie motywów i spójność wizualną w zrekonstruowanych wzorach dziedzictwa kulturowego.

W proponowanym systemie cechy strukturalne pochodzą ze zbioru danych Miao Batik, natomiast cechy stylistyczne są wyuczane ze zbioru danych WikiArt. Przyjmijmy, że mapa cech pochodząca z sieci segmentacyjnej SegFormer z wykorzystaniem obrazów ze zbioru danych Miao Batik jest oznaczona jako F_s, natomiast mapa cech pochodząca z gałęzi ekstrakcji cech stylistycznych z wykorzystaniem obrazów WikiArt jest oznaczona jako F_a. Proponowany moduł CAFFM łączy obie dziedziny cech za pomocą mechanizmu wzajemnej uwagi (cross-attention), aby wyuczyć zależności strukturalnych i stylistycznych wzorów kulturowych. Tabela 3 przedstawia wszystkie charakterystyki architektury, w tym wymiary osadzeń, warstwy normalizacji, funkcje aktywacji oraz konfigurację głowic uwagi. Dla rozmiaru obrazu wejściowego 256 × 256 pikseli koder SegFormer-B2 generował semantyczne mapy cech o rozmiarze 64 × 64 × 128, podczas gdy gałąź ekstrakcji cech stylistycznych generowała mapy cech o rozmiarze 64 × 64 × 128. Obie mapy cech zostały rzutowane przez wyuczalne warstwy liniowe do wspólnej przestrzeni osadzeń o wymiarze 256 przed fuzją za pomocą mechanizmu wzajemnej uwagi.

Parametr	Konfiguracja
Proponowany schemat	SegCycle-SPADE
Model segmentacji semantycznej	SegFormer-B2
Etapy kodera SegFormer	4
Inicjalizacja wag	SegFormer-B2 wstępnie wytrenowany na zbiorze ImageNet-1K (szkielet MIT-B2)
Źródło punktu kontrolnego	Oficjalne repozytorium NVIDIA SegFormer (https://github.com/NVlabs/SegFormer); punkt kontrolny: segformer.b2.512x512.ade.160k
Strategia dostrajania	Kompletne dostrajanie (end-to-end fine-tuning) na zbiorze danych Miao Batik
Rozmiar osadzenia patcha	7 × 7
Krok patcha	4
Wymiary zanurzeń	64, 128, 320 i 512
Głębokości enkoderów	3, 4, 6 i 3
Głowice uwagi	1, 2, 5 i 8
Typ dekodera	Dekoder w całości oparty na MLP
Funkcja aktywacji	GELU
Wskaźnik rezygnacji	0.1
Moduł wzmacniania cech	Moduł fuzji cech kulturowych z mechanizmem uwagi krzyżowej (CAFFM)
Wymiar zanurzenia CAFFM	256
Głowice uwagi CAFFM	8
Skale fuzji CAFFM	4
Model rekonstrukcji	CycleGAN
Model generowania stylu	SPADE
Zbiór danych kulturowych	Zbiór danych Miao Batik
Zbiór danych stylów	Zbiór danych WikiArt
Obrazy batikowe ludu Miao	15,148
Obrazy WikiArt	Około 80 000
Rozdzielczość obrazu wejściowego	256 × 256 pikseli
Format kolorów	RGB
Metoda interpolacji	Interpolacja biliniowa
Metoda odszumiania	Filtrowanie gaussowskie
Rozmiar jądra Gaussa	5 × 5
Sigma Gaussa (σ)	1
Zakres normalizacji	[0, 1]
Wielkość partii	16
Liczba epok	100
Optymalizator	Adam
Szybkość uczenia	0.0002
Parametry optymalizatora Adam	β₁ = 0,5, β₂ = 0,999, ε = 1 × 10⁻⁸, weight decay = 0
Funkcje straty	strata segmentacji, strata adversariana, strata spójności cyklu, strata rekonstrukcji, strata zachowania motywu oraz strata spójności stylu
Strategia podziału zbioru danych	Trening / Walidacja / Testowanie
Zbiór treningowy	70%
Zbiór walidacyjny	15%
Zbiór testowy	15%
Ziarno losowe	42
Metryki oceny	Dokładność segmentacji, IoU, współczynnik Dice'a, SSIM, PSNR i FID
Język programowania	Python 3.8.10
Platforma głębokiego uczenia	PyTorch 1.10.0
Platforma sprzętowa	Karta GPU NVIDIA RTX 3090 (24 GB VRAM), procesor Intel Core i7 (11. generacji), 32 GB RAM
Środowisko operacyjne	Ubuntu 20.04 LTS

Tabela 3: Układ eksperymentalny i konfiguracja modelu. Podsumowanie komponentów architektonicznych, konfiguracji treningu, ustawień wstępnego przetwarzania, zbiorów danych, parametrów optymalizacji, metryk ewaluacji oraz środowiska obliczeniowego wykorzystanego do implementacji i oceny proponowanego frameworka SegCycle-SPADE.

Moduł uwagi najpierw rzutuje mapę cech na reprezentacje zapytania (query), klucza (key) i wartości (value) zgodnie z Równaniem 10:

Wzory równowagi statycznej, Q=FsWq, K=FsWk, V=FsWv, równanie analizy mechanicznej.

Tutaj W_q, W_k i W_v są uczącymi się macierzami wag. Wagi uwagi są obliczane na podstawie podobieństwa między wektorem zapytania a wektorem klucza zgodnie z Równaniem 11¹⁷:

Wzór funkcji Softmax, A=Softmax((QK^T)/√d_k), równanie dla mechanizmu uwagi.

Tutaj d_k oznacza wymiar wektora klucza. Ulepszona reprezentacja cech jest obliczana poprzez pomnożenie wag uwagi przez macierz wartości zgodnie z Równaniem 12:

$Przedstawiony wzór stanu równowagi statycznej $F_a = A \cdot V$; kluczowe pojęcie w analizie równowagi sił.$

Tutaj F_a stanowi ulepszoną reprezentację cech mapy cech. Ulepszona reprezentacja cech jest obliczana poprzez połączenie oryginalnych cech segmentacji z cechami ulepszonymi, uzyskanymi za pomocą mechanizmu uwagi zgodnie z Równaniem 13:

$Równanie równowagi statycznej $ F_e = F_s + F_a $, opisujące siły, wzór.$

Tutaj F_e to ulepszona mapa cech wykorzystywana do rekonstrukcji wzorca. Moduł CAFFM został rozszerzony o wieloskalowy mechanizm wzajemnej uwagi (cross-attention), aby wyodrębnić cechy motywów kulturowych w różnych skalach. Niech F_sⁱ oznacza cechy segmentacji w skali i, natomiast F_a^j oznacza cechy stylu artystycznego w tej samej skali. Końcowa reprezentacja cech jest zdefiniowana zgodnie z Równaniem 14:

$Wzór mechanizmu uwagi $F_{\text{fusion}} = \sum_{i=1}^{N} \text{Attention}(Q_i, K_i, V_i)$.$

Tutaj Q_i, K_i i V_i reprezentują odpowiednio macierze zapytań (query), kluczy (key) i wartości (value) w skali i, a N oznacza liczbę skal cech. W niniejszym badaniu N = 4, co odpowiada mapom cech wyekstrahowanym w rozdzielczościach przestrzennych 1/4, 1/8, 1/16 i 1/32 rozmiaru obrazu wejściowego. Te wieloskalowe reprezentacje cech zostały połączone przy użyciu uczących się wag uwagi przed rekonstrukcją i syntezą artystyczną. Powyższe rozszerzenie umożliwia metodzie ekstrakcję globalnych motywów kulturowych i tekstur w celu rekonstrukcji wzorów kulturowych. Moduł CAFFM znajduje się pomiędzy etapem segmentacji opartym na SegFormer a etapem syntezy kreatywnej opartym na SPADE w proponowanym systemie SegCycle-SPADE. Najpierw, podczas gdy CycleGAN jednocześnie tworzy cechy rekonstrukcyjne z informacjami stylistycznymi i dotyczącymi wzorów, SegFormer-B2 odzyskuje semantyczne mapy cech, które opisują właściwości strukturalne motywów kulturowych. Moduł CAFFM przyjmuje te dwa strumienie cech i wykorzystuje fuzję opartą na mechanizmie cross-attention, aby zidentyfikować zależności między reprezentacjami strukturalnymi a artystycznymi. W celu stworzenia kulturowo autentycznych wzorów przy zachowaniu spójności semantycznej i cech strukturalnych, wynikowe połączone mapy cech są następnie przesyłane do modułu SPADE w celu syntezy kreatywnej sterowanej segmentacją.

Rekonstrukcja wzorów z wykorzystaniem CycleGAN
Po zakończeniu etapu wzmacniania cech opartego na mechanizmie uwagi, mapy cech będą zawierać wzmocnione struktury motywów kulturowych. Niemniej jednak mapy cech mogą nadal zawierać niekompletne lub uszkodzone obszary wzorów. W związku z tym, aby rozwiązać problem rekonstrukcji wzorów, w proponowanym schemacie wykorzystany zostanie model CycleGAN. W proponowanym schemacie dwiema domenami będą oryginalne wzory motywów kulturowych oraz zrekonstruowane wzory motywów kulturowych. Wykorzystując wzmocnione cechy z poprzednich etapów, model CycleGAN zrekonstruuje wzory kulturowe przy jednoczesnym zachowaniu spójności strukturalnej. Zapewni to, że wzory kulturowe, takie jak wzory geometryczne, roślinne i symboliczne, zachowają swój układ przestrzenny. Oryginalne obrazy batiku ludu Miao zostały poddane operacjom losowego maskowania i częściowego przesłaniania w celu wygenerowania niekompletnych lub uszkodzonych motywów kulturowych. Procedury degradacji te symulowały brakujące obszary wzorów i uszkodzenia strukturalne powszechnie obserwowane w zniszczonych artefaktach dziedzictwa kulturowego. Obrazy zdegradowane posłużyły jako dane wejściowe dla modułu rekonstrukcji, natomiast odpowiadające im obrazy oryginalne służyły jako obrazy referencyjne do oceny wydajności i jakości rekonstrukcji. Strategia ta umożliwiła modelowi naukę przywracania brakujących struktur motywów przy jednoczesnym zachowaniu spójności semantycznej i charakterystyki kulturowej.

Przyjmijmy, że X jest domeną niepełnych wzorców kulturowych, a Y domeną zrekonstruowanych wzorców kulturowych. Dwa generatory uczą się wykonywać mapowanie dwukierunkowe zgodnie z Równaniem 15:

Schemat funkcji i odwzorowań GF:X→Y, FM:Y→X, przekształcenia matematyczne w równaniach.

Tutaj G_E służy do rekonstrukcji struktur motywów, a F_M do mapowania wzorców z powrotem na oryginalną domenę. Stratą przeciwniczą (adversarial loss) zapewnia się, że zrekonstruowane wzorce są realistyczne (Równanie 16)³⁰

$Równanie straty GAN $L_{GAN}$; wzór służący do ulepszania modeli generatywnych; wyrażenie matematyczne.$

Tutaj D_Y jest dyskryminatorem używanym do rozróżnienia wzorców rzeczywistych i zrekonstruowanych, a G_E(x) oznacza wygenerowany wzorzec zrekonstruowany. CycleGAN wymusza również spójność cyklu w celu zachowania układu strukturalnego motywów kulturowych (Równanie 17)³⁰.

$Wzór matematyczny dla funkcji straty $L_{cycle}(G_F, F_M)$ w modelowaniu obliczeniowym.$

Końcowa funkcja straty została zdefiniowana przy użyciu Równania 18³⁰:

Równanie równowagi statycznej, L_total=L_GAN(G_E,D_Y,X,Y)+L_GAN(F_M,D_X,Y,X)+λ_L_cycle(G_E,F_M).

Tutaj λ_i oznacza współczynnik wagowy dla straty spójności cyklu i został ustawiony na 10 podczas treningu, zgodnie z oryginalną sformułowaniem CycleGAN. Wartość ta została wybrana w celu zrównoważenia uczenia przeciwstawnego i spójności rekonstrukcji między domeną źródłową a docelową.

Moduł rekonstrukcji CycleGAN składa się z dwóch generatorów i dwóch dyskryminatorów służących do dwukierunkowej translacji obrazów. Każdy generator oparty jest na architekturze sieci rezdualnej, obejmującej początkową warstwę splotu 7 × 7, po której następują dwie warstwy splotu z próbkowaniem w dół, dziewięć bloków rezdualnych oraz dwie warstwy próbkowania w górę. Wszystkie operacje splotu wykorzystują jądro o rozmiarze 3 × 3, z wyjątkiem warstwy wejściowej, w której zastosowano jądro 7 × 7 w celu usprawnienia ekstrakcji cech. Po każdej warstwie splotu zastosowano normalizację instancji (Instance Normalization) w celu poprawy stabilności treningu, natomiast w całej sieci generatora wykorzystano funkcję aktywacji ReLU. Warstwa wyjściowa wykorzystuje funkcję aktywacji Tanh do generowania znormalizowanych obrazów wyjściowych. Dyskryminator opiera się na architekturze PatchGAN 70 × 70, składającej się z serii warstw splotowych o rozmiarach jądra 4 × 4 i sukcesywnie zwiększającej liczbie kanałów cech. W dyskryminatorze zastosowano normalizację instancji oraz aktywację LeakyReLU (ujemny nachylenie = 0.2), aby poprawić dyskryminację cech i uczenie przeciwstawne. Moduł CycleGAN przyjmuje jako wejście przetworzone obrazy motywów kulturowych i generuje zrekonstruowane reprezentacje wzorów, które są następnie przekazywane do CAFFM w celu integracji z cechami segmentacji. Trening CycleGAN przeprowadzono przy użyciu optymalizatora Adam (β₁ = 0.5, β₂ = 0.999) z początkową prędkością uczenia 0.0002. Prędkość uczenia utrzymywano przez pierwsze 100 epok, a następnie liniowo zmniejszano do zera w pozostałym okresie treningu. W celu stabilizacji treningu dyskryminatora zastosowano bufor powtórek (replay buffer) zawierający 50 wcześniej wygenerowanych obrazów. Aktualizacja generatorów i dyskryminatorów odbywała się w stosunku 1:1, przy czym jednej aktualizacji generatora towarzyszyła jedna aktualizacja dyskryminatora podczas każdej iteracji treningowej.

Proces rekonstrukcji w sieci CycleGAN opiera się na ulepszonych mapach cech uzyskanych za pomocą mechanizmu CAFFM przedstawionego na Rysunku 5. Mapy cechy zawierają wzmocnione motywy kulturowe otrzymane w poprzednich etapach segmentacji oraz CAFFM. Mapy cech służą jako dane wejściowe dla pierwszego generatora G_E. Pierwszy generator G_E uczy się odwzorowania niezbędnego do rekonstrukcji wzorców kulturowych. Wyniki są następnie przekazywane do dyskryminatora D_Y, aby odróżnić rzeczywiste wzorce kulturowe od wzorców zrekonstruowanych. Dyskryminator D_Y pomaga generatorowi G_E generować realistyczne wyniki. Aby zapewnić, że wzorce kulturowe nie zostaną zniekształcone podczas rekonstrukcji, drugi generator F_M wykonuje odwzorowanie spójności cyklu (cycle-consistency mapping). Drugi generator F_M mapuje wyniki z powrotem do domeny oryginalnej. Wyniki te są następnie oceniane przez dyskryminator w celu zapewnienia realizmu. Końcowe wyniki są następnie przekazywane do modułu SPADE w celu generowania stylu artystycznego w kolejnym etapie proponowanej architektury SegCycle-SPADE.

Proces rekonstrukcji wzorów; schemat wykorzystujący sieci GAN do generowania motywów kulturowych.
Rycina 5. Schemat rekonstrukcji wzorów oparty na CycleGAN. Przebieg pracy modułu rekonstrukcji CycleGAN. Reprezentacje cech wzmocnione mechanizmem uwagi są dostarczane jako dane wejściowe do sieci generatora w celu rekonstrukcji niepełnych motywów kulturowych. Dyskryminator ocenia zrekonstruowane wyniki w odniesieniu do wzorców referencyjnych, podczas gdy mapowanie spójności cyklu zachowuje integralność strukturalną podczas dwukierunkowej translacji obrazów. Zrekonstruowane motywy są następnie przekazywane do modułu SPADE w celu syntezy stylu artystycznego. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Generowanie stylu artystycznego za pomocą SPADE
Następnie zrekonstruowane motywy kulturowe są poddawane działaniu modułu SPADE w celu generowania stylu artystycznego. Głównym celem modułu SPADE jest dodanie do zrekonstruowanych motywów kulturowych bogatszych wizualnie tekstur stylu artystycznego, bez naruszania układu strukturalnego motywów. Moduł SPADE jest techniką warunkowego generowania obrazów, która wykorzystuje koncepcję segmentacji obrazu do tworzenia grafik. Mapy semantyczne wielokanałowe, odpowiadające określonym klasom motywów, zostały zakodowane na podstawie masek segmentacji semantycznej wygenerowanych przez SegFormer-B2. Generator SPADE otrzymał te zakodowane mapy jako wejścia warunkujące. Przestrennie adaptacyjne parametry skalowania (γ) i przesunięcia (β) były wytwarzane poprzez przetwarzanie map semantycznych w warstwach splotowych w obrębie każdej warstwy SPADE. Dzięki zastosowaniu tych parametrów do znormalizowanych aktywacji cech, generator był w stanie zachować granice motywów, układy strukturalne oraz informacje semantyczne podczas syntezy artystycznej. Naprowadzanie semantyczne mogło wpływać zarówno na wysokopoziomową rekonstrukcję strukturalną, jak i niskopoziomową syntezę tekstury, ponieważ proces warunkowania odbywał się na kilku warstwach generatora SPADE. W rezultacie stworzone wzory artystyczne zawierały cechy stylistyczne pozyskane z zestawu danych WikiArt, przy jednoczesnym zachowaniu struktur motywów kulturowych zidentyfikowanych na etapie segmentacji.

Zbiór danych WikiArt, obejmujący prace z 27 różnych kategorii artystycznych — takich jak renesans, impresjonizm, kubizm, ekspresjonizm, surrealizm, realizm i sztuka abstrakcyjna — posłużył jako główny zasób do zrozumienia stylów artystycznych. Aby zapoznać model z różnorodnymi cechami twórczymi i zwiększyć generalizację stylu, podczas trenowania losowo wybierano obrazy stylistyczne z poszczególnych kategorii. Zbiór danych podzielono na podzbiory treningowy, walidacyjny i testowy z zrównoważoną reprezentacją kategorii artystycznych, aby zminimalizować błąd systematyczny związany ze stylem. W celu zapewnienia reprezentatywności wszystkich 27 kategorii artystycznych zastosowano próbkowanie warstwowe. Próbki z każdej kategorii zostały proporcjonalnie przydzielone do podzbiorów treningowego, walidacyjnego i testowego przy zachowaniu pierwotnego rozkładu klas. Moduł CAFFM wykorzystano do połączenia aspektów stylu wywodzących się z obrazów WikiArt z cechami rekonstrukcyjnymi wygenerowanymi przez CycleGAN. Aby umożliwić sieci syntezy przeniesienie cech artystycznych przy jednoczesnym zachowaniu struktury semantycznej i granic motywów kulturowych wynikających z map segmentacji, otrzymane reprezentacje połączone przekazano jako informacje warunkujące do generatora SPADE. Dzięki tej technice warunkowania stylu zaproponowana struktura była w stanie generować kulturowo autentyczne wzory artystyczne o spójnych reprezentacjach strukturalnych i stylistycznych.

SPADE wprowadza również parametry adaptacyjne przestrzennie, które zależą od mapy segmentacji. Parametry te można zdefiniować zgodnie z Równaniem 19¹:

Równanie transformacji liniowej: y=γ(S)x̂+β(S) (Równ. 19), reprezentacja matematyczna.

Tutaj γ(S) jest przestrzennie zmiennym parametrem skali, a β(S) jest przestrzennie zmiennym parametrem przesunięcia. Parametry te mogą pomóc generatorowi w tworzeniu różnych tekstur i stylów w zależności od regionu semantycznego na obrazach. Końcowe dzieło sztuki kulturowej można zdefiniować zgodnie z Równaniem 20:

Równanie procesu oceny genetycznej formuła I_gen=G_E(X^P_r,SM).

W tym przypadku G_E jest generatorem SPADE, X_r^P jest zrekonstruowanym wzorem, a SM to mapa segmentacji. Końcowe dzieło zachowuje integralność strukturalną motywów kulturowych, jednocześnie poprawiając walory artystyczne. W celu optymalizacji zaproponowanej architektury SegCycle-SPADE zastosowano złożoną funkcję straty, która równoważy dokładność segmentacji semantycznej, zachowanie motywów kulturowych, jakość rekonstrukcji wzoru oraz spójność stylu artystycznego. Całkowity cel treningowy ustalono jako ważoną mieszaninę straty segmentacji (L_seg), straty adwersarialnej (L_adv), straty spójności cyklu (L_cycle), straty rekonstrukcji (L_recon), straty zachowania motywu (L_motif) oraz straty spójności stylu (L_style). Całkowita funkcja straty została zdefiniowana w Równaniu 21:

Wzór na całkowite straty, L_Total, odpowiada wielu komponentom, przedstawiony jako równanie matematyczne do analizy. (21)

Aby zapewnić spójność strukturalną między motywami kulturowymi wejściowymi a zrekonstruowanymi, współczynnik straty spójności cyklicznej ustawiono na 10. W celu zachowania szczegółowych cech motywów i zwiększenia dokładności wizualnej, współczynnik straty rekonstrukcji ustawiono na 5. Aby podkreślić zachowanie istotnych kulturowo wzorców strukturalnych podczas syntezy artystycznej, dla straty zachowania motywu zastosowano współczynnik 2. W celu promowania transferu stylu artystycznego bez nadmiernego zniekształcania semantycznych struktur motywów, współczynnik straty spójności stylu dostosowano do 1. Aby utrzymać zrównoważony wkład pomiędzy generowaniem realistycznych obrazów a precyzyjną segmentacją motywów, przypisano równe wagi stracie segmentacji oraz stracie adwersarialnej. Do obliczenia straty spójności stylu wykorzystano reprezentacje stylu oparte na cechach z zestawu danych WikiArt. W szczególności cechy stylu artystycznego uchwycono za pomocą korelacji macierzy Grama wyliczonych z głębokich map cech. Do obliczenia straty stylu wykorzystano różnicę normy Frobeniusa między macierzami Grama obrazu stylu docelowego a obrazu wygenerowanego, co przedstawiono w Równaniu 22:

Równanie rachunkowe dla straty stylu w sieciach neuronowych, przedstawiające wzór L_style oraz opis metody.

Tutaj, G_l czy macierz Grama jest obliczana na podstawie l^th warstwa cech, Ja_gen oznacza wygenerowany obraz artystyczny, Ja_styl oznacza obraz stylu docelowego z zestawu danych WikiArt, a F oznacza normę Frobeniusa. Takie sformułowanie pozwala proponowanemu frameworkowi zachować cechy artystyczne przy jednoczesnym utrzymaniu integralności strukturalnej i semantycznej motywów kulturowych.

Połączone reprezentacje cech wytworzone przez moduł CAFFM są wykorzystywane jako wejścia warunkujące dla modułu SPADE, który pełni funkcję komponentu syntezy artystycznej w proponowanym schemacie. Generator SPADE składa się z siedmiu rezidualnych bloków SPADE o latentnym wymiarze cech wynoszącym 256 kanałów i generuje obrazy wyjściowe o rozdzielczości 256 × 256 pikseli. Mapy segmentacji semantycznej uzyskane z modułu SegFormer–CAFFM są wykorzystywane jako wejścia warunkujące w całej strukturze rezidualnych warstw SPADE. Warstwy SPADE są stosowane przed funkcjami aktywacji w każdym bloku rezidualnym, co umożliwia semantyczne warunkowanie sterowane segmentacją. Poprzez następujące operacje nadpróbkowania i splotu, latentna reprezentacja cech jest sukcesywnie dopracowywana w celu wygenerowania artystycznych wzorów o wysokiej rozdzielczości przy jednoczesnym zachowaniu spójności semantycznej i struktury motywu. W całym generatorze stosowane są funkcje aktywacji LeakyReLU, a w warstwie wyjściowej zastosowano funkcję aktywacji Tanh w celu uzyskania znormalizowanych obrazów.

Algorytm i schemat pracy
Struktura SegCycle-SPADE integruje segmentację semantyczną, fuzję cech, rekonstrukcję wzorów oraz syntezę stylu artystycznego w ramach zunifikowanego potoku treningowego. Schemat pracy rozpoczyna się od pozyskania i wstępnego przetwarzania zbioru danych, obejmującego zmianę rozmiaru obrazów, normalizację, odszumianie oraz przygotowanie masek segmentacyjnych. Przetworzone wstępnie obrazy są następnie analizowane przez sieć segmentacyjną SegFormer-B2 w celu wyodrębnienia semantycznych reprezentacji motywów. Uzyskane cechy segmentacji są łączone z cechami rekonstrukcji poprzez moduł CAFFM, co umożliwia interakcję między informacjami o motywach strukturalnych a reprezentacjami cech artystycznych. Zfuzowane mapy cech są następnie dostarczane do modułu rekonstrukcji CycleGAN, który odtwarza niekompletne struktury motywów kulturowych przy zachowaniu spójności semantycznej. Zrekonstruowane wzory są następnie przekazywane do generatora SPADE w celu syntezy artystycznej sterowanej segmentacją, co pozwala na ulepszenie stylistyczne przy jednoczesnym zachowaniu granic motywów i autentyczności strukturalnej. Podczas treningu parametry modelu są optymalizowane za pomocą złożonej funkcji straty opisanej w Równaniach 21 i 22, która balansuje dokładność segmentacji, zachowanie motywów, jakość rekonstrukcji oraz spójność stylu artystycznego. Szczegółowy, krok po kroku opisany schemat implementacji, obejmujący ładowanie zbioru danych, wstępne przetwarzanie, inicjalizację modelu, iteracje treningowe, procedury walidacji, wybór punktów kontrolnych oraz końcową ewaluację, znajduje się w Pliku uzupełniającym 1 (Algorytm 1). Kompletny schemat algorytmiczny został zaimplementowany przy użyciu rozmiaru batcha wynoszącego 16, współczynnika uczenia 0.0002 oraz 100 epok treningowych. Stałe ziarno losowe 42 zostało zastosowane do partycjonowania zbioru danych, inicjalizacji modelu oraz wszystkich eksperymentów treningowych. Ziarno to było konsekwentnie stosowane w generatorach liczb losowych Python, NumPy i PyTorch w celu zapewnienia powtarzalności. Optymalizator Adam skonfigurowano z parametrami β₁ = 0.5, β₂ = 0.999 oraz bez rozkładu wag (weight decay = 0). Punkty kontrolne modelu wybrano na podstawie najwyższej uzyskanej wartości IoU na zbiorze walidacyjnym.

Optymalizacja funkcji straty
Aby zachować struktury motywów kulturowych podczas rekonstrukcji i syntezy artystycznej, proponowana struktura wykorzystuje złożony cel optymalizacji, który łączy straty segmentacji, adwersarialne, spójności cyklicznej, rekonstrukcji, zachowania motywów oraz spójności stylu. Pełna formuła matematyczna, współczynniki wagowe oraz definicja straty stylu zostały przedstawione w Równaniach 21 i 22 w podrozdziale Artistic Style Generation using SPADE. Komponent zachowania motywów penalizuje odchylenia strukturalne między przewidywanymi obszarami motywów a odpowiadającymi im maskami segmentacji prawdy obiektywnej (ground-truth), co sprzyja zachowaniu istotnych kulturowo struktur wzorów w całym procesie rekonstrukcji.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zaproponowany framework SegCycle-SPADE został oceniony przy użyciu dwóch zbiorów danych: zbioru motywów kulturowych Miao Batik oraz zbioru WikiArt. Zbiór Miao Batik zawiera obrazy tradycyjnego dziedzictwa kulturowego i został wykorzystany przede wszystkim do zadań segmentacji semantycznej oraz rekonstrukcji strukturalnej, podczas gdy zbiór WikiArt zawiera różnorodne style artystyczne i służył do uczenia i generowania stylów artystycznych. Obrazy z obu zbiorów danych zostały przetworzone przez kompletny potok SegCycle-SPADE, obejmujący segmentację semantyczną, CAFFM, rekonstrukcję wzorców oraz generowanie stylu artystycznego w oparciu o SPADE. Integracja informacji o motywach kulturowych i reprezentacji stylu artystycznego pozwoliła frameworkowi na generowanie wyników znaczących kulturowo i spójnych wizualnie.

Wszystkie eksperymenty przeprowadzono na stacji roboczej z obsługą GPU, wyposażonej w procesor Intel Core i7 i kartę graficzną NVIDIA GPU. Dokładniej, eksperymenty wykonano na stacji roboczej z procesorem Intel Core i7 (11. generacji), układem GPU NVIDIA RTX 3090 z 24 GB VRAM oraz 32 GB pamięci systemowej. Modele zaimplementowano w języku Python 3.8 i bibliotece PyTorch 1.10 z akceleracją CUDA. Trening przeprowadzono w konfiguracji z jednym GPU, bez zastosowania trenowania rozproszonego. We wszystkich eksperymentach stosowano standardową precyzję FP32; nie wykorzystano trenowania z mieszaną precyzją. Użyto optymalizatora Adam z rozmiarem partii wynoszącym 16 przez 100 epok treningowych. Tabela 3 podsumowuje parametry implementacji oraz środowisko obliczeniowe wykorzystane w niniejszym badaniu.

Zaproponowana architektura składa się z czterech głównych komponentów: SegFormer-B2 do segmentacji semantycznej, CAFFM do fuzji cech, CycleGAN do rekonstrukcji motywów oraz SPADE do syntezy stylu artystycznego. Obrazy z obu zbiorów danych zostały zmienione na rozmiar 256 × 256 pikseli przed rozpoczęciem treningu. Ta standaryzowana rozdzielczość zapewniła wydajność obliczeniową przy jednoczesnym zachowaniu istotnych szczegółów motywów, a także przyczyniła się do stabilnego treningu przeciwstawnego w modułach CycleGAN i SPADE.

Wydajność zaproponowanego modelu oceniono przy użyciu metryk segmentacji oraz oceny jakości obrazu, w tym dokładności segmentacji (Segmentation Accuracy), IoU, współczynnika podobieństwa Dice (Dice), SSIM, PSNR oraz FID. Autentyczność wizualną oceniono jakościowo poprzez inspekcję wizualną wygenerowanych wzorów kulturowych. Ocena jakościowa skupiła się na zachowaniu motywów, spójności semantycznej, cechach kulturowych oraz wyglądzie artystycznym w odniesieniu do referencyjnych motywów kulturowych. Autentyczność wizualna nie była wykorzystywana jako niezależna ilościowa metryka oceny.

Ilościowa ocena proponowanego schematu została przeprowadzona z wykorzystaniem następujących wskaźników.

Dokładność segmentacji obliczono za pomocą Równania 23:

Wzór na dokładność, TP+TN/TP+TN+FP+FN, równanie analizy statystycznej do oceny modelu.

W tym przypadku TP, TN, FP i FN oznaczają odpowiednio wyniki prawdziwie dodatnie, prawdziwie ujemne, fałszywie dodatnie i fałszywie ujemne.

Wartość IoU obliczono zgodnie z równaniem 24:

Wzór na IoU, TP/(TP+FP+FN), równanie matematyczne dla dokładności segmentacji obrazu.

Współczynnik podobieństwa Dice'a (Dice) obliczono zgodnie z równaniem 25:

$Równanie współczynnika Dice'a, $ \frac{2*TP}{2*TP+FP+FN} $, formuła stosowana w ocenie analizy danych.$

Do oceny percepcyjnego podobieństwa obrazów wykorzystano SSIM, który definiuje Równanie 26³³:

Równanie indeksu SSIM; wzór matematyczny do oceny jakości obrazu; schemat. (26)

Tutaj μ oznacza średnią intensywność, σ oznacza wariancję, σ_xy oznacza kowariancję między obrazami, a C₁ i C₂ są stałymi stabilizującymi.

PSNR jest metryką powszechnie stosowaną do oceny jakości generowanych obrazów i jest ona zdefiniowana w Równaniu 27³³:

Wzór PSNR, ocena jakości obrazu, równanie obliczania szczytowego stosunku sygnału do szumu.

W tym przypadku Max_I oznacza maksymalną możliwą wartość piksela obrazu, a MSE to średni błąd kwadratowy między obrazem oryginalnym a zrekonstruowanym.

FID można obliczyć, wykorzystując średnie i macierze kowariancji zgodnie z Równaniem 28³³:

Równanie Fréchet Inception Distance (FID); metoda statystyczna; formuła oceny jakości obrazu. (28)

W tym przypadku μ_r jest wartością średnią obrazu rzeczywistego, μ_g jest wartością średnią obrazu wygenerowanego, a Σ_r i Σ_g to odpowiednio macierze kowariancji obrazów rzeczywistych i wygenerowanych.

W celu porównania wydajności, proponowany framework oceniono w odniesieniu do reprezentatywnych metod powszechnie stosowanych w segmentacji semantycznej, rekonstrukcji obrazu oraz artystycznego generowania obrazów. Jako punkty odniesienia dla segmentacji uwzględniono U-Net oraz DeepLabV3+, natomiast jako punkty odniesienia dla rekonstrukcji wybrano Pix2Pix i CycleGAN. W charakterze reprezentatywnych metod artystycznego generowania obrazów wykorzystano StyleGAN oraz AttentionGAN. Porównania te przeprowadzono, aby ocenić skuteczność SegCycle-SPADE w zachowaniu informacji o motywach strukturalnych przy jednoczesnym zwiększeniu jakości artystycznej.

Każdy eksperyment powtórzono pięciokrotnie w celu oceny stabilności i odtwarzalności wyników. Do podziału zbioru danych zastosowano stałe ziarno losowości (random seed) równe 42, aby zapewnić spójność podzbiorów treningowych, walidacyjnych i testowych we wszystkich eksperymentach. Wyniki przedstawiono jako średnia ± odchylenie standardowe. Niskie wartości odchylenia standardowego zaobserwowane dla wskaźników Accuracy, IoU, Dice, SSIM, PSNR oraz FID wskazują, że proponowany framework osiągnął stabilną wydajność w powtórnych seriach eksperymentalnych. Istotność statystyczną oceniono za pomocą testów t-studenta dla prób zależnych, a różnice uznano za istotne statystycznie, gdy p < 0,05. Ponieważ wszystkie modele oceniano na tych samych partycjach zbioru danych, uzyskano sparowane pomiary wydajności w powtórnych uruchomieniach, co uzasadnia zastosowanie testów t-studenta dla prób zależnych. Aby kontrolować rodzinny wskaźnik błędu związany z wielokrotnymi porównaniami parzystymi, zastosowano poprawkę Bonferroniego, a istotność statystyczną określono przy użyciu skorygowanego progu α/n, gdzie n oznacza liczbę porównań parzystych.

Wyniki eksperymentalne silnie potwierdzają skuteczność proponowanego frameworka SegCycle-SPADE. Wyższa wydajność segmentacji osiągnięta przez SegFormer-B2 wykazuje jego zdolność do dokładnego identyfikowania i zachowywania granic motywów o znaczeniu kulturowym. Poprawa wskaźników IoU i Dice dodatkowo wskazuje na skuteczne zachowanie semantycznych struktur motywów w całym procesie przetwarzania. Integracja CycleGAN i SPADE pozwoliła na pomyślną rekonstrukcję niekompletnych struktur motywów przy jednoczesnym zachowaniu szczegółowych detali wizualnych, co odzwierciedlają poprawione wartości SSIM i PSNR. Co więcej, niższe wartości FID wskazują, że wygenerowane wzory artystyczne wykazują większe podobieństwo do autentycznych obrazów kulturowych i artystycznych, co sugeruje lepszą spójność stylistyczną i realizm wizualny.

Moduł CAFFM w znacznym stopniu przyczynił się do tych ulepszeń, ułatwiając efektywną interakcję między informacjami strukturalnymi pochodzącymi z segmentacji a generatywnymi reprezentacjami stylu. Dzięki fuzji cech opartej na mechanizmie cross-attention, CAFFM zwiększył zarówno wierność strukturalną, jak i autentyczność artystyczną, zachowując jednocześnie dalekosiężne relacje między motywami kulturowymi.

Rysunek 6 przedstawia porównanie dokładności segmentacji pomiędzy proponowaną strukturą SegCycle-SPADE a istniejącymi metodami na zbiorach danych Miao Batik oraz WikiArt. Tradycyjne podejścia do segmentacji, takie jak U-Net i DeepLabV3+, osiągnęły konkurencyjne wyniki dzięki zdolności do uczenia się reprezentacji przestrzennych. Jednak Pix2Pix i CycleGAN wykazały niższą dokładność segmentacji, ponieważ nie zostały zaprojektowane specjalnie do zadań segmentacyjnych. Proponowana struktura SegCycle-SPADE osiągnęła najwyższą dokładność segmentacji na obu zbiorach danych dzięki integracji SegFormer-B2 oraz wzmocnienia cech opartego na CAFFM.

Wykres dokładności segmentacji; porównanie metod U-Net, DeepLabV3+, Pix2Pix, CycleGAN oraz SegCycle-SPADE.
Rysunek 6. Porównanie dokładności segmentacji dla różnych metod. Porównanie dokładności segmentacji uzyskanej przy użyciu metod U-Net, DeepLabV3+, Pix2Pix, CycleGAN oraz proponowanego frameworka SegCycle-SPADE na zbiorach danych Miao Batik i WikiArt. Wyniki przedstawiono jako średnią ± odchylenie standardowe (SD) z pięciu niezależnych uruchomień (n = 5). Słupki błędów reprezentują jedno odchylenie standardowe. Wyższe wartości wskazują na lepszą wydajność segmentacji. Proponowany framework SegCycle-SPADE osiągnął najwyższą dokładność segmentacji w obu zbiorach danych. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 7 przedstawia porównanie IoU dla ocenianych metod. U-Net oraz DeepLabV3+ osiągnęły wysoką wydajność w zakresie pokrycia dzięki swoim architekturom zorientowanym na segmentację. Z kolei Pix2Pix i CycleGAN uzyskały niższe wartości IoU, ponieważ ich głównym celem jest translacja obrazu, a nie segmentacja semantyczna. Zaproponowany framework SegCycle-SPADE osiągnął najwyższe wartości IoU dla obu zbiorów danych, co wskazuje na lepszą lokalizację i zachowanie obszarów motywów kulturowych.

Porównanie wyników IoU, wykres słupkowy; metody segmentacji w odniesieniu do zbiorów danych Miao Batik i WikiArt; średnia ± SD.
Rysunek 7. Porównanie wyników Intersection over Union (IoU) dla segmentacji motywów kulturowych. Porównanie wydajności IoU różnych metod segmentacji na zbiorach danych Miao Batik i WikiArt. Wyniki przedstawiono jako średnią ± odchylenie standardowe (SD) z pięciu niezależnych uruchomień (n = 5). Słupki błędów oznaczają jedno odchylenie standardowe. Wyższe wartości IoU wskazują na lepsze pokrycie między przewidzianymi a referencyjnymi obszarami motywów oraz lepsze zachowanie granic motywów. Zaproponowana struktura SegCycle-SPADE osiągnęła najwyższe wyniki IoU w obu zbiorach danych. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 8 przedstawia porównanie współczynnika podobieństwa Dice’a. Dice mierzy stopień nakładania się przewidywanych masek segmentacji na regiony motywów w prawdzie podstawowej (ground-truth). Konwencjonalne podejścia do segmentacji osiągnęły stosunkowo wysokie wyniki Dice dzięki ich skuteczności w uczeniu struktur przestrzennych. Jednak zaproponowany framework SegCycle-SPADE uzyskał najwyższe wyniki Dice w obu zbiorach danych, wykazując poprawioną spójność segmentacji oraz lepsze zachowanie motywów.

Wykres współczynnika Dice dla segmentacji motywów; metody: U-Net, DeepLabV3+, Pix2Pix, CycleGAN.
Rycina 8. Porównanie współczynnika Dice dla segmentacji motywów kulturowych. Porównanie wartości współczynnika Dice uzyskanych przy zastosowaniu różnych podejść do segmentacji w zbiorach danych Miao Batik oraz WikiArt. Współczynnik Dice ocenia stopień pokrycia między przewidzianymi maskami segmentacji a maskami referencyjnymi, przy czym wyższe wartości wskazują na lepszą wydajność segmentacji i identyfikację obszarów motywu. Zaproponowana struktura SegCycle-SPADE osiągnęła najwyższe wartości współczynnika Dice w obu zbiorach danych. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 9 przedstawia porównanie wskaźnika SSIM dla zrekonstruowanych wzorów kulturowych. Metody oparte na GAN, takie jak Pix2Pix, CycleGAN i StyleGAN, osiągnęły wyższe wartości SSIM niż tradycyjne metody segmentacji, ponieważ zostały zaprojektowane do generowania obrazów. Niemniej jednak proponowany framework SegCycle-SPADE uzyskał najwyższe wartości SSIM w obu zbiorach danych, co wskazuje na lepsze zachowanie szczegółów strukturalnych i spójność artystyczną. Wykres słupkowy porównania podobieństwa strukturalnego; wyniki SSIM dla Pix2Pix, CycleGAN itp. w zbiorach danych.

Rysunek 9. Porównanie wskaźnika podobieństwa strukturalnego (SSIM).Porównanie wartości wskaźnika podobieństwa strukturalnego (SSIM) uzyskanych przy użyciu różnych metod rekonstrukcji na zbiorach danych Miao Batik i WikiArt. Wyniki przedstawiono jako średnia ± odchylenie standardowe (SD) z pięciu niezależnych uruchomień (n = 5). Słupki błędów wskazują jedno odchylenie standardowe. Wyższe wartości SSIM oznaczają większe podobieństwo strukturalne między wzorami zrekonstruowanymi a referencyjnymi. Zaproponowany framework SegCycle-SPADE osiągnął najwyższe wyniki SSIM dla obu zbiorów danych. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

Do oceny realizmu i podobieństwa rozkładu wygenerowanych wzorów artystycznych wykorzystano wskaźnik FID. Obliczenia FID przeprowadzono przy użyciu przeszkolonej sieci Inception-v3, wyodrębniając wektory cech z warstwy pool3, co pozwoliło uzyskać 2048-wymiarowe reprezentacje cech. Przed ekstrakcją cech obrazy wygenerowane oraz referencyjne zostały przeskalowane do rozmiaru 299 × 299 pikseli przy użyciu interpolacji bilinearnej i znormalizowane zgodnie ze standardowym protokołem preprocessingu sieci Inception-v3. Wartość FID obliczono na podstawie rozkładów cech wyodrębnionych z niezależnego zbioru testowego. Statystyki średniej i kowariancji oszacowano z osadzeń cech (feature embeddings) i wykorzystano je w standardowym wzorze FID.

Jak pokazano w Tabeli 4, konwencjonalne podejścia do generowania obrazów, takie jak Pix2Pix i CycleGAN, uzyskały stosunkowo wysokie wyniki FID ze względu na brak wyraźnych wytycznych strukturalnych. StyleGAN i AttentionGAN osiągnęły niższe wyniki FID dzięki lepszym możliwościom uczenia cech. Jednak zaproponowana architektura SegCycle-SPADE uzyskała najniższe wyniki FID dla obu zbiorów danych, wykazując najwyższy realizm obrazów, spójność stylistyczną oraz zachowanie motywów kulturowych.

Metoda	Zbiór danych Miao Batik (FID)	Zbiór danych WikiArt (FID)
Pix2Pix	48.6	52.3
CycleGAN	42.8	46.5
StyleGAN	39.7	43.1
AttentionGAN	36.9	40.4
SegCycle-SPADE (proponowany)	28.5	31.2

Tabela 4: Wyniki odległości Frecheta-Inception (FID) dla rekonstrukcji wzorów kulturowych. Porównanie wyników odległości Frecheta-Inception (FID) uzyskanych przez proponowaną strukturę SegCycle-SPADE oraz bazowe modele generatywne na zbiorach danych Miao Batik i WikiArt. Niższe wartości FID wskazują na większe podobieństwo między rozkładami cech obrazów generowanych a rzeczywistych, a tym samym odzwierciedlają lepszy realizm wizualny zrekonstruowanych wzorów kulturowych.

Rycina 10 porównuje jakość rekonstrukcji uzyskaną za pomocą różnych metod. Jakość rekonstrukcji (%) obliczono poprzez przeliczenie wskaźnika SSIM pomiędzy obrazem zrekonstruowanym a odpowiadającym mu obrazem referencyjnym na skalę procentową (SSIM × 100). Wyższe wartości procentowe wskazują na większą wierność strukturalną i podobieństwo wizualne do oryginalnego motywu kulturowego. Konwencjonalne modele generatywne, takie jak Pix2Pix i CycleGAN, osiągnęły umiarkowaną wydajność rekonstrukcji. Bardziej zaawansowane architektury, w tym StyleGAN i AttentionGAN, uzyskały lepszą jakość rekonstrukcji dzięki rozszerzonym możliwościom uczenia cech. Jednakże zaproponowany framework SegCycle-SPADE osiągnął najwyższą jakość rekonstrukcji dzięki integracji prowadzenia przez segmentację semantyczną, fuzji cech z mechanizmem cross-attention, uczeniu rekonstrukcji oraz syntezie artystycznej.

Wykres porównawczy jakości rekonstrukcji; metody: Pix2Pix, CycleGAN, StyleGAN, AttentionGAN, SegCycle-SPADE.
Rycina 10. Porównanie jakości rekonstrukcji wzorów. Porównanie jakości rekonstrukcji uzyskanej przy użyciu Pix2Pix, CycleGAN, StyleGAN, AttentionGAN oraz proponowanego frameworka SegCycle-SPADE na zestawach danych Miao Batik i WikiArt. Wyniki przedstawiono jako średnia ± odchylenie standardowe (SD) z pięciu niezależnych uruchomień (n = 5). Słupki błędów wskazują jedno odchylenie standardowe. Wyższe wartości oznaczają lepszą konserwację szczegółów strukturalnych, spójność semantyczną i wierność wizualną. Proponowany framework SegCycle-SPADE osiągnął najwyższe wyniki jakości rekonstrukcji na obu zestawach danych. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

W celu oceny wierności rekonstrukcji wykorzystano wskaźnik PSNR, mierząc podobieństwo na poziomie pikseli między obrazami zrekonstruowanymi a odpowiadającymi im obrazami referencyjnymi. Wartość PSNR obliczano dla każdego zrekonstruowanego obrazu i odpowiadającego mu oryginalnego obrazu tkaniny Miao Batik, który służył jako referencyjna prawda terenowa (ground-truth). Wyższe wartości PSNR wskazują na niższy błąd rekonstrukcji. Jak pokazano w tabeli 5, modele Pix2Pix i CycleGAN osiągnęły umiarkowane wartości PSNR, ponieważ rekonstruowały wzory bez wyraźnych wytycznych strukturalnych. StyleGAN oraz AttentionGAN uzyskały wyższe wartości PSNR dzięki głębszemu uczeniu cech. Zaproponowany framework SegCycle-SPADE osiągnął najwyższe wartości PSNR w obu zbiorach danych, co świadczy o najwyższej wierności rekonstrukcji i lepszym zachowaniu struktur motywów kulturowych.

Metoda	Zbiór danych Miao Batik (PSNR, dB)	Zbiór danych WikiArt (PSNR, dB)
Pix2Pix	25.8	24.6
CycleGAN	27.3	26.1
StyleGAN	28.7	27.5
AttentionGAN	29.9	28.6
SegCycle-SPADE (proponowana)	32.4	31.2

Tabela 5: Wyniki maksymalnego stosunku sygnału do szumu (PSNR) dla rekonstrukcji wzorów kulturowych. Porównanie wartości maksymalnego stosunku sygnału do szumu (PSNR) uzyskanych za pomocą proponowanego frameworka SegCycle-SPADE oraz metod bazowych na zbiorach danych Miao Batik i WikiArt. Wyższe wartości PSNR wskazują na lepszą wierność rekonstrukcji i mniejszą dystorsję w stosunku do odpowiadających im obrazów referencyjnych.

Rysunek 11 ilustruje zachowanie zbieżności proponowanego frameworka SegCycle-SPADE podczas trenowania. Krzywe straty reprezentują średnie straty treningowe uśrednione z pięciu niezależnych cykli trenowania. Aby zmniejszyć zmienność stochastyczną i zapewnić bardziej solidną reprezentację zbieżności trenowania, wartości straty zostały uśrednione dla każdej epoki we wszystkich cyklach. Podczas początkowych epok trenowania wartości straty były stosunkowo wysokie, ponieważ model wciąż uczył się reprezentacji cech z danych wejściowych. W miarę postępu trenowania wszystkie komponenty straty stopniowo malały i stabilizowały się, co wskazuje na pomyślną optymalizację celów segmentacji, rekonstrukcji i syntezy artystycznej. Obserwowane zachowanie zbieżności wykazuje skuteczność, stabilność i odtwarzalność proponowanego frameworka podczas trenowania.

Wykres zbieżności treningu, framework SegCycle-SPADE. Strata vs epoki; L_total, L_seg, L_G, L_D.
Rysunek 11. Zbieżność treningu proponowanego frameworku SegCycle-SPADE. Krzywe straty treningowej proponowanego frameworku SegCycle-SPADE w ciągu 100 epok treningowych, uśrednione z pięciu niezależnych uruchomień treningu (n = 5). Rysunek ilustruje ewolucję straty całkowitej (LTotal), straty segmentacji (LSeg), straty generatora (LG) oraz straty dyskryminatora (LD) podczas treningu. Stopniowy spadek i późniejsza stabilizacja wszystkich komponentów straty wskazują na pomyślną zbieżność i stabilną optymalizację proponowanego frameworku. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

Badanie ablacyjne
W celu oceny wkładu każdego komponentu w ramach proponowanego modelu SegCycle-SPADE przeprowadzono badanie ablacyjne z wykorzystaniem wielu kontrolowanych konfiguracji modelu. Wyniki przedstawiono w tabelach 6 i 7.

Konfiguracja modelu	Dokładność segmentacji (%)	IoU (Intersection over Union)	SSIM (Structural Similarity Index Measure)
Wyłącznie SegFormer	87.3	0.76	0.82
SegFormer + CAFFM	89.6	0.79	0.86
SegFormer + CAFFM + CycleGAN	91.4	0.82	0.89
SegFormer + CAFFM + CycleGAN + SPADE (Proponowane)	93.8	0.86	0.93

Tabela 6: Badanie ablacyjne komponentów SegCycle-SPADE. Porównanie wydajności progresywnie ulepszanych konfiguracji modelu w celu oceny wkładu poszczególnych komponentów struktury. Badanie analizuje wpływ segmentacji semantycznej, Modułu Fuzji Cech Kulturowych opartego na mechanizmie Cross-Attention (CAFFM), rekonstrukcji opartej na CycleGAN oraz syntezy artystycznej opartej na SPADE na dokładność segmentacji, współczynnik Intersection over Union (IoU) oraz wskaźnik podobieństwa strukturalnego (SSIM). Wyższe wartości wskazują na lepszą segmentację motywów, wyższą jakość rekonstrukcji oraz lepsze zachowanie struktury.

Wariant	IoU (%)	Wskaźnik Dice’a (%)	SSIM (strukturalny wskaźnik podobieństwa)	PSNR (dB)	FID ↓
Wyłącznie SegFormer	84.2 ± 0.4	88.5 ± 0.3	0.82 ± 0.01	24.8 ± 0.2	31.8 ± 0.6
SegFormer + CycleGAN	86.7 ± 0.3	90.2 ± 0.2	0.85 ± 0.01	26.3 ± 0.2	27.5 ± 0.5
SegFormer + SPADE	87.0 ± 0.3	90.5 ± 0.2	0.88 ± 0.01	27.8 ± 0.2	23.4 ± 0.4
SegFormer + CAFFM	90.0 ± 0.2	93.1 ± 0.2	0.90 ± 0.01	29.6 ± 0.1	20.3 ± 0.3
SegCycle-SPADE (pełny model)	93.0 ± 0.2	95.4 ± 0.1	0.92 ± 0.01	31.2 ± 0.1	17.6 ± 0.2

Tabela 7: Analiza wkładu poszczególnych komponentów proponowanego frameworka SegCycle-SPADE. Porównanie wydajności poszczególnych wariantów frameworka wykorzystanych do oceny wkładu CAFFM, CycleGAN, SPADE oraz pełnej architektury SegCycle-SPADE. Wyniki przedstawiono z wykorzystaniem wskaźnika Intersection over Union (IoU), współczynnika Dice’a, wskaźnika podobieństwa strukturalnego (SSIM), szczytowego stosunku sygnału do szumu (PSNR) oraz odległości Frecheta (FID). Wyższe wartości IoU, Dice, SSIM i PSNR wskazują na lepszą jakość segmentacji i rekonstrukcji, natomiast niższe wartości FID świadczą o większym realizmie wizualnym generowanych wzorów kulturowych.

Tabela 6 ocenia skumulowany wkład głównych komponentów struktury przy użyciu czterech konfiguracji: (i) sam SegFormer, (ii) SegFormer + CAFFM, (iii) SegFormer + CAFFM + CycleGAN oraz (iv) SegFormer + CAFFM + CycleGAN + SPADE (proponowana struktura). Bazowy model SegFormer osiągnął dokładność segmentacji na poziomie 87,3%, wskaźnik IoU wynoszący 0,76 oraz wartość SSIM równą 0,82. Wprowadzenie modułu CAFFM poprawiło wyniki we wszystkich metrykach oceny, zwiększając dokładność segmentacji do 89,6%, IoU do 0,79 oraz SSIM do 0,86. Dodanie CycleGAN dodatkowo zwiększyło zdolność do rekonstrukcji strukturalnej, co przełożyło się na IoU wynoszący 0,82 i wartość SSIM równą 0,89. Kompletna struktura SegCycle-SPADE osiągnęła najlepszą ogólną wydajność, z dokładnością segmentacji 93,8%, IoU na poziomie 0,86 oraz wartością SSIM wynoszącą 0,93. Wyniki te pokazują, że każdy komponent przyczynia się incrementalnie do poprawy dokładności segmentacji, zachowania struktury oraz jakości rekonstrukcji obrazu.

Tabela 7 pogłębia analizę wkładu poszczególnych komponentów struktury przy użyciu pięciu wariantów modelu: (i) sam SegFormer, (ii) SegFormer + CycleGAN, (iii) SegFormer + SPADE, (iv) SegFormer + CAFFM oraz (v) pełny model obejmujący SegFormer, CAFFM, CycleGAN, SPADE oraz funkcję straty zachowania motywu (motif-preservation loss). Wydajność oceniono za pomocą metryk IoU, współczynnika Dice, SSIM, PSNR oraz FID.

Bazowa konfiguracja oparta wyłącznie na SegFormer osiągnęła IoU na poziomie 84,2%, współczynnik Dice wynoszący 88,5%, wartość SSIM równą 0,82, PSNR wynoszące 24,8 dB oraz wynik FID równy 31,8. Dodanie CycleGAN poprawiło jakość rekonstrukcji i obniżyło wynik FID do 27,5, co wskazuje na zwiększony realizm obrazu. Wprowadzenie SPADE dodatkowo poprawiło podobieństwo strukturalne i jakość obrazu, co zaowocowało wartością SSIM 0,88 i wynikiem FID 23,4. Zastosowanie zaproponowanego modułu CAFFM przyniosło znaczący wzrost we wszystkich metrykach, zwiększając IoU do 90,0%, współczynnik Dice do 93,1%, SSIM do 0,90 oraz PSNR do 29,6 dB, przy jednoczesnym obniżeniu wyniku FID do 20,3. Pełny model, który dodatkowo uwzględnia funkcję straty zachowania motywu (motif-preservation loss), osiągnął najlepszą ogólną wydajność z IoU na poziomie 93,0%, współczynnikiem Dice 95,4%, wartością SSIM 0,92, PSNR wynoszącym 31,2 dB oraz wynikiem FID równym 17,6.

Tabela 8 przedstawia porównawczy przegląd reprezentatywnych podejść DL wykorzystywanych do rekonstrukcji i zachowania wzorów dziedzictwa kulturowego. Konwencjonalne metody oparte na CNN zapewniają efektywną naukę cech lokalnych i wydajność segmentacji, ale często mają trudności z zachowaniem złożonych struktur motywów ze względu na ograniczone modelowanie zależności dalekosiężnych. Podejścia oparte na GAN poprawiają możliwości syntezy obrazu i transferu stylu; jednak mogą one cierpieć z powodu niespójności semantycznych i utraty drobnych szczegółów strukturalnych. Metody oparte na Transformerach zwiększają globalne rozumienie kontekstu, ale zazwyczaj brakuje im możliwości rekonstrukcji generatywnej, podczas gdy metody oparte na dyfuzji oferują wysoki realizm wizualny kosztem zwiększonej złożoności obliczeniowej. Hybrydowe podejścia Transformer-GAN częściowo rozwiązują te ograniczenia, łącząc mechanizmy ekstrakcji cech i generowania obrazów. W przeciwieństwie do nich, proponowany framework SegCycle-SPADE integruje segmentację opartą na transformerach, fuzję cech z wykorzystaniem cross-attention, rekonstrukcję generatywną oraz syntezę artystyczną sterowaną segmentacją w ramach jednolitej architektury, poprawiając tym samym wierność strukturalną, spójność semantyczną i zachowanie motywów kulturowych. Porównanie to zostało podsumowane w Tabeli 8.

Metoda	Podstawowa metodologia	Mocne strony	Ograniczenia	Znaczenie dla dziedzictwa kulturowego
Metody oparte na sieciach CNN (np. U-Net, DeepLabV3+)	Ekstrakcja cech splotowych i segmentacja semantyczna	Efektywna nauka cech lokalnych i dokładna segmentacja	Ograniczone modelowanie zależności długodystansowych; trudność w zachowaniu złożonych struktur motywów	Odpowiednie do segmentacji motywów, lecz mniej skuteczne w przypadku rekonstrukcji artystycznej
Metody oparte na GAN (np. Pix2Pix, CycleGAN)	Generowanie obrazów metodą kontradyktoryjną oraz translacja obraz-obraz	Wysokiej jakości synteza obrazów i transfer stylu	Niestabilność procesu trenowania; niespójność semantyczna; potencjalna utrata drobnych szczegółów strukturalnych	Przydatne do odtwarzania wzorów, lecz może nie zachowywać wiernie motywów kulturowych
Metody oparte na transformerach	Samoatencja i modelowanie kontekstu globalnego	Przechwytuje zależności dalekosiężne oraz złożone relacje wizualne	Wysokie koszty obliczeniowe; wymagane duże zbiory danych treningowych	Skuteczny w analizie złożonych wzorców, lecz o ograniczonych możliwościach generatywnych przy samodzielnym zastosowaniu
Metody oparte na dyfuzji	Generowanie obrazów w oparciu o iteracyjne odszumianie	Wysoki realizm wizualny i różnorodność obrazów	Powolna prędkość wnioskowania; wysokie wymagania obliczeniowe; ograniczona kontrola strukturalna	Obiecujące w kontekście generowania obrazów dziedzictwa kulturowego, lecz wymagające dużych zasobów obliczeniowych
Hybrydowe metody Transformer-GAN	Połączenie ekstrakcji cech opartej na transformatorach i generowania opartego na GAN	Poprawiona reprezentacja cech globalnych i jakość obrazu	Często brakuje wyraźnych wytycznych semantycznych w zakresie zachowania motywów	Poprawia jakość generowania, ale nie jest zaprojektowany specjalnie pod kątem motywów związanych z dziedzictwem kulturowym
Proponowany model SegCycle-SPADE	SegFormer + CAFFM + CycleGAN + SPADE	Segmentacja oparta na transformerach, fuzja cech sterowana mechanizmem uwagi, spójność semantyczna, zachowanie motywu oraz kontrolowana rekonstrukcja artystyczna	Wyższa złożoność obliczeniowa niż w przypadku samodzielnych podejść opartych na sieciach CNN	Zaprojektowane specjalnie do rekonstrukcji i zachowania wzorców dziedzictwa kulturowego, z poprawioną wiernością strukturalną i spójnością semantyczną

Tabela 8: Porównanie reprezentatywnych podejść głębokiego uczenia w zakresie rekonstrukcji i ochrony wzorów dziedzictwa kulturowego. Jakościowe porównanie reprezentatywnych podejść głębokiego uczenia stosowanych do segmentacji obrazów, rekonstrukcji wzorów, generowania stylu oraz ochrony dziedzictwa kulturowego. Tabela podsumowuje podstawową metodologię, zalety, ograniczenia i możliwości zastosowania każdego podejścia oraz podkreśla, w jaki sposób proponowany framework SegCycle-SPADE łączy segmentację semantyczną, fuzję cech, rekonstrukcję i syntezę stylu, aby rozwiązać problemy związane z zachowaniem struktury i spójnością semantyczną we wzorach dziedzictwa kulturowego.

Zaobserwowane ulepszenia wykazują, że moduł CAFFM efektywnie wzmacnia interakcję między cechami strukturalnymi pochodzącymi z segmentacji a reprezentacjami stylu artystycznego poprzez fuzję cech opartą na mechanizmie cross-attention. Co więcej, strata zachowania motywów (motif-preservation loss) przyczynia się do utrzymania kulturowo istotnych struktur motywów podczas rekonstrukcji i syntezy artystycznej, co skutkuje poprawą spójności segmentacji, wierności strukturalnej oraz realizmu wizualnego. Wspólnie wyniki ablacji potwierdzają, że integracja SegFormer-B2, CAFFM, CycleGAN, SPADE oraz straty zachowania motywów odpowiada za wysoką wydajność proponowanego frameworka SegCycle-SPADE.

Dostępność danych:
Zbiór danych WikiArt wykorzystany do uczenia stylu artystycznego jest publicznie dostępny w repozytorium Kaggle WikiArt (https://www.kaggle.com/datasets/steubk/wikiart). Zbiór danych Miao Batik wykorzystany w niniejszym badaniu jest publicznie dostępny za pośrednictwem Zenodo (https://doi.org/10.5281/zenodo.20807658). Przetworzone zbiory danych, maski segmentacji, wagi pretrenowanych modeli, wygenerowane wyniki oraz pliki implementacji w języku Python powiązane z proponowaną strukturą SegCycle-SPADE są również dostępne w tym samym repozytorium Zenodo.

PLIK UZUPEŁNIAJĄCY:
Plik uzupełniający 1. Algorytm 1: Przepływ pracy implementacji proponowanego frameworka SegCycle-SPADE. Pseudokod krok po kroku opisujący kompletny potok implementacyjny proponowanego frameworka SegCycle-SPADE, obejmujący ładowanie zbioru danych, przetwarzanie wstępne, segmentację semantyczną z wykorzystaniem SegFormer-B2, fuzję cech za pomocą modułu Cross-Attention Cultural Feature Fusion Module (CAFFM), rekonstrukcję motywów kulturowych z wykorzystaniem CycleGAN, syntezę stylu artystycznego za pomocą SPADE, trenowanie modelu, walidację, wybór punktu kontrolnego oraz końcową ocenę wydajności. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ochrona i cyfrowa rekonstrukcja wzorów niematerialnego dziedzictwa kulturowego (ICH) zyskały w ostatnich latach coraz większą uwagę ze względu na stopniowe zanikanie tradycyjnego rzemiosła. Poprzednie badania próbowały przeciwdziałać utracie dziedzictwa kulturowego za pomocą technik przetwarzania obrazu opartych na głębokim uczeniu (DL). Na przykład Quan i wsp.³² zaproponowali strukturę ochrony dziedzictwa kulturowego opartą na grafach wiedzy i DL dla kultury batików ludu Miao z prowincji Guizhou. Choć badanie to koncentrowało się na cyfrowej rekonstrukcji wzorów kulturowych, jego metodologia opierała się przede wszystkim na reprezentacjach grafów wiedzy. Podobnie Fu i Razmjooy¹⁶ zaproponowali strukturę opartą na sieci piramidy cech (FPN) w celu ulepszenia i renowacji obrazów dziedzictwa kulturowego. Chociaż metoda ta zapewniła skuteczną ekstrakcję cech dla ulepszenia obrazu, nie zawierała ona wskazówek dotyczących segmentacji obrazu ani mechanizmów generatywnej rekonstrukcji dla niekompletnych wzorów kulturowych. W przeciwieństwie do nich, proponowana struktura SegCycle-SPADE łączy wiele komponentów DL, aby pokonać te wyzwania. Po pierwsze, zastosowano segmentację semantyczną z użyciem modelu SegFormer w celu dokładnej identyfikacji obszarów motywów we wzorach dziedzictwa kulturowego. Następnie moduł ulepszania cech oparty na CAFFM poprawia reprezentacje cech dla drobnych struktur motywów. Następnie moduł rekonstrukcyjny CycleGAN jest wykorzystywany do rekonstrukcji brakujących lub niekompletnych obszarów we wzorach kulturowych poprzez uczenie przeciwstawne. Na koniec moduł SPADE wykonuje ulepszenie stylistyczne, zachowując jednocześnie dopasowanie strukturalne z mapami segmentacji. Istniejące metody oparte na CNN, GAN, transformatorach i dyfuzji¹⁷^,¹⁹^,²⁰^,²¹^,²²^,²³^,²⁴^,²⁵^,³⁰^,³⁴ oferują każda unikalne zalety; wykazują one jednak również ograniczenia w zakresie zachowania spójności semantycznej, utrzymania cech strukturalnych lub osiągnięcia wydajności obliczeniowej, co podsumowano w Tabeli 8. Proponowana architektura SegCycle-SPADE łączy zalety segmentacji opartej na SegFormer, fuzji cech cross-attention, rekonstrukcji CycleGAN oraz syntezy sterowanej przez SPADE, rozwiązując jednocześnie te ograniczenia. W rezultacie struktura ta pozwala osiągnąć lepszą jakość rekonstrukcji i lepszą ochronę motywów o znaczeniu kulturowym.

Mimo obiecujących wyników, zaproponowany framework SegCycle-SPADE nadal wykazuje pewne ograniczenia. Po pierwsze, ocena została przeprowadzona wyłącznie z wykorzystaniem zbiorów danych Miao Batik oraz WikiArt, co może ograniczać możliwość generalizacji frameworku na inne dziedziny dziedzictwa kulturowego. Po drugie, wdrożenie na platformach o ograniczonych zasobach może być problematyczne, ponieważ integracja SegFormer, CAFFM, CycleGAN i SPADE zwiększa złożoność obliczeniową oraz wymagania dotyczące pamięci. Po trzecie, wydajność segmentacji w dużym stopniu zależy od jakości i spójności adnotacji motywów, a błąd adnotacji może wpłynąć na zachowanie istotnych struktur kulturowych. Wreszcie, ponieważ framework został oceniony na podstawie zaledwie dwóch zbiorów danych, do zapewnienia jego stosowalności w przypadku różnorodnych kolekcji dziedzictwa kulturowego mogą być niezbędne dodatkowe dane treningowe oraz adaptacje specyficzne dla danej dziedziny. Przyszłe badania powinny zatem skupić się na eksploracji bardziej odpornych strategii treningowych, lekkich architektur, ulepszonych procedur adnotacji oraz ewaluacji międzydomenowych z wykorzystaniem dodatkowych zbiorów danych dotyczących dziedzictwa kulturowego.

Skalowalność frameworku SegCycle-SPADE w odniesieniu do większych i bardziej zróżnicowanych zbiorów danych dotyczących dziedzictwa kulturowego będzie głównym punktem ciężkości przyszłych badań. Przeprowadzona zostanie międzykulturowa ocena motywów dziedzictwa z różnych regionów i tradycji artystycznych w celu poprawy generalizacji modelu oraz jego adaptacyjności kulturowej. Ponadto, rozszerzenia multimodalne obejmujące opisy tekstowe, zapisy historyczne oraz metadane kulturowe mogą zapewnić silniejsze prowadzenie semantyczne podczas rekonstrukcji. Framework może zostać również rozszerzony o wsparcie dla trójwymiarowej rekonstrukcji dziedzictwa kulturowego poprzez zintegrowanie rekonstrukcji opartej na obrazach z technikami modelowania 3D. Dodatkowo, badane będzie wdrożenie w cyfrowych archiwach, muzeach, wirtualnych wystawach oraz na platformach ochrony dziedzictwa kulturowego, aby ułatwić praktyczne zastosowania wspomaganej przez AI konserwacji i dokumentacji dziedzictwa. W celu dalszej poprawy interpretowalności i autentyczności kulturowej, przyszłe prace skupią się na integracji grafów wiedzy kulturowej, dokumentacji etnograficznej, metadanych historycznych oraz baz wiedzy kuratorowanych przez ekspertów, aby umożliwić analizę i rekonstrukcję motywów w oparciu o wiedzę kulturową³².

Podczas wdrażania proponowanego frameworka SegCycle-SPADE należy wziąć pod uwagę kilka praktycznych kwestii. W trakcie trenowania CycleGAN może dojść do niestabilnej zbieżności adversarianej, jeśli straty generatora i dyskryminatora staną się silnie niezrównoważone. W takich sytuacjach stabilność procesu uczenia można poprawić poprzez zmniejszenie tempa uczenia, zwiększenie wagi straty spójności cyklu (cycle-consistency loss) lub monitorowanie dominacji dyskryminatora. Zjawisko zapadania się trybów (mode collapse) może wystąpić, gdy generator wielokrotnie generuje wizualnie podobne wyniki; problem ten można złagodzić poprzez zbalansowany trening adversariany, wykorzystanie bufora powtórek (replay-buffer) oraz uważne monitorowanie trendów strat generatora i dyskryminatora. Błędy segmentacji mogą również pojawić się w przypadku motywów kulturowych o złożonych teksturach, niskim kontraście lub niejednoznacznych granicach. Aby rozwiązać ten problem, przed rozpoczęciem trenowania należy zweryfikować jakość obrazów, a maski segmentacyjne powinny zostać poddane wizualnej inspekcji w celu zapewnienia spójności adnotacji. Dla uzyskania niezawodnej wydajności modelu SegFormer istotne jest również zachowanie zalecanej rozdzielczości wejściowej oraz ustawień normalizacji. Niestabilność trenowania może dodatkowo wynikać z niewłaściwych ustawień tempa uczenia, niewystarczającej ilości danych treningowych lub wariacji numerycznych związanych z sprzętem. W celu poprawy powtarzalności należy stosować stałe ziarna losowe (random seeds) dla NumPy, PyTorch, CUDA oraz operacji przetasowania zbioru danych. Ponadto, we wszystkich uruchomieniach eksperymentalnych należy zachować ten sam potok przetwarzania wstępnego, podziały zbioru danych, hiperparametry modelu oraz środowisko programowe. Zaleca się również okresowe zapisywanie punktów kontrolnych (checkpoints) oraz monitorowanie straty walidacyjnej, aby zapobiec degradacji wydajności i ułatwić odzyskiwanie danych po przerwanych sesjach trenowania.

Proponowana praca przyczynia się do teoretycznego rozwoju ram rekonstrukcji dziedzictwa kulturowego opartych na sztucznej inteligencji. Konwencjonalne podejścia do renowacji obrazów zazwyczaj traktują segmentację obrazu, rekonstrukcję i generowanie stylu jako niezależne procesy¹⁷^,¹⁹^,²⁰^,³⁰. W przeciwieństwie do nich, niniejsze badanie proponuje strukturę, która integruje te procesy poprzez strategię rekonstrukcji generatywnej sterowanej segmentacją. W konsekwencji badanie to przyczynia się do teoretycznego rozwoju rekonstrukcji dziedzictwa kulturowego wspomaganej przez AI, wykazując, w jaki sposób segmentacja, rekonstrukcja i generowanie stylu mogą zostać zjednoczone w ramach jednej struktury. Taka integracja jest szczególnie istotna w zastosowaniach dotyczących dziedzictwa kulturowego, gdzie kluczowe jest zachowanie struktury motywów i znaczenia semantycznego. Z praktycznego punktu widzenia proponowana struktura oferuje skuteczne rozwiązanie dla cyfrowej konserwacji, renowacji i artystycznego ulepszania tradycyjnych wzorów kulturowych. Instytucje dziedzictwa kulturowego, muzea i projektanci mogą wykorzystywać SegCycle-SPADE do automatycznej identyfikacji obszarów motywów, rekonstrukcji uszkodzonych lub niekompletnych wzorów oraz generowania wizualnie ulepszonych artystycznych reprezentacji tradycyjnych projektów. Możliwość ta jest szczególnie cenna w przypadku zagrożonych tradycji rzemieślniczych, w tym wzorów tkanin batikowych ludu Miao, gdzie artefakty historyczne mogą być częściowo uszkodzone lub niepełne. Ponadto, dzięki włączeniu generatywnej syntezy stylu, struktura ta może wspierać nowoczesne zastosowania w projektowaniu kulturowym, takie jak projektowanie tkanin, cyfrowa twórczość artystyczna i edukacja w zakresie dziedzictwa. W ten sposób proponowana struktura wypełnia lukę między ochroną dziedzictwa kulturowego a współczesnymi zastosowaniami w projektowaniu kulturowym.

Niemniej jednak, pomimo obiecujących wyników osiągniętych przez proponowany framework SegCycle-SPADE, pozostaje kilka ograniczeń. Po pierwsze, ewaluację przeprowadzono wyłącznie na zbiorach danych Miao Batik oraz WikiArt, co może wpływać na zdolność uogólniania frameworku w zakresie rekonstrukcji innych form wzorów dziedzictwa kulturowego. Po drugie, ponieważ proces rekonstrukcji opiera się na modelach GAN, generowane wyniki mogą sporadycznie zawierać artefakty lub nienaturalne tekstury w przypadku bardzo złożonych struktur motywów. Po trzecie, framework koncentruje się obecnie na rekonstrukcji wzorów dwuwymiarowych, podczas gdy niektóre artefakty dziedzictwa kulturowego obejmują struktury immanentnie trójwymiarowe. Ogólnie rzecz biorąc, wyniki eksperymentalne wykazują skuteczność proponowanego frameworku SegCycle-SPADE w artystycznej rekonstrukcji wzorów ICH. Integracja segmentacji semantycznej opartej na SegFormer, CAFFM, rekonstrukcji motywów opartej na CycleGAN oraz syntezy artystycznej opartej na SPADE konsekwentnie poprawiła wskaźniki wydajności w zakresie segmentacji, rekonstrukcji oraz jakości obrazu. Badania ablacyjne dodatkowo potwierdziły wkład każdego komponentu frameworku, wykazując, że CAFFM oraz strata zachowania motywów (motif-preservation loss) znacząco zwiększyły wierność strukturalną i autentyczność wizualną. Wyniki te wspierają główną hipotezę, zgodnie z którą rekonstrukcja sterowana segmentacją semantyczną w połączeniu z fuzją cech cross-attention może skutecznie zachować motywy o znaczeniu kulturowym, generując jednocześnie bogate artystycznie rezultaty. Zatem proponowany framework stanowi niezawodne i powtarzalne podejście obliczeniowe do cyfrowej konserwacji, renowacji oraz kreatywnego rewitalizowania wzorów ICH.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Konflikt interesów:
Autorzy nie deklarują żadnych konfliktów interesów.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy pragną podziękować za wsparcie akademickie i instytucjonalne udzielone przez Guangdong Engineering Polytechnic oraz South China Normal University podczas realizacji niniejszych badań. Badania te zostały sfinansowane w ramach projektu ogólnego Narodowego Funduszu Nauk Społecznych z 2023 roku (nr 23BH161) pt. „Digital Regeneration Museum: Research on the Activation and Communication of Chinese Classic Calligraphy and Painting Cultural Relics”.

Materiały

Lista materiałów użytych w tym artykule
Nazwa	Firma	Numer katalogowy	Komentarze
Optymalizator Adam	Biblioteka optymalizatorów PyTorch	Adam	Algorytm optymalizacji stosowany podczas trenowania modelu.
Zestaw narzędzi CUDA	NVIDIA Corporation	CUDA 11.3	Akceleracja GPU dla obliczeń głębokiego uczenia.
cuDNN	NVIDIA Corporation	cuDNN 8.2	Biblioteka akceleracji głębokich sieci neuronowych stosowana do przyspieszenia trenowania i wnioskowania.
CycleGAN	University of California, Berkeley / Open Source	Oficjalna implementacja PyTorch (https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)	Generatywna sieć przeciwstawna stosowana do rekonstrukcji motywów kulturowych.
Wagi wstępnie wytrenowane na ImageNet	ImageNet / Open Source	mit_b2.pth (Wstępnie wytrenowany punkt kontrolny ImageNet-1K)	Stosowane do inicjalizacji szkieletu SegFormer-B2 przed dostrajaniem na zbiorze danych Miao Batik.
Procesor Intel	Intel Corporation	Intel Core i7 (11. generacja)	CPU stosowany do wstępnego przetwarzania obrazów, wsparcia trenowania modelu i wnioskowania.
Matplotlib	Zespół programistów Matplotlib	Matplotlib 3.5.1	Wizualizacja krzywych uczenia i wyników ewaluacji.
Zbiór danych Miao Batik	Repozytorium Zenodo	DOI: 10.5281/zenodo.20807658	Zbiór danych motywów kulturowych zawierający 15 148 obrazów, stosowany do segmentacji semantycznej i rekonstrukcji wzorów.
NumPy	Programiści NumPy	NumPy 1.21.5	Obliczenia numeryczne i przetwarzanie zbiorów danych.
GPU NVIDIA	NVIDIA Corporation	NVIDIA RTX 3090 (24 GB VRAM)	Platforma sprzętowa stosowana do trenowania modelu i wnioskowania.
OpenCV	OpenCV Foundation	OpenCV 4.5.5	Wstępne przetwarzanie obrazów, zmiana rozmiaru, interpolacja i odszumianie gaussowskie.
System operacyjny	Canonical Ltd.	Ubuntu 20.04 LTS	Środowisko wykonawcze eksperymentów.
Pillow (PIL)	Python Imaging Library	Pillow 8.4.0	Ładowanie i manipulacja obrazami.
Python	Python Software Foundation	Python 3.8.10	Język programowania stosowany do implementacji i eksperymentów.
PyTorch	Meta AI	PyTorch 1.10.0	Framework głębokiego uczenia stosowany do trenowania modelu i wnioskowania.
Ziarno losowości	Ustawienia eksperymentalne	42	Stałe ziarno stosowane do partycjonowania zbioru danych, inicjalizacji modelu i powtarzalności eksperymentów.
Scikit-learn	Programiści Scikit-learn	Scikit-learn 1.0.2	Partycjonowanie zbioru danych, analiza statystyczna i metryki ewaluacji.
Seaborn	Społeczność Open Source	Seaborn 0.11.2	Statystyczna wizualizacja danych.
SegFormer-B2	NVIDIA Research / Open Source	SegFormer-B2 (Szkielet MIT-B2)	Model segmentacji semantycznej oparty na transformerach, stosowany do segmentacji motywów kulturowych.
Maski segmentacji / Adnotacje	Zbiór danych Miao Batik	Dołączone do zbioru danych	Etykiety segmentacji semantycznej na poziomie pikseli, stosowane do klasyfikacji motywów i trenowania.
SPADE	NVIDIA Research / Open Source	Oficjalna implementacja PyTorch (https://github.com/NVlabs/SPADE)	Model syntezy obrazu sterowany segmentacją, stosowany do generowania wzorów artystycznych.
TorchVision	Meta AI	TorchVision 0.11.1	Narzędzia do przetwarzania obrazów i transformacje zbiorów danych stosowane z PyTorch.
Zbiór danych WikiArt	WikiArt	https://www.wikiart.org/	Zbiór danych stylów artystycznych zawierający ponad 80 000 dzieł sztuki w 27 stylach artystycznych, stosowany do nauki i syntezy stylu.

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Huang B, Mo L. SegCycle-SPADE: An end-to-end framework for semantic segmentation-based automated extraction and artistic reconstruction of traditional craft patterns using conditional GAN. PLoS ONE. 2025;20:e0329100.
Yan Z, et al. Digital sustainability of heritage: Exploring indicators affecting the effectiveness of digital dissemination of intangible cultural heritage through qualitative interviews. Sustainability. 2025;17:1593.
Yan Z, et al. Construction of digital dissemination effects evaluation indicator system of traditional techniques of intangible cultural heritage. npj Heritage Science. 2025;13:224.
Imon SS. Intangible cultural heritage as a tourism product in the historic city of Macao. In: Sustainable Management of Historic Settlements in Asia: Role of Intangible Cultural Heritage. Springer Nature Singapore; Singapore. 2025. p.233-240.
Buragohain D, et al. Digitalizing cultural heritage through metaverse applications: Challenges, opportunities, and strategies. Heritage Science. 2024;12:295.
Ma Y. The ghostly ethics of mediatized shaping: Cultural memory creative transformation of Anhui’s ICH in reviving the craftsmanship. Journal of Current Social Issues Studies. 2025;2:240-249.
Wanju T, Wang Z, Tu Y. ICH and e-commerce: Bridging tradition and modernity in cultural creative products. Journal of Economics, Management and Trade. 2025;31:1-8.
Sun L, et al. Research on the redesign of China’s intangible cultural heritage based on sustainable livelihood—The case of Luanzhou shadow play empowering rural development. Sustainability. 2024;16:4555.
Pan S, et al. Constructing a sustainable evaluation framework for AIGC technology in Yixing Zisha pottery: Balancing heritage preservation and innovation. Sustainability. 2025;17:910.
Na Z, Sharul Azim SR. Research on innovative development of Miao embroidery intangible cultural heritage in Guizhou, China based on digital design. Journal of Business and Economic Review. 2024;9:85-94.
Guo S, Canessa A. Ethnic elder poverty: Miao household livelihoods and elderly self-sufficiency practices in Midwest China. Culture, Agriculture, Food and Environment. 2023;45:55-68.
Han D, Cong L. Miao traditional patterns: The origins and design transformation. Visual Studies. 2023;38:425-432.
Dong B, et al. Spatial distribution and tourism competition of intangible cultural heritage: Take Guizhou, China as an example. Heritage Science. 2023;11:64-80.
Chen Z, Ren X, Zhang Z. Cultural heritage as rural economic development: Batik production amongst China’s Miao population. Journal of Rural Studies. 2021;81:182-193.
Zhennan LY, Yahaya SR. An aesthetic study on traditional batik design of Miao ethnicity in China. Kupas Seni. 2021;9:12-25.
Fu X, Razmjooy N. Preserving and enhancing cultural heritage through art design using feature pyramid network optimized by modified builder optimization algorithm. Scientific Reports. 2025;15:42603.
Liu X, Wan J, Wang N. Ancient painting inpainting with regional attention-style transfer and global context perception. Applied Sciences. 2024;14:8777.
Xu Q, Iwasaki M. Image restoration model of wood-structured raw lacquer cultural relics based on diffusion generation network. Journal of Asian Architecture and Building Engineering. 2025:1-19.
Cherian A, Sullivan A. Sem-GAN: Semantically-consistent image-to-image translation [conference presentation]. Presented at: IEEE Winter Conference on Applications of Computer Vision (WACV); 2019. doi: 10.1109/WACV.2019.00196.
Rombach R, et al. High-resolution image synthesis with latent diffusion models [conference presentation]. Presented at: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2022. p.10684-10695. Available from: http://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdf.
Gendy GGH, Nabil S. Diffusion models for image super-resolution: State-of-the-art and future directions. Neurocomputing. 2025;617:128911.
Kazerouni A, et al. Diffusion models in medical imaging: A comprehensive survey. Medical Image Analysis. 2023;88:102846.
Yang L, et al. Diffusion models: A comprehensive survey of methods and applications. ACM Computing Surveys. 2023;56:1-39.
Croitoru FA, Hondru V, Ionescu RT, Shah M. Diffusion models in vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023;45:10850-10869.
Cao H, et al. A survey on generative diffusion models. IEEE Transactions on Knowledge and Data Engineering. 2024;36:2814-2830.
Po R, et al. State of the art on diffusion models for visual computing. Computer Graphics Forum. 2024;43:e15063.
Thampanichwat C, et al. Mindful architecture from text-to-image AI perspectives: A case study of DALL-E, Midjourney, and Stable Diffusion. Buildings. 2025;15:972.
Li W. Enhanced automated art curation using supervised modified CNN for art style classification. Scientific Reports. 2025;15:7319.
Chen C. Algorithm and tool development for creative generation of graphic design of folk houses and ancient buildings integrating cultural and creative elements. Scalable Computing: Practice and Experience. 2024;25:4729-4736.
Liu B, Ji J, Gu L, Jiang Z. An integrated CycleGAN-diffusion approach for realistic image generation [conference presentation]. Presented at: International Conference on Signal Processing and Machine Learning; 2024. p.92-101. doi: 10.1117/12.3027121.
Bao Q, Zhao J, Liu Z, Liang N. AI-assisted inheritance of Qinghua porcelain cultural genes and sustainable design using low-rank adaptation and stable diffusion. Electronics. 2025;14:725.
Quan H, et al. Protection of Guizhou Miao batik culture based on knowledge graph and deep learning. Heritage Science. 2024;12:1-22.
Sun H, et al. HRPGAN: A GAN-based model to generate high-resolution remote sensing images. IOP Conference Series: Earth and Environmental Science. 2020;428:012060.
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. Available from: https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Engineering Deep Learning CAFFM Artistic Reconstruction Intangible Cultural Heritage Patterns End to End Framework

Rekonstrukcja sterowana segmentacją semantyczną i synteza stylu artystycznego wzorów niematerialnego dziedzictwa kulturowego z wykorzystaniem frameworku głębokiego uczenia

W tym artykule

Podsumowanie

Streszczenie

Wprowadzenie

Protokół

Wyniki

Dyskusja

Oświadczenia

Podziękowania

Materiały

Bibliografia

Przedruki i uprawnienia

Tagi

Powiązane artykuły