$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Poprawa OCR poprawiła transkrypcję, szczególnie w rękopisach i zapisach tabelarycznych
Poprawa OCR poprawiła jakość transkrypcji we wszystkich ośmiu klasach dokumentów archiwalnych (n = 1600 zapisów). Średni WER spadł z 0,529 ± 0,172 do 0,384 ± 0,123, ze średnią zmienności parowaną -0,144 (95% CI, -0,149 do -0,139; Wilcoxon signed-rank P < 0,001). Średni CER spadł z 0,377 ± 0,126 do 0,258 ± 0,086, ze średnią zmienności parowaną -0,119 (95% CI, -0,123 do -0,116; Wilcoxon signed-rank P < 0,001). Tabela 2 pokazuje, że początkowy WER był najwyższy dla rękopisów, ksiąg rachunkowych i ksiąg rejestrowych, co wskazuje, że najbardziej skomplikowane wizualnie zapisy miały również największe początkowe obciążenie rozpoznawaniem.
Po poprawce WER spadł we wszystkich klasach dokumentów. Największe średnie zredukowane WER dotyczyły rękopisów (n = 262; -0,200; 95% CI, -0,213 do -0,188), ksiąg rachunkowych (n = 263; -0,195; 95% CI, -0,206 do -0,183) i ksiąg rejestrowych (n = 194; -0,173; 95% CI, -0,187 do -0,160). CER podążał za tym samym wzorcem, co potwierdza interpretację, że moduł po poprawce głównie przyczynił się do poprawy trudnych rękopisów, zapisów tabelarycznych i mieszanych układów.
Pamięć nazw własnych poprawiła się również we wszystkich typach dokumentów, jak pokazano w tabeli podsumowującej. Największe wzrosty wystąpiły w rękopisach (0,302-0,440), księgach rachunkowych (0,336-0,471) i księgach rejestrowych (0,369-0,504). Skryptowane korespondencje osiągnęły najwyższą pamięć nazw własnych po poprawce (0,646), ale ich bezwzględna zyska była mniejsza, ponieważ początkowa rozpoznawalność była już silniejsza dla tej klasy. Rysunek 2 podsumowuje relację CER-WER na poziomie zapisu, skojarzenie między intensywnością pisma a korzyścią z poprawy oraz przesunięcie na poziomie zapisu w dostępności po poprawce.
Wizyjna klasyfikacja dokumentów poprawiła się ogólnie, ale zyski wydajności były nierówne w poszczególnych klasach
Wizyjna klasyfikacja dokumentów poprawiła się ogólnie w zestawie testowym 1600 zapisów. Dokładność top-1 wzrosła z 0,717 do 0,796 (zmienność bezwzględna, 0,079; McNemar chi-kwadrat = 27,33; P < 0,001), a średnia pewność predykcji wzrosła z 0,736 ± 0,131 do 0,800 ± 0,108 (średnia zmienność para, 0,064; 95% CI, 0,057-0,071; test t parami P < 0,001). Jak pokazano w Tabeli 3, siedem z ośmiu klas poprawiło się po dostosowaniu specyficznym dla archiwum, a największe zyski odnotowali mapy, plakaty, gazety i księgi rejestrowe.
Skryptowane korespondencje nie poprawiły się materialnie po dostrajeniu (0,796-0,791), co sugeruje, że ich początkowe cechy wizualne były już stabilne i że procedura treningowa dodała niewiele dodatkowego rozdzielania klas dla tej kategorii.
Rysunek 3 podsumowuje wydajność wizualnej klasyfikacji dokumentów przed i po dostrajeniu specyficznym dla archiwum; arkusz danych źródłowych zawiera 20 epok straty i dokładności trenowania/walidacji, wraz z podsumowaniami diagnostycznymi macro-F1, weighted-F1, ROC-AUC i PR-AUC.
Zbogacanie metadanych poprawiło opisową kompletność we wszystkich okresach historycznych (n = 1600 zapisów). Średnia kompletność wzrosła z 0,657 ± 0,125 do 0,907 ± 0,070, ze średnią zmiennością parową 0,250 (95% CI, 0,243-0,257; Wilcoxon signed-rank P < 0,001). Jak pokazano w Tabeli 4, początkowa kompletność była najniższa dla lat 1850-1879 i wzrosła w późniejszych okresach przed wzbogaceniem. Rysunek 4 podsumowuje poprawę kompletności metadanych, nowo zrealizowane pola metadanych według typu dokumentu i zyski dopasowania nagłówków tematycznych w okresach historycznych.
Po wzbogaceniu kompletność wzrosła w każdym okresie historycznym: 1850-1879 (n = 281; średnia zmiana, 0,207; 95% CI, 0,191-0,223), 1880-1909 (n = 474; średnia zmiana, 0,236; 95% CI, 0,223-0,248), 1910-1939 (n = 549; średnia zmiana, 0,277; 95% CI