$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Questo studio ha valutato sistematicamente gli effetti dei modelli linguistici di grandi dimensioni (LLM) e di diverse categorie di contenuti educativi sanitari sulla leggibilità e sulla qualità dei testi generati. In primo luogo, abbiamo confrontato le prestazioni di cinque LLM—Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5—per quanto riguarda l'idoneità all'educazione del paziente, la qualità complessiva delle informazioni e diverse metriche di leggibilità, inclusi il punteggio PEMAT, il GQS e indici di leggibilità consolidati (ARI, FRES, GFOG, FKGL, CL, SMOG e LW). In secondo luogo, abbiamo esaminato le stesse misure di esito in cinque domini tematici di contenuti educativi sanitari: conoscenze di base sulle malattie, eziologia e fattori di rischio, diagnosi, trattamento e prevenzione e riabilitazione. Integrando questi due punti di vista analitici, abbiamo ulteriormente esplorato come il tipo di modello e la categoria di contenuto influenzino congiuntamente la qualità del testo e la leggibilità, identificando così schemi sistematici nei materiali educativi per i pazienti generati dagli LLM.
Analisi della leggibilità tra diversi modelli linguistici di grandi dimensioni
Sette indici di leggibilità consolidati sono stati utilizzati per confrontare sistematicamente la complessità linguistica dei testi relativi alla nevralgia del trigemino generati da cinque modelli linguistici di grandi dimensioni: Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5. I risultati complessivi sono riassunti nella Tabella 4, mentre le distribuzioni dei singoli indicatori di leggibilità sono mostrate nella Figura 1A–G. Sono state osservate differenze statisticamente significative tra i cinque modelli per tutti gli indici di leggibilità, con P < 0,001 per ciascuno.
GPT-5 ha mostrato i valori mediani più elevati per ARI, GFOG, FKGL, CL e SMOG e il valore più basso di FRES, indicando che ha generato testi con strutture frasali più lunghe, un vocabolario più complesso e il carico di lettura complessivo maggiore (Figura 1A–G). Al contrario, Wenxin Yiyan ha dimostrato la complessità linguistica più bassa. I suoi valori mediani di ARI, GFOG, FKGL, CL e SMOG sono stati i più bassi tra i cinque modelli, mentre il suo FRES è stato il più alto.
Doubao, DeepSeek e Tongyi Qianwen hanno mostrato livelli di leggibilità intermedi tra GPT-5 e Wenxin Yiyan. Doubao e DeepSeek hanno evidenziato prestazioni comparabili negli indici di livello scolastico, inclusi ARI, GFOG, FKGL e CL, e hanno entrambi valori significativamente più elevati rispetto a Wenxin Yiyan, con tutti i valori di P < 0,05. Questi risultati indicano un carico di lettura complessivo simile per Doubao e DeepSeek, con una maggiore complessità linguistica rispetto a Wenxin Yiyan.
Tongyi Qianwen ha generalmente prodotto valori intermedi tra quelli di Doubao/DeepSeek e GPT-5 nella maggior parte degli indici di leggibilità. In particolare, il suo punteggio CL si avvicinava a quello di GPT-5, suggerendo una complessità linguistica leggermente superiore rispetto a Doubao e DeepSeek, pur rimanendo inferiore a quella di GPT-5. L'indice LW ha mostrato un andamento differente rispetto agli altri indicatori di leggibilità. Wenxin Yiyan ha ottenuto il punteggio LW più alto (60,00), seguito da Tongyi Qianwen, DeepSeek e Doubao, mentre GPT-5 ha registrato il punteggio LW più basso (46,50). Questa differenza rispecchia le variazioni nei pesi attribuiti da ciascuna formula di leggibilità alla lunghezza delle frasi e alla difficoltà lessicale (Figura 1G).
Nel complesso, sono state osservate differenze sostanziali nella complessità linguistica tra i cinque grandi modelli linguistici. GPT-5 ha generato il testo linguisticamente più complesso, Wenxin Yiyan ha prodotto il contenuto più leggibile, mentre gli altri modelli hanno mostrato livelli intermedi di leggibilità, sebbene fossero evidenti differenze strutturali.
Confronto dell'idoneità all'educazione del paziente e della qualità complessiva tra i modelli linguistici di grandi dimensioni
Sono state osservate differenze significative nell'idoneità dei modelli linguistici per l'educazione dei pazienti, valutata mediante il PEMAT, tra i cinque modelli linguistici (Figura 1H; Tabella 4), con tutti i valori di P < 0,001. GPT-5 ha ottenuto il punteggio PEMAT più alto attribuito dagli esperti (9,40 ± 1,90), indicando una maggiore idoneità educativa all'interno dell'attuale quadro di benchmarking. Tuttavia, questo risultato non deve essere interpretato come prova che i materiali generati da GPT-5 migliorino la comprensione reale del paziente, la soddisfazione, la fiducia, i comportamenti sanitari o gli esiti clinici.
DeepSeek ha ottenuto un punteggio PEMAT intermedio (6,80 ± 1,06), con una distribuzione dei punteggi relativamente compatta, suggerendo una prestazione coerente nella generazione di materiali educativi per i pazienti. Tuttavia, la sua idoneità educativa complessiva è rimasta significativamente inferiore rispetto a quella di GPT-5 (P < 0,001). Doubao, Tongyi Qianwen e Wenxin Yiyan hanno ottenuto punteggi PEMAT più bassi (rispettivamente 5,35 ± 1,04, 5,65 ± 1,09 e 5,35 ± 0,93). Non sono state osservate differenze significative tra questi tre modelli, e tutti hanno ottenuto prestazioni significativamente peggiori rispetto a DeepSeek e GPT-5 (tutti P < 0,01). Questi risultati indicano un'adeguatezza educativa comparabile ma limitata tra questi modelli, in particolare per quanto riguarda la chiarezza delle istruzioni, l'organizzazione linguistica e la facilità di comprensione.
Un modello simile è stato osservato per la qualità complessiva delle informazioni, valutata mediante il GQS (Figura 1I). Sono state identificate differenze statisticamente significative tra i cinque modelli, con tutti i valori di P < 0,001. GPT-5 ha ottenuto il punteggio GQS più alto (4,00 ± 0,65). I suoi punteggi erano concentrati nell'intervallo 4–5, con variabilità limitata, indicando una prestazione costantemente elevata in termini di coerenza del contenuto, completezza strutturale e utilità pratica.
DeepSeek e Doubao hanno seguito, con punteggi GQS rispettivamente di 3,35 ± 0,59 e 3,40 ± 0,50. Le loro distribuzioni di punteggio erano centrate tra 3 e 4, suggerendo una qualità informativa moderata e una ragionevole affidabilità. Al contrario, Tongyi Qianwen e Wenxin Yiyan hanno ottenuto i punteggi GQS più bassi (rispettivamente 2,50 ± 0,51 e 2,20 ± 0,52). Le loro distribuzioni erano asimmetriche verso l'estremità inferiore della scala, indicando limitazioni nell'accuratezza delle informazioni, nel rigore strutturale e nella profondità dei contenuti, che potrebbero ridurre la loro utilità per l'educazione dei pazienti.
Complessivamente, GPT-5 ha ottenuto i punteggi PEMAT e GQS più elevati secondo la valutazione degli esperti in questo dataset, mentre DeepSeek e Doubao hanno mostrato prestazioni intermedie. Tongyi Qianwen e Wenxin Yiyan hanno ricevuto punteggi GQS più bassi. Questi risultati rappresentano valutazioni di riferimento effettuate da esperti e non devono essere interpretati come prova di prontezza clinica o efficacia a livello del singolo paziente.
Confronto della leggibilità, dell'idoneità all'educazione del paziente e della qualità complessiva tra le diverse categorie di contenuti educativi sanitari
L'analisi per categoria di contenuto ha rivelato differenze significative nella leggibilità tra i cinque temi dell'educazione sanitaria (Tabella 5). Per il FRES, sono state osservate differenze statisticamente significative tra le categorie tematiche (P = 0.004). Valori più elevati di FRES indicano una maggiore facilità di lettura. I testi sulle conoscenze di base delle malattie si sono rivelati i più leggibili (mediana = 28,50), seguiti dai contenuti diagnostici (mediana = 16,00), dai contenuti su eziologia e fattori di rischio (mediana = 12,50) e dai contenuti relativi al trattamento (mediana = 11,50). Al contrario, i testi su prevenzione e riabilitazione hanno mostrato la leggibilità più bassa (mediana FRES = 1,00), indicando la maggiore difficoltà di lettura.
Patterni simili sono stati osservati negli altri indici di leggibilità. GFOG e FKGL differivano in modo significativo tra le categorie tematiche (P = 0,002 e P = 0,036, rispettivamente), con entrambi gli indici che indicavano livelli di scolarità più elevati per i contenuti relativi all'eziologia e ai fattori di rischio e alla prevenzione e riabilitazione. L'indice SMOG indicava analogamente che i testi sull'eziologia e sui fattori di rischio contenevano una percentuale maggiore di parole polisillabiche (P = 0,039). Le differenze maggiori sono state osservate per CL (P < 0,001). I testi sulla prevenzione e riabilitazione presentavano frasi più lunghe (mediana = 21,01), aumentando notevolmente la difficoltà di lettura, mentre i testi sulla conoscenza di base della malattia avevano frasi più brevi (mediana = 14,88), corrispondenti al carico di lettura più basso. Non sono state osservate differenze significative tra le categorie di contenuto per ARI o LW.
Non sono state identificate differenze statisticamente significative nella idoneità educativa per i pazienti tra le cinque categorie di contenuti in base ai punteggi PEMAT (P = 0,252). I punteggi medi PEMAT sono variati da 5,90 a 7,20, indicando che, nonostante le evidenti differenze in complessità linguistica, l'idoneità educativa è rimasta relativamente costante tra i diversi temi. Analogamente, la qualità complessiva delle informazioni, valutata mediante il GQS, non ha mostrato differenze significative tra le categorie di contenuti (P = 0,822). I valori medi del GQS sono compresi tra 2,95 e 3,25, indicando che la qualità complessiva delle informazioni è stata relativamente stabile attraverso i diversi temi di contenuto.
Nel complesso, sono state osservate differenze sostanziali in termini di leggibilità tra le diverse tematiche di educazione sanitaria: i contenuti relativi all'eziologia e ai fattori di rischio e quelli relativi alla prevenzione e alla riabilitazione hanno mostrato la maggiore difficoltà di lettura, mentre i contenuti relativi alle conoscenze di base sulla malattia si sono rivelati i più accessibili. Al contrario, l'idoneità dell'educazione per il paziente e la qualità complessiva delle informazioni sono rimaste relativamente costanti tra le diverse categorie di contenuto.
Analisi della correlazione tra leggibilità, adeguatezza educativa per il paziente e qualità complessiva
La matrice di correlazione in Figura 2 mostra associazioni coerenti e robuste tra gli indici di leggibilità, indicando una forte coerenza interna. La maggior parte delle metriche di leggibilità, inclusi ARI, GFOG, FKGL, CL e SMOG, ha mostrato correlazioni positive da moderate a forti tra loro, con coefficienti di correlazione compresi tra 0,64 e 0,97 (tutti P < 0,001). Questi risultati ulteriormente confermano la natura complementare di questi indici nella valutazione della complessità linguistica. Al contrario, FRES ha mostrato correlazioni negative significative con diverse metriche di leggibilità, tra cui ARI, GFOG, FKGL, CL e SMOG, con coefficienti di correlazione assoluti superiori a 0,70 (tutti P < 0,001). Questo andamento riflette la direzione inversa del punteggio di FRES, in cui valori più alti indicano una maggiore leggibilità. L'indice LW ha mostrato anche correlazioni negative significative con altri indici di leggibilità, tra cui ARI, FKGL, GFOG e SMOG, con coefficienti di correlazione assoluti compresi tra 0,75 e 0,90 (tutti P < 0,001). Al contrario, LW era positivamente correlato con FRES (coefficiente di correlazione = 0,69, P < 0,001).
Sono state inoltre osservate chiare associazioni tra gli indici di leggibilità e la qualità complessiva delle informazioni, misurata tramite il GQS. Il GQS ha mostrato correlazioni positive da deboli a moderate con la maggior parte delle metriche di leggibilità, inclusi ARI, GFOG, FKGL, CL e SMOG, con coefficienti di correlazione compresi tra 0,326 e 0,391 (tutti P < 0,001). Questi risultati suggeriscono che una maggiore complessità linguistica era associata a una qualità delle informazioni valutata più alta dagli esperti. Al contrario, il GQS è risultato moderatamente negativamente correlato con FRES (coefficiente di correlazione = −0,408, P < 0,001), indicando che i testi che richiedono un livello di lettura più elevato hanno generalmente ottenuto punteggi GQS più alti. Il GQS ha mostrato inoltre una correlazione negativa moderata con LW (coefficiente di correlazione = −0,421, P < 0,001).
Le associazioni tra leggibilità e idoneità educativa per i pazienti, valutate mediante il PEMAT, sono state generalmente più deboli ma coerenti nella direzione. I punteggi del PEMAT hanno mostrato correlazioni positive deboli con ARI, GFOG, FKGL, CL e SMOG, con coefficienti di correlazione compresi tra 0,305 e 0,434 (tutti P < 0,01). Al contrario, i punteggi del PEMAT erano correlati negativamente e debolmente con FRES e LW, con coefficienti di correlazione assoluti rispettivamente di 0,432 e 0,320 (entrambi P < 0,01). Questi risultati suggeriscono che, all'interno di questo dataset, una maggiore complessità linguistica era associata a un'idoneità educativa leggermente più elevata secondo la valutazione degli esperti, sebbene l'intensità di tali associazioni fosse limitata.
È importante notare che è stata osservata una correlazione positiva moderata tra i punteggi PEMAT e GQS (coefficiente di correlazione = 0,645, P < 0,001). Questa è stata l'associazione più forte osservata tra i domini di valutazione, indicando che le risposte con una maggiore idoneità educativa tendevano anche a ricevere valutazioni più elevate riguardo alla qualità complessiva delle informazioni.
DISPONIBILITÀ DEI DATI:
L'insieme completo dei dati che supportano questo studio è fornito come materiale supplementare. File Supplementare 1 contiene l'elenco completo delle domande standardizzate, dei prompt e delle 100 risposte generate da modelli linguistici di grandi dimensioni (LLM) archiviate. Tabella Supplementare 2 contiene i fogli di valutazione PEMAT e GQS compilati dagli esperti, inclusi i punteggi PEMAT a livello di voce quando disponibili, i punteggi totali PEMAT, i punteggi GQS, le informazioni di confronto tra valutatori e i verbali di risoluzione delle discrepanze quando applicabili. I punteggi di leggibilità, i dati grezzi delle figure e il codice di analisi in R sono forniti come File Supplementare 2. Poiché le uscite dei modelli linguistici di grandi dimensioni possono variare nel tempo a causa di aggiornamenti del modello, modifiche alle interfacce e variazioni a livello della piattaforma, si raccomanda di utilizzare le uscite archiviate piuttosto che risposte rigenerate per la verifica e le analisi secondarie.

Figura 1: Confronto della leggibilità, dell'idoneità all'educazione del paziente e della qualità complessiva delle informazioni tra cinque modelli linguistici di grandi dimensioni. (A–G) Questo pannello presenta gli indici di leggibilità: Automated Readability Index (ARI), Flesch Reading Ease Score (FRES), Gunning Fog Index (GFOG), Flesch-Kincaid Grade Level (FKGL), Coleman-Liau Index (CL), Simple Measure of Gobbledygook (SMOG) e Linsear Write Formula (LW). (H) Questo pannello mostra i punteggi totali del PEMAT e il pannello (I) mostra i Punteggi di Qualità Globale (GQS). In ciascun grafico a scatola (box plot), la linea centrale rappresenta la mediana, la scatola indica l'intervallo interquartile (IQR), i baffi si estendono fino a 1,5 × IQR e i punti al di là dei baffi rappresentano valori anomali. Abbreviazioni: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch Kincaid Grade Level; CL = Coleman Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = the Patient Education Materials Assessment Tool for Understandability and Actionability, printable format; Global Quality Score = GQS. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 2: Matrice di correlazione di Spearman tra gli indici di leggibilità, la pertinenza all'educazione del paziente e la qualità complessiva delle informazioni in tutte le risposte generate dal modello. La matrice riporta i coefficienti di correlazione di Spearman per le associazioni a coppie tra ARI, FRES, GFOG, FKGL, CL, SMOG, LW, PEMAT e GQS. Abbreviazioni: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch-Kincaid Grade Level; CL = Coleman-Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = Patient Education Materials Assessment Tool; GQS = Global Quality Score. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Tabella 1: Elenco di 20 domande relative alla nevralgia del trigemino. Cliccare qui per scaricare il file.
Tabella 2: Strumenti, formule e descrizioni per la valutazione della leggibilità. Cliccare qui per scaricare il file.
Tabella 3: Criteri di qualità del Global Quality Score (GQS). Cliccare qui per scaricare il file.
Tabella 4: Risultati dell'analisi di diversi modelli linguistici di grandi dimensioni per le domande più comuni relative alla nevralgia del trigemino. Cliccare qui per scaricare il file.
Tabella 5: Risultati dell'analisi su diverse dimensioni per le domande più comuni relative alla nevralgia del trigemino. Cliccare qui per scaricare il file.
Tabella supplementare 1: Punteggi di leggibilità delle risposte generate dai cinque modelli linguistici di grandi dimensioni in tutti gli indici di leggibilità valutati. Cliccare qui per scaricare il file.
Tabella supplementare 2: Valutazioni esperte dell'idoneità per l'educazione del paziente (PEMAT) e della qualità complessiva delle informazioni (GQS) per le risposte generate dai cinque modelli linguistici di grandi dimensioni. Cliccare qui per scaricare il file.
File Supplementare 1: Domande standardizzate sulla nevralgia del trigemino e risposte complete generate dai cinque modelli linguistici di grandi dimensioni. Fare clic qui per scaricare il file.
File Supplementare 2: Script R e dati sorgente utilizzati per le analisi statistiche e la generazione delle figure. Clicca qui per scaricare questo file.