Articolo di ricerca

Leggibilità e qualità dell'educazione del paziente tramite modelli linguistici di grandi dimensioni per la nevralgia del trigemino: uno studio trasversale

DOI:

10.3791/70833

21 agosto 2026

In questo articolo

Sommario

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In questo studio, presentiamo un protocollo per valutare sistematicamente la leggibilità, l'adeguatezza didattica e la qualità delle informazioni sui pazienti generate da modelli linguistici di grandi dimensioni riguardo alla nevralgia del trigemino, al fine di stabilire parametri di riferimento per i modelli e orientare la comunicazione rivolta ai pazienti.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

I modelli linguistici di grandi dimensioni (LLM) vengono utilizzati con crescente frequenza per l'educazione sanitaria dei pazienti, tuttavia la leggibilità e la qualità educativa delle informazioni generate dagli LLM sulla nevralgia del trigemino (TN) sono state valutate in modo insufficiente. Questo studio trasversale di benchmarking ha confrontato contenuti educativi sulla TN generati da cinque LLM disponibili pubblicamente (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5). A ciascun modello sono state sottoposte venti domande frequenti sulla TN, che coprivano conoscenze di base sulla malattia, eziologia/fattori di rischio, diagnosi, trattamento e prevenzione/riabilitazione, utilizzando prompt standardizzati. La leggibilità è stata valutata mediante sette indici consolidati, l'idoneità educativa è stata misurata con lo strumento Patient Education Materials Assessment Tool per la comprensibilità e l'azione concreta (PEMAT), e la qualità complessiva delle informazioni è stata valutata con il Global Quality Score (GQS). Due esperti clinici hanno valutato in modo indipendente tutte le risposte, risolvendo le divergenze di opinione tramite un valutatore senior. Analisi statistiche hanno confrontato le prestazioni dei modelli, le differenze tematiche e le correlazioni tra le metriche di valutazione. Sono state osservate differenze significative tra i modelli per quanto riguarda i punteggi di leggibilità, PEMAT e GQS. GPT-5 ha prodotto risposte linguisticamente più complesse, ma ha ottenuto i punteggi più elevati per idoneità educativa e qualità delle informazioni. Al contrario, Wenxin Yiyan ha generato testi più leggibili, ma in generale ha ottenuto punteggi più bassi su PEMAT e GQS. La categoria del contenuto ha influenzato la leggibilità: argomenti relativi a prevenzione/riabilitazione ed eziologia/fattori di rischio si sono rivelati più difficili da leggere, mentre PEMAT e GQS sono rimasti relativamente costanti tra i diversi temi. Gli indici di leggibilità hanno mostrato una forte coerenza interna e correlazioni positive da deboli a moderate con PEMAT e GQS, mentre PEMAT e GQS hanno mostrato una correlazione positiva moderata. Questi risultati indicano che la scelta del modello influenza l'idoneità educativa e la qualità complessiva delle informazioni valutate dagli esperti, mentre la complessità dell'argomento incide principalmente sulla leggibilità. Poiché non sono stati valutati la comprensione del paziente, la soddisfazione, la fiducia, gli esiti sanitari, l'accuratezza fattuale e la sicurezza clinica, questi risultati devono essere interpretati come un'analisi di benchmarking basata sul giudizio di esperti, piuttosto che come prova di prontezza clinica.

Introduzione

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La nevralgia del trigemino (TN) è un disturbo da dolore neuropatico caratterizzato da episodi ricorrenti, unilaterali, brevi e di intensità estremamente elevata, comunemente descritti come scosse elettriche o colpi di pugnale. Secondo la Classificazione Internazionale dei Disturbi Cefalalgici, terza edizione (ICHD-3), il dolore si localizza tipicamente nel territorio di distribuzione di uno o più rami del nervo trigemino, è spesso insopportabile nell'intensità e può essere innescato da stimoli innocui come un lieve tocco, il lavaggio del viso, lo spazzolamento dei denti, il parlare o il masticare. Gli attacchi si manifestano con insorgenza improvvisa e cessazione brusca, con una durata che varia da frazioni di secondo fino a diversi minuti1,2. Sebbene la TN non sia solitamente una condizione a rischio di vita, il dolore intenso e imprevedibile altera in modo significativo le attività quotidiane essenziali, tra cui alimentazione, parlato, sonno e regolazione emotiva, determinando un notevole carico psicosociale e una riduzione della qualità della vita. Evidenze provenienti da revisioni sistematiche indicano che i pazienti con TN presentano un rischio significativamente più elevato di depressione, ansia e disturbi del sonno rispetto alla popolazione generale3,4. In ampi studi di coorte, circa il 35–55% dei pazienti con TN manifestano sintomi clinicamente rilevanti di ansia o depressione, e la catastrofizzazione del dolore è molto diffusa, suggerendo un'interazione bidirezionale tra dolore cronico intenso, insonnia e disturbi affettivi5,6. Stime epidemiologiche indicano che la prevalenza della TN nella popolazione generale varia approssimativamente dallo 0,03% allo 0,3%, con una maggiore incidenza tra le donne e gli adulti di età avanzata e notevoli variazioni tra regioni geografiche, gruppi etnici e fasce d'età7,8. In paesi ad alta densità demografica, come Cina e India, l'invecchiamento rapido della popolazione è stato accompagnato da un aumento costante del numero di persone affette da TN, imponendo un carico crescente sui sistemi sanitari e sottolineando la necessità di approcci più efficaci, scalabili e basati sui dati per la valutazione e la gestione della malattia8,9.

La nevralgia del trigemino può essere classificata in sottotipi classico, secondario e idiopatico, con un numero crescente di evidenze che dimostrano significative differenze nei meccanismi eziologici e nelle strategie terapeutiche tra queste categorie1,10. Studi recenti indicano che cambiamenti strutturali legati al conflitto neurovascolare nella zona di ingresso della radice del nervo trigemino, l'iper eccitabilità del nervo periferico e una modificata modulazione centrale del dolore contribuiscono congiuntamente alla patogenesi della malattia11,12. Le linee guida cliniche raccomandano il carbamazepine e l'ossicarbazepina come trattamenti di prima linea, mentre si ricorre a interventi chirurgici o procedure invasive qualora la terapia farmacologica risulti inefficace o scarsamente tollerata10. Nonostante questi progressi terapeutici, la nevralgia del trigemino è caratterizzata da un decorso recidivante-remittente e le recidive del dolore a lungo termine rimangono comuni, rendendo difficile raggiungere una remissione permanente13. Di conseguenza, un follow-up a lungo termine e una gestione strutturata della malattia cronica sono essenziali per monitorare il rischio di recidiva, la risposta al trattamento e le possibili complicanze. Studi di coorte longitudinali indicano che, con strategie di gestione standardizzate (inclusi trattamento farmacologico, intervento chirurgico quando indicato e un follow-up completo), circa la metà dei pazienti sottoposti a trattamento conservativo può ottenere una riduzione ≥50% del carico complessivo del dolore entro due anni, senza un inevitabile aggravamento della malattia14. Questi risultati sottolineano l'importanza di un coinvolgimento continuativo del paziente e di un'efficace educazione sanitaria per la gestione a lungo termine della malattia. Evidenze indicano che i pazienti con una migliore comprensione dell'etiologia, della fisiopatologia e delle opzioni terapeutiche sono più propensi a partecipare attivamente e ad aderire ai regimi terapeutici, ottenendo così risultati migliori15. Tuttavia, gli approcci tradizionali all'educazione sanitaria sono spesso limitati per portata e scalabilità. Con l'ampia diffusione di internet, in particolare delle piattaforme online di domande e risposte e dei social media, i pazienti si affidano sempre più a fonti digitali per ottenere informazioni mediche16,17. Tuttavia, la notevole variabilità nella letteratura sanitaria individuale e nella capacità di accedere, elaborare e comprendere informazioni sanitarie di base per decisioni informate rappresenta un ostacolo significativo a un'efficace educazione del paziente18. Inoltre, la qualità disomogenea delle informazioni sanitarie online, inclusi contenuti inaccurati o fuorvianti, può influenzare negativamente le decisioni mediche e il benessere psicologico dei pazienti19.

Le tecnologie dell'intelligenza artificiale (AI), in particolare lo sviluppo rapido dei modelli linguistici di grandi dimensioni (LLMs) negli ultimi anni, hanno creato nuove opportunità per la comunicazione scientifica in ambito medico e per l'educazione sanitaria20. Allenati su ampi corpora testuali, questi modelli possono generare risposte strutturate e logicamente coerenti attraverso l'interazione in linguaggio naturale21. Sistemi internazionali rappresentativi, come ChatGPT, hanno dimostrato un potenziale promettente per la risposta a domande mediche, la consulenza ai pazienti e l'educazione medica22,23. Diversi LLM funzionalmente simili sono emersi in Cina, con una copertura utenti e scenari applicativi in continua espansione24. Nonostante questi progressi, l'applicazione dei LLM nella divulgazione scientifica medica continua a presentare sfide significative, tra cui l'affidabilità dei dati di addestramento, la frequenza di aggiornamento, l'accuratezza scientifica delle risposte generate e la mancanza di validazione clinica25. Inoltre, differenze tra i modelli in termini di stile linguistico, leggibilità, struttura logica e accuratezza delle citazioni possono influenzare direttamente la comprensione e la fiducia dei pazienti nelle informazioni sanitarie26. Ad oggi, le valutazioni sistematiche delle prestazioni dei LLM nell'educazione sanitaria relativa alla TN sono state limitate.

Pertanto, questo studio si è proposto di valutare e confrontare sistematicamente le prestazioni di quattro modelli linguistici di grandi dimensioni (LLM) cinesi ampiamente utilizzati (Doubao, DeepSeek, Wenxin Yiyan e Tongyi Qianwen) e di un LLM internazionale rappresentativo (ChatGPT) nel rispondere a domande sui pazienti relative alla nevralgia del trigemino (TN). Utilizzando un disegno trasversale, abbiamo costruito un insieme di domande sulla TN basato su linee guida cliniche e sulle preoccupazioni comuni dei pazienti, valutando le risposte generate da cinque LLM disponibili pubblicamente (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5). La leggibilità è stata valutata mediante l'uso di diverse metriche, mentre la comprensibilità e l'attuabilità sono state analizzate tramite lo strumento di valutazione dei materiali educativi per i pazienti (Patient Education Materials Assessment Tool, PEMAT). La qualità complessiva delle informazioni è stata valutata utilizzando il punteggio globale di qualità (Global Quality Score, GQS). Inoltre, abbiamo analizzato in che modo diversi argomenti di educazione sanitaria influenzino tali metriche di valutazione e le loro interrelazioni, con l'obiettivo di fornire indicazioni basate su evidenze per la selezione e l'ottimizzazione degli LLM nella comunicazione sanitaria clinica.

Protocollo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo studio ha analizzato esclusivamente testi generati dall'intelligenza artificiale e non ha coinvolto partecipanti umani, animali, campioni biologici, cartelle cliniche, informazioni personali identificabili né interventi nell'assistenza clinica. Pertanto, la revisione etica e il consenso informato formale non erano applicabili.

Progettazione dello studio

Questo studio trasversale ha valutato la leggibilità, la qualità e l'idoneità educativa delle risposte generate da cinque modelli linguistici di grandi dimensioni (LLM) in risposta a domande frequenti riguardanti la nevralgia del trigemino (TN).

Identificazione delle domande più comuni relative al TN

Il 25 novembre 2025, due esperti clinici con ampia esperienza in medicina del dolore hanno esaminato in modo indipendente le attuali linee guida cliniche per la nevralgia del trigemino (TN), inclusa la Classificazione Internazionale dei Disturbi Cefalalgici, terza edizione (ICHD-3), la linea guida dell'Accademia Europea di Neurologia e la linea guida dell'Accademia Americana di Neurologia/Federazione Europea delle Società di Neurologia1,10,11. Dopo una discussione di consenso, hanno compilato un elenco di 20 domande relative alla TN comunemente riscontrate nella pratica clinica. Il numero di domande è stato stabilito a priori per garantire una copertura equilibrata dei cinque domini tematici predeterminati, con quattro domande selezionate per ciascun dominio, mantenendo nel contempo il numero totale di risposte generate dal modello entro un intervallo gestibile per la valutazione e verifica manuale da parte di esperti. Per migliorare la riproducibilità, il processo di selezione ha seguito un quadro predeterminato basato sui domini: gli esperti hanno innanzitutto identificato le domande candidate all'interno di ciascun dominio, le hanno esaminate autonomamente per rilevanza clinica, formulazione orientata al paziente e assenza di ridondanze, quindi hanno raggiunto un accordo sulle quattro domande finali per ogni dominio. L'elenco finale delle domande è riportato nella Tabella 1 e nel File Supplementare 1. I cinque domini tematici predeterminati erano conoscenze di base sulla malattia, eziologia e fattori di rischio, diagnosi, trattamento, prevenzione e riabilitazione. Poiché l'insieme delle domande non è stato ricavato da log di ricerca dei pazienti, query online o interviste formali ai pazienti, si riconosce la possibilità di un bias di selezione come limitazione dello studio.

Modelli di intelligenza artificiale e procedura di raccolta dati

Il 25 novembre 2025, l'insieme definitivo di 20 domande relative al TN è stato inviato a cinque piattaforme pubblicamente accessibili di modelli linguistici di grandi dimensioni (LLM): Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5/ChatGPT. A tutti i modelli si è acceduto tramite le loro normali interfacce web pubbliche basate su chat; non è stato utilizzato l'accesso tramite application programming interface (API). Per ciascuna piattaforma, è stato impiegato il modello pubblicamente disponibile per impostazione predefinita alla data della raccolta dei dati, senza alcuna modifica dei parametri di generazione. Poiché le interfacce web pubbliche non mostravano identificatori del modello backend, prompt di sistema nascosti, temperatura, top-p, numero massimo di token in uscita o altri parametri di generazione, queste informazioni sono state registrate come "non visualizzate nell'interfaccia web pubblica".

Le lingue del prompt e della risposta erano l'inglese per tutti i modelli. Ogni prompt standardizzato consisteva esclusivamente della domanda in inglese riportata alla lettera, senza ulteriori istruzioni specifiche per il modello. Ogni domanda è stata inviata singolarmente in una nuova sessione di chat indipendente, senza alcuna cronologia di conversazioni precedenti, file caricati, plug-in, istruzioni personalizzate o prompt di follow-up. L'elenco completo dei prompt standardizzati e le corrispondenti risposte grezze dei modelli sono riportati nel File Supplementare 1. I metadati dei modelli e le impostazioni di raccolta dati sono riassunti nella Tabella Supplementare 1.

Valutazione della leggibilità

La leggibilità delle risposte generate da LLM è stata valutata utilizzando diverse formule di leggibilità consolidate disponibili tramite una piattaforma online per la valutazione della leggibilità (http://readabilityformulas.com/). In assenza di uno standard universale accettato per la valutazione della leggibilità e in linea con studi precedenti, è stato impiegato un insieme completo di indici di leggibilità ampiamente utilizzati23,27. Sono stati selezionati sette indici per cogliere aspetti complementari della leggibilità, inclusi la lunghezza delle frasi, la lunghezza delle parole, il carico sillabico, la complessità basata sui caratteri, la facilità di lettura e il livello scolastico stimato, riducendo così la dipendenza da una singola formula. In particolare, sono stati calcolati l'Indice di Coleman-Liau (CL), la Formula Linsear Write (LW), l'Indice di Leggibilità Automatica (ARI), la Misura Semplice di Gobbledygook (SMOG), l'Indice Gunning Fog (GFOG), il Punteggio di Facilità di Lettura di Flesch (FRES) e il Livello Scolastico Flesch-Kincaid (FKGL). Questi indici stimano la difficoltà di lettura o il livello scolastico e forniscono misure quantitative della leggibilità del testo (Tabella 2).

Valutazione dell'idoneità educativa e della qualità delle informazioni

L'idoneità educativa è stata valutata utilizzando lo strumento di valutazione dei materiali informativi per i pazienti (Patient Education Materials Assessment Tool, PEMAT), che comprende due domini: comprensibilità e attuabilità28. Lo strumento comprende 24 elementi, di cui 16 valutano la comprensibilità e otto l'attuabilità. Ogni elemento è stato valutato in modo dicotomico (0 = criterio non soddisfatto; 1 = criterio soddisfatto), producendo un punteggio totale compreso tra 0 e 24, dove punteggi più alti indicano una maggiore idoneità per l'educazione del paziente. La qualità complessiva delle informazioni è stata valutata mediante il punteggio di qualità globale (Global Quality Score, GQS)27, una scala di tipo Likert a cinque punti ampiamente utilizzata per la valutazione della qualità delle informazioni mediche (Tabella 3).

Il 25 novembre 2025, due esperti clinici con oltre 3 anni di esperienza nella gestione della nevralgia del trigemino hanno valutato tutte le risposte generate dall'intelligenza artificiale utilizzando entrambi gli strumenti di valutazione. Prima della valutazione, tutte le risposte generate dall'IA sono state anonimizzate mediante identificatori codificati, e i revisori sono stati mantenuti all'oscuro della piattaforma di linguaggio di grandi dimensioni durante le valutazioni PEMAT e GQS. Le divergenze sono state risolte da un terzo esperto senior, che ha stabilito i punteggi finali. L'affidabilità tra valutatori è stata misurata mediante il coefficiente kappa di Cohen, con valori >0,75 che indicano un accordo eccellente, da 0,40 a 0,75 un accordo accettabile e <0,40 un accordo scarso. I valori kappa di Cohen per PEMAT e GQS hanno superato entrambi 0,75, dimostrando un'elevata affidabilità tra valutatori.

Analisi statistica

Tutte le analisi statistiche sono state eseguite utilizzando il software R (versione 4.4.3). La normalità dei dati è stata valutata mediante il test di Shapiro-Wilk e i grafici Q-Q. Le variabili distribuite normalmente sono state riassunte come media ± deviazione standard e confrontate utilizzando l'analisi della varianza a un fattore (ANOVA), seguita dal test post hoc di Tukey quando appropriato. Le variabili non distribuite normalmente sono state riassunte come mediane e intervalli interquartili e confrontate utilizzando il test di Kruskal-Wallis, seguito dal test post hoc di Dunn con correzione di Bonferroni per i confronti a coppie. Le correlazioni tra gli indici di leggibilità, i punteggi PEMAT e i valori GQS sono state valutate utilizzando il coefficiente di correlazione per ranghi di Spearman, applicando la correzione di Benjamini-Hochberg per i test multipli. Un valore di P aggiustato bidirezionale < 0,05 è stato considerato statisticamente significativo.

Risultati

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo studio ha valutato sistematicamente gli effetti dei modelli linguistici di grandi dimensioni (LLM) e di diverse categorie di contenuti educativi sanitari sulla leggibilità e sulla qualità dei testi generati. In primo luogo, abbiamo confrontato le prestazioni di cinque LLM—Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5—per quanto riguarda l'idoneità all'educazione del paziente, la qualità complessiva delle informazioni e diverse metriche di leggibilità, inclusi il punteggio PEMAT, il GQS e indici di leggibilità consolidati (ARI, FRES, GFOG, FKGL, CL, SMOG e LW). In secondo luogo, abbiamo esaminato le stesse misure di esito in cinque domini tematici di contenuti educativi sanitari: conoscenze di base sulle malattie, eziologia e fattori di rischio, diagnosi, trattamento e prevenzione e riabilitazione. Integrando questi due punti di vista analitici, abbiamo ulteriormente esplorato come il tipo di modello e la categoria di contenuto influenzino congiuntamente la qualità del testo e la leggibilità, identificando così schemi sistematici nei materiali educativi per i pazienti generati dagli LLM.

Analisi della leggibilità tra diversi modelli linguistici di grandi dimensioni

Sette indici di leggibilità consolidati sono stati utilizzati per confrontare sistematicamente la complessità linguistica dei testi relativi alla nevralgia del trigemino generati da cinque modelli linguistici di grandi dimensioni: Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5. I risultati complessivi sono riassunti nella Tabella 4, mentre le distribuzioni dei singoli indicatori di leggibilità sono mostrate nella Figura 1A–G. Sono state osservate differenze statisticamente significative tra i cinque modelli per tutti gli indici di leggibilità, con P < 0,001 per ciascuno.

GPT-5 ha mostrato i valori mediani più elevati per ARI, GFOG, FKGL, CL e SMOG e il valore più basso di FRES, indicando che ha generato testi con strutture frasali più lunghe, un vocabolario più complesso e il carico di lettura complessivo maggiore (Figura 1A–G). Al contrario, Wenxin Yiyan ha dimostrato la complessità linguistica più bassa. I suoi valori mediani di ARI, GFOG, FKGL, CL e SMOG sono stati i più bassi tra i cinque modelli, mentre il suo FRES è stato il più alto.

Doubao, DeepSeek e Tongyi Qianwen hanno mostrato livelli di leggibilità intermedi tra GPT-5 e Wenxin Yiyan. Doubao e DeepSeek hanno evidenziato prestazioni comparabili negli indici di livello scolastico, inclusi ARI, GFOG, FKGL e CL, e hanno entrambi valori significativamente più elevati rispetto a Wenxin Yiyan, con tutti i valori di P < 0,05. Questi risultati indicano un carico di lettura complessivo simile per Doubao e DeepSeek, con una maggiore complessità linguistica rispetto a Wenxin Yiyan.

Tongyi Qianwen ha generalmente prodotto valori intermedi tra quelli di Doubao/DeepSeek e GPT-5 nella maggior parte degli indici di leggibilità. In particolare, il suo punteggio CL si avvicinava a quello di GPT-5, suggerendo una complessità linguistica leggermente superiore rispetto a Doubao e DeepSeek, pur rimanendo inferiore a quella di GPT-5. L'indice LW ha mostrato un andamento differente rispetto agli altri indicatori di leggibilità. Wenxin Yiyan ha ottenuto il punteggio LW più alto (60,00), seguito da Tongyi Qianwen, DeepSeek e Doubao, mentre GPT-5 ha registrato il punteggio LW più basso (46,50). Questa differenza rispecchia le variazioni nei pesi attribuiti da ciascuna formula di leggibilità alla lunghezza delle frasi e alla difficoltà lessicale (Figura 1G).

Nel complesso, sono state osservate differenze sostanziali nella complessità linguistica tra i cinque grandi modelli linguistici. GPT-5 ha generato il testo linguisticamente più complesso, Wenxin Yiyan ha prodotto il contenuto più leggibile, mentre gli altri modelli hanno mostrato livelli intermedi di leggibilità, sebbene fossero evidenti differenze strutturali.

Confronto dell'idoneità all'educazione del paziente e della qualità complessiva tra i modelli linguistici di grandi dimensioni

Sono state osservate differenze significative nell'idoneità dei modelli linguistici per l'educazione dei pazienti, valutata mediante il PEMAT, tra i cinque modelli linguistici (Figura 1H; Tabella 4), con tutti i valori di P < 0,001. GPT-5 ha ottenuto il punteggio PEMAT più alto attribuito dagli esperti (9,40 ± 1,90), indicando una maggiore idoneità educativa all'interno dell'attuale quadro di benchmarking. Tuttavia, questo risultato non deve essere interpretato come prova che i materiali generati da GPT-5 migliorino la comprensione reale del paziente, la soddisfazione, la fiducia, i comportamenti sanitari o gli esiti clinici.

DeepSeek ha ottenuto un punteggio PEMAT intermedio (6,80 ± 1,06), con una distribuzione dei punteggi relativamente compatta, suggerendo una prestazione coerente nella generazione di materiali educativi per i pazienti. Tuttavia, la sua idoneità educativa complessiva è rimasta significativamente inferiore rispetto a quella di GPT-5 (P < 0,001). Doubao, Tongyi Qianwen e Wenxin Yiyan hanno ottenuto punteggi PEMAT più bassi (rispettivamente 5,35 ± 1,04, 5,65 ± 1,09 e 5,35 ± 0,93). Non sono state osservate differenze significative tra questi tre modelli, e tutti hanno ottenuto prestazioni significativamente peggiori rispetto a DeepSeek e GPT-5 (tutti P < 0,01). Questi risultati indicano un'adeguatezza educativa comparabile ma limitata tra questi modelli, in particolare per quanto riguarda la chiarezza delle istruzioni, l'organizzazione linguistica e la facilità di comprensione.

Un modello simile è stato osservato per la qualità complessiva delle informazioni, valutata mediante il GQS (Figura 1I). Sono state identificate differenze statisticamente significative tra i cinque modelli, con tutti i valori di P < 0,001. GPT-5 ha ottenuto il punteggio GQS più alto (4,00 ± 0,65). I suoi punteggi erano concentrati nell'intervallo 4–5, con variabilità limitata, indicando una prestazione costantemente elevata in termini di coerenza del contenuto, completezza strutturale e utilità pratica.

DeepSeek e Doubao hanno seguito, con punteggi GQS rispettivamente di 3,35 ± 0,59 e 3,40 ± 0,50. Le loro distribuzioni di punteggio erano centrate tra 3 e 4, suggerendo una qualità informativa moderata e una ragionevole affidabilità. Al contrario, Tongyi Qianwen e Wenxin Yiyan hanno ottenuto i punteggi GQS più bassi (rispettivamente 2,50 ± 0,51 e 2,20 ± 0,52). Le loro distribuzioni erano asimmetriche verso l'estremità inferiore della scala, indicando limitazioni nell'accuratezza delle informazioni, nel rigore strutturale e nella profondità dei contenuti, che potrebbero ridurre la loro utilità per l'educazione dei pazienti.

Complessivamente, GPT-5 ha ottenuto i punteggi PEMAT e GQS più elevati secondo la valutazione degli esperti in questo dataset, mentre DeepSeek e Doubao hanno mostrato prestazioni intermedie. Tongyi Qianwen e Wenxin Yiyan hanno ricevuto punteggi GQS più bassi. Questi risultati rappresentano valutazioni di riferimento effettuate da esperti e non devono essere interpretati come prova di prontezza clinica o efficacia a livello del singolo paziente.

Confronto della leggibilità, dell'idoneità all'educazione del paziente e della qualità complessiva tra le diverse categorie di contenuti educativi sanitari

L'analisi per categoria di contenuto ha rivelato differenze significative nella leggibilità tra i cinque temi dell'educazione sanitaria (Tabella 5). Per il FRES, sono state osservate differenze statisticamente significative tra le categorie tematiche (P = 0.004). Valori più elevati di FRES indicano una maggiore facilità di lettura. I testi sulle conoscenze di base delle malattie si sono rivelati i più leggibili (mediana = 28,50), seguiti dai contenuti diagnostici (mediana = 16,00), dai contenuti su eziologia e fattori di rischio (mediana = 12,50) e dai contenuti relativi al trattamento (mediana = 11,50). Al contrario, i testi su prevenzione e riabilitazione hanno mostrato la leggibilità più bassa (mediana FRES = 1,00), indicando la maggiore difficoltà di lettura.

Patterni simili sono stati osservati negli altri indici di leggibilità. GFOG e FKGL differivano in modo significativo tra le categorie tematiche (P = 0,002 e P = 0,036, rispettivamente), con entrambi gli indici che indicavano livelli di scolarità più elevati per i contenuti relativi all'eziologia e ai fattori di rischio e alla prevenzione e riabilitazione. L'indice SMOG indicava analogamente che i testi sull'eziologia e sui fattori di rischio contenevano una percentuale maggiore di parole polisillabiche (P = 0,039). Le differenze maggiori sono state osservate per CL (P < 0,001). I testi sulla prevenzione e riabilitazione presentavano frasi più lunghe (mediana = 21,01), aumentando notevolmente la difficoltà di lettura, mentre i testi sulla conoscenza di base della malattia avevano frasi più brevi (mediana = 14,88), corrispondenti al carico di lettura più basso. Non sono state osservate differenze significative tra le categorie di contenuto per ARI o LW.

Non sono state identificate differenze statisticamente significative nella idoneità educativa per i pazienti tra le cinque categorie di contenuti in base ai punteggi PEMAT (P = 0,252). I punteggi medi PEMAT sono variati da 5,90 a 7,20, indicando che, nonostante le evidenti differenze in complessità linguistica, l'idoneità educativa è rimasta relativamente costante tra i diversi temi. Analogamente, la qualità complessiva delle informazioni, valutata mediante il GQS, non ha mostrato differenze significative tra le categorie di contenuti (P = 0,822). I valori medi del GQS sono compresi tra 2,95 e 3,25, indicando che la qualità complessiva delle informazioni è stata relativamente stabile attraverso i diversi temi di contenuto.

Nel complesso, sono state osservate differenze sostanziali in termini di leggibilità tra le diverse tematiche di educazione sanitaria: i contenuti relativi all'eziologia e ai fattori di rischio e quelli relativi alla prevenzione e alla riabilitazione hanno mostrato la maggiore difficoltà di lettura, mentre i contenuti relativi alle conoscenze di base sulla malattia si sono rivelati i più accessibili. Al contrario, l'idoneità dell'educazione per il paziente e la qualità complessiva delle informazioni sono rimaste relativamente costanti tra le diverse categorie di contenuto.

Analisi della correlazione tra leggibilità, adeguatezza educativa per il paziente e qualità complessiva

La matrice di correlazione in Figura 2 mostra associazioni coerenti e robuste tra gli indici di leggibilità, indicando una forte coerenza interna. La maggior parte delle metriche di leggibilità, inclusi ARI, GFOG, FKGL, CL e SMOG, ha mostrato correlazioni positive da moderate a forti tra loro, con coefficienti di correlazione compresi tra 0,64 e 0,97 (tutti P < 0,001). Questi risultati ulteriormente confermano la natura complementare di questi indici nella valutazione della complessità linguistica. Al contrario, FRES ha mostrato correlazioni negative significative con diverse metriche di leggibilità, tra cui ARI, GFOG, FKGL, CL e SMOG, con coefficienti di correlazione assoluti superiori a 0,70 (tutti P < 0,001). Questo andamento riflette la direzione inversa del punteggio di FRES, in cui valori più alti indicano una maggiore leggibilità. L'indice LW ha mostrato anche correlazioni negative significative con altri indici di leggibilità, tra cui ARI, FKGL, GFOG e SMOG, con coefficienti di correlazione assoluti compresi tra 0,75 e 0,90 (tutti P < 0,001). Al contrario, LW era positivamente correlato con FRES (coefficiente di correlazione = 0,69, P < 0,001).

Sono state inoltre osservate chiare associazioni tra gli indici di leggibilità e la qualità complessiva delle informazioni, misurata tramite il GQS. Il GQS ha mostrato correlazioni positive da deboli a moderate con la maggior parte delle metriche di leggibilità, inclusi ARI, GFOG, FKGL, CL e SMOG, con coefficienti di correlazione compresi tra 0,326 e 0,391 (tutti P < 0,001). Questi risultati suggeriscono che una maggiore complessità linguistica era associata a una qualità delle informazioni valutata più alta dagli esperti. Al contrario, il GQS è risultato moderatamente negativamente correlato con FRES (coefficiente di correlazione = −0,408, P < 0,001), indicando che i testi che richiedono un livello di lettura più elevato hanno generalmente ottenuto punteggi GQS più alti. Il GQS ha mostrato inoltre una correlazione negativa moderata con LW (coefficiente di correlazione = −0,421, P < 0,001).

Le associazioni tra leggibilità e idoneità educativa per i pazienti, valutate mediante il PEMAT, sono state generalmente più deboli ma coerenti nella direzione. I punteggi del PEMAT hanno mostrato correlazioni positive deboli con ARI, GFOG, FKGL, CL e SMOG, con coefficienti di correlazione compresi tra 0,305 e 0,434 (tutti P < 0,01). Al contrario, i punteggi del PEMAT erano correlati negativamente e debolmente con FRES e LW, con coefficienti di correlazione assoluti rispettivamente di 0,432 e 0,320 (entrambi P < 0,01). Questi risultati suggeriscono che, all'interno di questo dataset, una maggiore complessità linguistica era associata a un'idoneità educativa leggermente più elevata secondo la valutazione degli esperti, sebbene l'intensità di tali associazioni fosse limitata.

È importante notare che è stata osservata una correlazione positiva moderata tra i punteggi PEMAT e GQS (coefficiente di correlazione = 0,645, P < 0,001). Questa è stata l'associazione più forte osservata tra i domini di valutazione, indicando che le risposte con una maggiore idoneità educativa tendevano anche a ricevere valutazioni più elevate riguardo alla qualità complessiva delle informazioni.

DISPONIBILITÀ DEI DATI:

L'insieme completo dei dati che supportano questo studio è fornito come materiale supplementare. File Supplementare 1 contiene l'elenco completo delle domande standardizzate, dei prompt e delle 100 risposte generate da modelli linguistici di grandi dimensioni (LLM) archiviate. Tabella Supplementare 2 contiene i fogli di valutazione PEMAT e GQS compilati dagli esperti, inclusi i punteggi PEMAT a livello di voce quando disponibili, i punteggi totali PEMAT, i punteggi GQS, le informazioni di confronto tra valutatori e i verbali di risoluzione delle discrepanze quando applicabili. I punteggi di leggibilità, i dati grezzi delle figure e il codice di analisi in R sono forniti come File Supplementare 2. Poiché le uscite dei modelli linguistici di grandi dimensioni possono variare nel tempo a causa di aggiornamenti del modello, modifiche alle interfacce e variazioni a livello della piattaforma, si raccomanda di utilizzare le uscite archiviate piuttosto che risposte rigenerate per la verifica e le analisi secondarie.

figure-results-1
Figura 1: Confronto della leggibilità, dell'idoneità all'educazione del paziente e della qualità complessiva delle informazioni tra cinque modelli linguistici di grandi dimensioni. (A–G) Questo pannello presenta gli indici di leggibilità: Automated Readability Index (ARI), Flesch Reading Ease Score (FRES), Gunning Fog Index (GFOG), Flesch-Kincaid Grade Level (FKGL), Coleman-Liau Index (CL), Simple Measure of Gobbledygook (SMOG) e Linsear Write Formula (LW). (H) Questo pannello mostra i punteggi totali del PEMAT e il pannello (I) mostra i Punteggi di Qualità Globale (GQS). In ciascun grafico a scatola (box plot), la linea centrale rappresenta la mediana, la scatola indica l'intervallo interquartile (IQR), i baffi si estendono fino a 1,5 × IQR e i punti al di là dei baffi rappresentano valori anomali. Abbreviazioni: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch Kincaid Grade Level; CL = Coleman Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = the Patient Education Materials Assessment Tool for Understandability and Actionability, printable format; Global Quality Score = GQS. Cliccare qui per visualizzare una versione ingrandita di questa figura.

figure-results-2
Figura 2: Matrice di correlazione di Spearman tra gli indici di leggibilità, la pertinenza all'educazione del paziente e la qualità complessiva delle informazioni in tutte le risposte generate dal modello. La matrice riporta i coefficienti di correlazione di Spearman per le associazioni a coppie tra ARI, FRES, GFOG, FKGL, CL, SMOG, LW, PEMAT e GQS. Abbreviazioni: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch-Kincaid Grade Level; CL = Coleman-Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = Patient Education Materials Assessment Tool; GQS = Global Quality Score. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Tabella 1: Elenco di 20 domande relative alla nevralgia del trigemino. Cliccare qui per scaricare il file.

Tabella 2: Strumenti, formule e descrizioni per la valutazione della leggibilità. Cliccare qui per scaricare il file.

Tabella 3: Criteri di qualità del Global Quality Score (GQS). Cliccare qui per scaricare il file.

Tabella 4: Risultati dell'analisi di diversi modelli linguistici di grandi dimensioni per le domande più comuni relative alla nevralgia del trigemino. Cliccare qui per scaricare il file.

Tabella 5: Risultati dell'analisi su diverse dimensioni per le domande più comuni relative alla nevralgia del trigemino. Cliccare qui per scaricare il file.

Tabella supplementare 1: Punteggi di leggibilità delle risposte generate dai cinque modelli linguistici di grandi dimensioni in tutti gli indici di leggibilità valutati. Cliccare qui per scaricare il file.

Tabella supplementare 2: Valutazioni esperte dell'idoneità per l'educazione del paziente (PEMAT) e della qualità complessiva delle informazioni (GQS) per le risposte generate dai cinque modelli linguistici di grandi dimensioni. Cliccare qui per scaricare il file.

File Supplementare 1: Domande standardizzate sulla nevralgia del trigemino e risposte complete generate dai cinque modelli linguistici di grandi dimensioni. Fare clic qui per scaricare il file.

File Supplementare 2: Script R e dati sorgente utilizzati per le analisi statistiche e la generazione delle figure. Clicca qui per scaricare questo file.

Discussione

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo studio trasversale di riferimento ha confrontato in modo sistematico la leggibilità, l'idoneità educativa e la qualità complessiva delle informazioni nei materiali educativi per pazienti con nevralgia del trigemino (TN) generati da cinque modelli linguistici di grandi dimensioni (LLM) disponibili pubblicamente. Sono emerse quattro scoperte principali. In primo luogo, la leggibilità ha mostrato ampie differenze tra i modelli, con GPT-5 che ha prodotto risposte linguisticamente più complesse e Wenxin Yiyan che ha generato contenuti più facilmente leggibili. In secondo luogo, leggibilità e qualità dell'informazione valutata dagli esperti si sono rivelate dimensioni distinte di valutazione: GPT-5 ha ottenuto i punteggi più alti negli indici PEMAT e GQS, nonostante la sua minore leggibilità. In terzo luogo, il tema del contenuto ha influenzato la leggibilità: argomenti come prevenzione, riabilitazione ed eziologia e fattori di rischio hanno generalmente richiesto un livello di lettura più elevato, mentre i punteggi PEMAT e GQS sono rimasti relativamente stabili tra le diverse categorie tematiche. Infine, gli indici di leggibilità hanno mostrato una forte coerenza interna e le analisi di correlazione hanno evidenziato associazioni positive da deboli a moderate tra complessità linguistica, da un lato, e PEMAT e GQS, dall'altro, nonché una correlazione positiva moderata tra PEMAT e GQS. Nel complesso, questi risultati forniscono un punto di riferimento per la valutazione dei materiali educativi per pazienti con nevralgia del trigemino generati da LLM, sottolineando al contempo la necessità di bilanciare completezza medica e accessibilità linguistica. È importante notare che questi risultati rappresentano esiti di benchmarking valutati da esperti e non devono essere interpretati come prova della comprensione da parte dei pazienti, né di accuratezza fattuale, sicurezza clinica o prontezza per un uso clinico routinario.

I risultati di questo studio sono coerenti con precedenti valutazioni delle informazioni mediche generate dall'intelligenza artificiale, che hanno riportato una variabilità sostanziale tra i modelli linguistici di grandi dimensioni (LLM) e una frequente discrepanza tra leggibilità e qualità delle informazioni26,27,29. Studi precedenti in diversi ambiti di patologie hanno dimostrato che i materiali educativi per i pazienti generati dagli LLM superano spesso i livelli di lettura raccomandati e che i modelli che producono testi più leggibili non forniscono necessariamente informazioni più complete o di qualità superiore26,30. I risultati nell'educazione alla TN confermano questa osservazione. GPT-5 ha generato le risposte più linguisticamente complesse, ottenendo tuttavia i punteggi più alti per PEMAT e GQS, mentre Wenxin Yiyan ha prodotto testi più leggibili ma con un'idoneità educativa e una qualità complessiva valutate dagli esperti più basse. Inoltre, la leggibilità variava tra i diversi domini tematici, con argomenti relativi alla prevenzione e alla riabilitazione e all'eziologia e ai fattori di rischio che generalmente presentavano una maggiore complessità linguistica, suggerendo che sia le caratteristiche del modello sia la complessità dell'argomento influenzino la difficoltà di lettura31.

L'evidente compromesso tra leggibilità e qualità dell'informazione è coerente con le diverse costruzioni misurate dagli strumenti di valutazione. Le formule di leggibilità valutano principalmente caratteristiche linguistiche di superficie, come la lunghezza delle frasi e la complessità lessicale, mentre il PEMAT e il GQS esaminano attributi di ordine superiore, tra cui l'organizzazione delle informazioni, la completezza, la chiarezza delle spiegazioni e l'efficacia operativa32. Per l'educazione sui nervi trigemini (TN), risposte di alta qualità includono spesso discussioni sui sintomi di allarme, la diagnosi differenziale, la gestione farmacologica e gli effetti avversi, le opzioni interventistiche e chirurgiche, e le strategie di riabilitazione personalizzate33. Contenuti clinicamente completi come questi aumentano inevitabilmente la densità terminologica e la complessità sintattica, determinando punteggi di leggibilità più elevati e una qualità educativa superiore secondo la valutazione degli esperti. È importante sottolineare che questi risultati non devono essere interpretati nel senso che un linguaggio più complesso sia preferibile. Piuttosto, indicano che gli LLM attuali spesso migliorano la completezza informativa a scapito dell'accessibilità linguistica. Lo sviluppo futuro dei sistemi di educazione per i pazienti dovrebbe quindi concentrarsi sul mantenimento dell'accuratezza medica semplificando al contempo il linguaggio attraverso revisioni in linguaggio semplice, la presentazione strutturata dei punti chiave, la spiegazione della terminologia tecnica e indicazioni chiare ed efficaci, adatte ai pazienti con diversi livelli di alfabetizzazione sanitaria11,34,35.

L'analisi di correlazione conferma ulteriormente la distinzione tra leggibilità e qualità educativa. La maggior parte degli indici di leggibilità basati sul livello scolastico ha mostrato associazioni positive da deboli a moderate sia con PEMAT che con GQS, mentre il FRES ha mostrato la relazione inversa attesa, poiché punteggi più elevati di FRES indicano una maggiore facilità di lettura. Questi risultati non implicano che una maggiore complessità linguistica sia auspicabile; piuttosto, suggeriscono che gli attuali LLM spesso raggiungono una maggiore completezza informativa a scapito dell'accessibilità34. Di conseguenza, lo sviluppo di strumenti di educazione del paziente assistiti da intelligenza artificiale dovrebbe privilegiare accuratezza e completezza medica, integrando al contempo una revisione in linguaggio semplice, una presentazione strutturata dei punti chiave, spiegazioni chiare della terminologia tecnica e raccomandazioni pratiche adattate a pazienti con diversi livelli di alfabetizzazione sanitaria11,35.

Un'ulteriore scoperta metodologica riguarda il comportamento distinto dell'indice LW rispetto alle altre misure di leggibilità. A differenza di ARI, FKGL, GFOG, CL e SMOG, LW ha seguito un andamento più simile a quello di FRES, riflettendo le differenze nel modo in cui le formule di leggibilità operazionalizzano la complessità del testo36. Poiché LW è stato originariamente sviluppato per manuali tecnici e pone l'accento sulla struttura campionata delle frasi e sulla classificazione delle parole piuttosto che sulle caratteristiche generali di frasi o sillabe, potrebbe rispondere in modo diverso ai testi medici generati dall'IA, che combinano enunciati concisi con passaggi esplicativi più lunghi e distribuzioni irregolari di terminologia tecnica37,38. Questi risultati confermano l'importanza di un quadro valutativo basato su più metriche, poiché nessun singolo indice di leggibilità riesce a cogliere adeguatamente tutte le dimensioni della complessità testuale. In linea con studi precedenti sui contenuti sanitari generati dall'IA, la leggibilità complessiva dovrebbe pertanto essere interpretata ricorrendo a evidenze convergenti provenienti da diversi indici complementari, piuttosto che su una singola misura39.

Anche la categoria dei contenuti ha influenzato la leggibilità. Argomenti come prevenzione, riabilitazione, eziologia e fattori di rischio hanno generalmente prodotto testi con una difficoltà di lettura più elevata rispetto alle conoscenze di base sulla malattia, probabilmente perché questi argomenti richiedono raccomandazioni condizionali, spiegazioni meccanicistiche e terminologia più specializzata40,41. Al contrario, le conoscenze di base sulla malattia sono principalmente basate su definizioni e possono essere trasmesse con un linguaggio più semplice42. Nonostante queste differenze, PEMAT e GQS sono rimasti relativamente costanti tra i diversi domini tematici, suggerendo che l'idoneità educativa valutata dagli esperti e la qualità complessiva delle informazioni sono state mantenute in diversi tipi di domande dei pazienti35,43.

Questi risultati hanno diverse implicazioni per la pratica clinica e lo sviluppo futuro dei modelli linguistici di grandi dimensioni (LLM). Poiché i pazienti utilizzano sempre più spesso gli LLM per ottenere informazioni prima o dopo le consulenze mediche, i contenuti generati dall'intelligenza artificiale dovrebbero integrare, piuttosto che sostituire, la consulenza del medico, in particolare per quanto riguarda la sicurezza dei farmaci, le indicazioni per trattamenti interventistici o chirurgici e il riconoscimento dei sintomi allarmanti che richiedono una valutazione urgente44. Le organizzazioni sanitarie potrebbero trarre beneficio dalla fornitura di risorse educative redatte in linguaggio semplice e verificate da esperti, utilizzando al contempo gli LLM come strumenti di bozza o di supporto decisionale, piuttosto che come sistemi autonomi di educazione del paziente. I modelli futuri dovrebbero incorporare strategie di generazione consapevoli della leggibilità, una comunicazione trasparente delle versioni del modello e delle date di generazione, una chiara indicazione dell'incertezza e procedure di governance che includano la revisione da parte di medici, la verifica dell'accuratezza fattuale, lo screening per allucinazioni, controlli sulla sicurezza dei farmaci, indicazioni per i sintomi allarmanti e test sulla comprensione da parte del paziente prima dell'implementazione clinica26,44,45.

Questo studio presenta diversi limiti. Gli output del modello sono stati raccolti da interfacce web pubblicamente accessibili in una singola data, e aggiornamenti successivi del modello, modifiche alle interfacce, prompt di sistema nascosti o impostazioni predefinite di generazione potrebbero influenzare la riproducibilità. Il set di 20 domande è stato sviluppato da esperti clinici piuttosto che ricavato da log di ricerca dei pazienti o da interviste formali ai pazienti, una pratica che potrebbe introdurre un bias di selezione. Inoltre, lo studio si è basato su valutazioni esperte tramite PEMAT e GQS e non ha valutato la comprensione da parte dei pazienti, la fiducia, la soddisfazione, i comportamenti sanitari o gli esiti clinici. Le formule di leggibilità, il PEMAT e il GQS inoltre non valutano direttamente l'accuratezza fattuale, il rischio di allucinazioni, l'accuratezza delle citazioni, la completezza delle controindicazioni o la sicurezza clinica. Di conseguenza, questi risultati dovrebbero essere interpretati come un'analisi trasversale di benchmarking basata su valutazioni esperte, piuttosto che come prova che qualsiasi materiale generato da un LLM sia pronto per un uso clinico routinario. Studi futuri dovrebbero includere output del modello archiviati, metadati dettagliati del modello, valutazioni multilingue, set di domande più ampi, audit formali sulla sicurezza, valutazioni dell'accuratezza fattuale e misure di esito centrate sul paziente prima che materiali educativi generati da LLM siano considerati per l'implementazione clinica.

In questo studio trasversale di benchmarking valutato da esperti, i modelli linguistici di grandi dimensioni disponibili pubblicamente hanno mostrato differenze sostanziali nella leggibilità, nell'adeguatezza educativa e nella qualità complessiva delle informazioni nei materiali educativi per pazienti con nevralgia del trigemino. GPT-5 ha ottenuto i punteggi più elevati nei criteri PEMAT e GQS valutati dagli esperti, ma ha prodotto anche le risposte linguisticamente più complesse, evidenziando come leggibilità e qualità educativa valutata dagli esperti rappresentino dimensioni correlate ma distinte dell'educazione del paziente. Sebbene alcuni modelli abbiano prodotto contenuti più leggibili, ciò non si è tradotto necessariamente in una maggiore idoneità educativa o qualità complessiva delle informazioni. Poiché questo studio non ha valutato l'accuratezza fattuale attraverso un audit di sicurezza dedicato, il rischio di allucinazioni, l'accuratezza delle citazioni, la comprensione da parte del paziente, la fiducia, la soddisfazione, i comportamenti sanitari o gli esiti clinici, i risultati devono essere interpretati come un'analisi di benchmarking valutata da esperti piuttosto che come prova di prontezza clinica. Studi futuri dovrebbero integrare la revisione da parte di esperti, valutazioni formali della sicurezza e dell'accuratezza fattuale, e valutazioni centrate sul paziente, al fine di sostenere l'uso sicuro ed efficace dei materiali generati da LLM nell'educazione del paziente.

Dichiarazioni

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori dichiarano di non avere interessi in conflitto.

Ringraziamenti

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questa ricerca non ha ricevuto alcun finanziamento specifico da agenzie pubbliche, commerciali o senza scopo di lucro. Gli autori ringraziano i colleghi clinici che hanno fornito commenti sul set di domande relativo alla nevralgia del trigemino e hanno contribuito a perfezionare il quadro di valutazione. Ringraziamo inoltre tutti i collaboratori che hanno supportato la preparazione e la revisione del manoscritto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
Piattaforma di chat DeepSeekDeepSeekhttps://chat.deepseek.com/Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte
Piattaforma di chat DoubaoDoubaohttps://www.doubao.com/chat/Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte
GPT 5 OpenAIhttps://chat.openai.com/Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte
Software R, versione 4.4.3Fondazione R per il Calcolo StatisticoNon applicabileAnalisi e visualizzazione statistica
Calcolatore online di formule per la leggibilitàReadability FormulasNon applicabileStrumento online utilizzato per calcolare gli indici di leggibilità
Piattaforma di chat Tongyi QianwenTongyi Qianwenhttps://www.tongyi.com/Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte
Piattaforma di chat Wenxin YiyanWenxin Yiyanhttps://yiyan.baidu.com/Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte

Riferimenti

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Headache Classification Committee of the International Headache Society (IHS). The International Classification of Headache Disorders, 3rd edition. Cephalalgia. 2018;38(1):1-211.
  2. Ashina S, et al. Trigeminal neuralgia. Nat Rev Dis Primers. 2024;10(1):39.
  3. Donertas-Ayaz B, Caudle RM. Locus coeruleus-noradrenergic modulation of trigeminal pain: Implications for trigeminal neuralgia and psychiatric comorbidities. Neurobiol Pain. 2023;13:100124.
  4. Martinelli R, et al. Psychological assessment in patients affected by trigeminal neuralgia: A systematic review. Neurosurg Rev. 2025;48(1):414.
  5. Melek LN, et al. Comparison of the neuropathic pain symptoms and psychosocial impacts of trigeminal neuralgia and painful posttraumatic trigeminal neuropathy. J Oral Facial Pain Headache. 2019;33(1):77-88.
  6. Zakrzewska JM, et al. Evaluating the impact of trigeminal neuralgia. Pain. 2017;158(6):1166-1174.
  7. Gambeta E, Chichorro JG, Zamponi GW. Trigeminal neuralgia: An overview from pathophysiology to pharmacological treatments. Mol Pain. 2020;16:1744806920901890.
  8. De Toledo IP, et al. Prevalence of trigeminal neuralgia: A systematic review. J Am Dent Assoc. 2016;147(7):570-576.e2.
  9. Svedung Wettervik T, et al. Incidence of trigeminal neuralgia: A population-based study in central Sweden. Eur J Pain. 2023;27(5):580-587.
  10. Bendtsen L, et al. European Academy of Neurology guideline on trigeminal neuralgia. Eur J Neurol. 2019;26(6):831-849.
  11. Cruccu G, et al. Trigeminal neuralgia: New classification and diagnostic grading for practice and research. Neurology. 2016;87(2):220-228.
  12. Araya EI, et al. Trigeminal neuralgia: Basic and clinical aspects. Curr Neuropharmacol. 2020;18(2):109-119.
  13. Chong MS, Bahra A, Zakrzewska JM. Guidelines for the management of trigeminal neuralgia. Cleve Clin J Med. 2023;90(6):355-362.
  14. Heinskou TB, et al. Favourable prognosis of trigeminal neuralgia when enrolled in a multidisciplinary management program: A two-year prospective real-life study. J Headache Pain. 2019;20(1):23.
  15. Liu S, et al. Comparative evaluation of ChatGPT and Gemini in brain-computer interface patient education: A multidimensional analysis of reliability, accuracy, comprehensibility, and readability. Int J Med Inform. 2026;206:106164.
  16. Forgie EME, et al. Social media and the transformation of the physician-patient relationship: Viewpoint. J Med Internet Res. 2021;23(12):e25230.
  17. Gantenbein L, Navarini AA, Maul LV, Brandt O, Mueller SM. Internet and social media use in dermatology patients: Search behavior and impact on the patient-physician relationship. Dermatol Ther. 2020;33(6):e14098.
  18. Youssef Y, et al. Social media and internet use among orthopedic patients in Germany: A multicenter survey. Front Digit Health. 2025;7:1486296.
  19. De Martino I, et al. Social media for patients: Benefits and drawbacks. Curr Rev Musculoskelet Med. 2017;10(1):141-145.
  20. Johnson KB, et al. Precision medicine, AI, and the future of personalized health care. Clin Transl Sci. 2021;14(1):86-93.
  21. Hirani R, et al. Artificial intelligence and healthcare: A journey through history, present innovations, and future possibilities. Life (Basel). 2024;14(5):557.
  22. Karatas G, Kirik F, Karatas ME, Cakir A, Ozdemir H. Comparative performance of ChatGPT o3-mini-high and DeepSeek-R1 in ophthalmology: An evaluation of diagnostic reasoning and case-based problem solving. J Fr Ophtalmol. 2025;49(1):104712.
  23. Hanci V, et al. Assessment of readability, reliability, and quality of ChatGPT, Bard, Gemini, Copilot, and Perplexity responses on palliative care. Medicine (Baltimore). 2024;103(33):e39305.
  24. Liu C, et al. Potential to perpetuate social biases in health care by Chinese large language models: A model evaluation study. Int J Equity Health. 2025;24(1):206.
  25. Haupt CE, Marks M. AI-generated medical advice—GPT and beyond. JAMA. 2023;329(16):1349-1350.
  26. Aydin S, Karabacak M, Vlachos V, Margetis K. Large language models in patient education: A scoping review of applications in medicine. Front Med (Lausanne). 2024;11:1477898.
  27. Kara M, et al. Evaluating the readability, quality, and reliability of responses generated by ChatGPT, Gemini, and Perplexity on the most commonly asked questions about ankylosing spondylitis. PLoS One. 2025;20(6):e0326351.
  28. Perez Rivera LR, et al. Evaluating the quality and reliability of large language models for plastic surgery patient education: A comparative analysis of ChatGPT and OpenEvidence. Aesthet Surg J. 2025. doi:10.1093/asj/sjaf249.
  29. Wilhelm TI, Roos J, Kaczmarczyk R. Large language models for therapy recommendations across three clinical specialties: Comparative study. J Med Internet Res. 2023;25:e49324.
  30. Will J, et al. Enhancing the readability of online patient education materials using large language models: Cross-sectional study. J Med Internet Res. 2025;27:e69955.
  31. Tukur Jido J, Al-Wizni A, Aung SL. Readability of AI-generated patient information leaflets on Alzheimer's disease, vascular dementia, and delirium. Cureus. 2025;17(6):e85463.
  32. Luo Z, Lin C, Kim TH, Shin YS, Ahn ST. Quality and readability analysis of artificial intelligence-generated medical information related to prostate cancer: A cross-sectional study of ChatGPT and DeepSeek. World J Mens Health. 2025. doi:10.5534/wjmh.250144.
  33. Joseph P, Silva NA, Nanda A, Gupta G. Evaluating the readability of online patient education materials for trigeminal neuralgia. World Neurosurg. 2020;144:e934-e938.
  34. Dong C, et al. Comparative evaluation of large language models in delivering guideline-compliant recommendations for topical NSAID use in musculoskeletal pain: A multidimensional analysis. Clin Rheumatol. 2025;44(11):4703-4710.
  35. Ozduran E, Buyukcoban S. Evaluating the readability, quality, and reliability of online patient education materials on post-COVID pain. PeerJ. 2022;10:e13686.
  36. Wang LW, Miller MJ, Schmitt MR, Wen FK. Assessing readability formula differences with written health information materials: Application, results, and recommendations. Res Social Adm Pharm. 2013;9(5):503-516.
  37. Singh SP, et al. Comprehension profile of patient education materials in endocrine care. Kans J Med. 2022;15(2):247-252.
  38. Marder RS, et al. ChatGPT-3.5 and ChatGPT-4.0 do not reliably create readable patient education materials for common orthopaedic upper- and lower-extremity conditions. Arthrosc Sports Med Rehabil. 2025;7(1):101027.
  39. Nasra M, et al. Can artificial intelligence improve patient educational material readability? A systematic review and narrative synthesis. Intern Med J. 2025;55(1):20-34.
  40. Bhatt C, et al. Evaluating readability, understandability, and actionability of online printable patient education materials for cholesterol management: A systematic review. J Am Heart Assoc. 2024;13(8):e030140.
  41. Avra TD, Le M, Hernandez S, Thure K, Ulloa JG. Readability assessment of online peripheral artery disease education materials. J Vasc Surg. 2022;76(6):1728-1732.
  42. Rooney MK, et al. Readability of patient education materials from high-impact medical journals: A 20-year analysis. J Patient Exp. 2021;8:2374373521998847.
  43. Ahmadzadeh K, et al. Patient education information material assessment criteria: A scoping review. Health Info Libr J. 2023;40(1):3-28.
  44. Duan L, Yao Z, Li X, Wu Y, Sheng D. Comparing large language models and human doctors in symptom-driven online medical consultations: A case study on trigeminal neuralgia. Digit Health. 2025;11:20552076251388140.
  45. Werner C, Harden J, Lawton J. Pathways to a diagnosis of trigeminal neuralgia: A qualitative study of patients' experiences. BMC Prim Care. 2025;26(1):65.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Modelli linguistici di grandi dimensioniValutazione della leggibilitQualit educativaValutazione PEMATGlobal Quality ScoreQualit delle informazioni sanitarieBenchmarking dei modelliComprensione del paziente

Articoli correlati