نقدم هنا بروتوكولاً لتقييم مدى سهولة القراءة، والملاءمة التعليمية، وجودة معلومات المرضى حول ألم العصب ثلاثي التوائم التي تم إنشاؤها بواسطة النماذج اللغوية الكبيرة، وذلك لإنشاء معايير مرجعية لهذه النماذج وتوجيه التواصل الموجه للمرضى.
مقالة بحثية
نقدم هنا بروتوكولاً لتقييم مدى سهولة القراءة، والملاءمة التعليمية، وجودة معلومات المرضى حول ألم العصب ثلاثي التوائم التي تم إنشاؤها بواسطة النماذج اللغوية الكبيرة، وذلك لإنشاء معايير مرجعية لهذه النماذج وتوجيه التواصل الموجه للمرضى.
تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في التثقيف الصحي للمرضى، ومع ذلك، لم يتم تقييم مدى سهولة القراءة والجودة التعليمية للمعلومات التي تولدها هذه النماذج حول ألم العصب ثلاثي التوائم (TN) بشكل كافٍ. قارنت هذه الدراسة المرجعية المقطعية المحتوى التعليمي حول ألم العصب ثلاثي التوائم الذي أنتجته خمسة نماذج لغوية كبيرة متاحة للعامة (Doubao وDeepSeek وWenxin Yiyan وTongyi Qianwen وGPT-5). تم تقديم عشرين سؤالاً شائعاً حول ألم العصب ثلاثي التوائم تغطي المعرفة الأساسية بالمرض، والمسببات/عوامل الخطر، والتشخيص، والعلاج، والوقاية/التأهيل لكل نموذج باستخدام مطالبات قياسية. تم تقييم سهولة القراءة باستخدام سبعة مؤشرات معتمدة، والملاءمة التعليمية باستخدام أداة تقييم مواد تثقيف المرضى من حيث القابلية للفهم وقابلية التنفيذ (PEMAT)، وجودة المعلومات الإجمالية باستخدام درجة الجودة العالمية (GQS). قام خبيران سريريان بتقييم جميع الاستجابات بشكل مستقل، مع حل الخلافات بواسطة محكم أقدم. قارنت التحليلات الإحصائية أداء النماذج، والاختلافات الموضوعية، والارتباطات بين مقاييس التقييم. لوحظت فروق ذات دلالة إحصائية بين النماذج في درجات سهولة القراءة وPEMAT وGQS. أنتج GPT-5 الاستجابات الأكثر تعقيداً من الناحية اللغوية، ولكنه حقق أعلى التقييمات من حيث الملاءمة التعليمية وجودة المعلومات. في المقابل، أنتج Wenxin Yiyan النصوص الأكثر سهولة في القراءة، ولكنه سجل عموماً درجات أقل في PEMAT وGQS. أثرت فئة المحتوى على سهولة القراءة، حيث كانت مواضيع الوقاية/التأهيل والمسببات/عوامل الخطر أكثر صعوبة في القراءة، بينما ظلت درجات PEMAT وGQS متسقة نسبياً عبر جميع الموضوعات. أظهرت مؤشرات سهولة القراءة اتساقاً داخلياً قوياً وارتباطات إيجابية ضعيفة إلى متوسطة مع PEMAT وGQS، بينما أظهر PEMAT وGQS ارتباطاً إيجابياً متوسطاً. تشير هذه النتائج إلى أن اختيار النموذج يؤثر على الملاءمة التعليمية وجودة المعلومات الإجمالية وفقاً لتقييم الخبراء، بينما تؤثر تعقيدات الموضوع بشكل أساسي على سهولة القراءة. ونظراً لعدم تقييم استيعاب المرضى، ورضاهم، وثقتهم، والنتائج الصحية، والدقة الواقعية، والسلامة السريرية، يجب تفسير هذه النتائج على أنها تحليل مرجعي مقيم من قبل خبراء وليس كدليل على الجاهزية السريرية.
يُعد ألم العصب ثلاثي التوائم (TN) متلازمة ألم اعتلال عصبي تتميز بنوبات متكررة من آلام الوجه أحادية الجانب، قصيرة المدى وشديدة للغاية، وغالباً ما توصف بأنها تشبه الصدمة الكهربائية أو الطعن. ووفقاً للتصنيف الدولي لاضطرابات الصداع، الطبعة الثالثة (ICHD-3)، يتركز الألم عادةً في توزيع فرع واحد أو أكثر من العصب ثلاثي التوائم، وغالباً ما تكون شدته غير محتملة، ويمكن أن تُحفزه مثيرات غير ضارة مثل اللمس الخفيف، أو غسل الوجه، أو تنظيف الأسنان بالفرشاة، أو التحدث، أو المضغ. وتتميز النوبات ببدء مفاجئ وتوقف سريع، وتتراوح مدتها من أجزاء من الثانية إلى عدة دقائق1,2. ورغم أن ألم العصب ثلاثي التوائم لا يشكل عادةً خطراً على الحياة، إلا أن آلامه الشديدة وغير المتوقعة تعطل بشكل كبير الأنشطة اليومية الأساسية، بما في ذلك الأكل والنطق والنوم والتنظيم العاطفي، مما يؤدي إلى عبء نفسي اجتماعي كبير وتدهور في جودة الحياة. وتشير الأدلة المستمدة من المراجعات المنهجية إلى أن المصابين بألم العصب ثلاثي التوائم يواجهون خطراً مرتفعاً بشكل ملحوظ للإصابة بالاكتئاب والقلق واضطرابات النوم مقارنة بعامة السكان3,4. وفي دراسات أترابية واسعة النطاق، يظهر ما يقرب من 35–55% من مرضى ألم العصب ثلاثي التوائم أعراضاً ذات دلالة سريرية للقلق أو الاكتئاب، كما يسود بشكل كبير التفكير الكارثي في الألم، مما يشير إلى تفاعل ثنائي الاتجاه بين الألم المزمن الشديد والأرق والاضطرابات العاطفية5,6. وتشير التقديرات الوبائية إلى أن معدل انتشار ألم العصب ثلاثي التوائم بين عامة السكان يتراوح ما بين 0.03% إلى 0.3% تقريباً، مع ارتفاع معدل الإصابة بين النساء وكبار السن ووجود تباينات ملحوظة عبر المناطق الجغرافية والمجموعات العرقية والفئات العمرية7,8. وفي البلدان ذات الكثافة السكانية العالية، مثل الصين والهند، رافق الشيخوخة السكانية السريعة زيادة مستمرة في عدد الأفراد المصابين بألم العصب ثلاثي التوائم، مما فرض عبئاً متزايداً على أنظمة الرعاية الصحية وأكد الحاجة إلى مناهج أكثر فعالية وقابلية للتوسع ومستندة إلى البيانات لتقييم المرض وإدارته8,9.
يمكن تصنيف TN إلى أنماط فرعية كلاسيكية وثانوية ومجهولة السبب، مع تزايد الأدلة التي تثبت وجود اختلافات جوهرية في الآليات المسببة والاستراتيجيات العلاجية بين هذه الفئات1,10. وتشير الدراسات الحالية إلى أن التغيرات الهيكلية المرتبطة بالصراع العصبي الوعائي في منطقة دخول جذر العصب ثلاثي التوائم، وفرط استثارة الأعصاب الطرفية، وتغير تعديل الألم المركزي تساهم مجتمعة في نشوء المرض11,12. وتوصي الإرشادات السريرية باستخدام carbamazepine وoxcarbazepine كعلاجات خط أول، بينما يتم النظر في النهج الجراحية أو التدخلية عندما يكون العلاج الدوائي غير فعال أو غير متحمل بشكل جيد10. وعلى الرغم من هذه التطورات العلاجية، يتميز TN بمسار نكسي-تخفيفي، ويظل تكرار الألم على المدى الطويل شائعاً، مما يجعل تحقيق الهجوع الدائم أمراً صعباً13. وبناءً على ذلك، تعد المتابعة طويلة الأمد والإدارة المنظمة للأمراض المزمنة ضرورية لمراقبة خطر التكرار، والاستجابة للعلاج، والمضاعفات. وتشير دراسات الأتراب الطولية إلى أنه في ظل استراتيجيات الإدارة الموحدة (بما في ذلك العلاج الدوائي، والتدخل الجراحي عند دواعي الاستعمال، والمتابعة الشاملة)، يمكن لنحو نصف المرضى الذين يتلقون إدارة تحفظية تحقيق خفض بنسبة ≥50% في عبء الألم الإجمالي خلال عامين، دون تقدم حتمي للمرض14. وتؤكد هذه النتائج على أهمية المشاركة المستمرة للمريض والتثقيف الصحي الفعال لإدارة المرض على المدى الطويل. وتشير الأدلة إلى أن المرضى الذين لديهم فهم أفضل لمسببات المرض، والفيزيولوجيا المرضية، وخيارات العلاج يكونون أكثر عرضة للمشاركة بنشاط في الأنظمة العلاجية والالتزام بها، مما يؤدي إلى تحسين النتائج15. ومع ذلك، غالباً ما تكون مناهج التثقيف الصحي التقليدية محدودة من حيث الوصول والقابلية للتوسع. ومع الاعتماد الواسع للإنترنت، وخاصة منصات الأسئلة والأجوبة عبر الإنترنت ووسائل التواصل الاجتماعي، يعتمد المرضى بشكل متزايد على المصادر الرقمية للحصول على المعلومات الطبية16,17. ومع ذلك، فإن التباين الكبير في الثقافة الصحية الفردية والقدرة على الوصول إلى المعلومات الصحية الأساسية ومعالجتها وفهمها لاتخاذ قرارات مستنيرة يشكل عوائق رئيسية أمام التثقيف الفعال للمرضى18. علاوة على ذلك، فإن الجودة غير المتكافئة للمعلومات الصحية عبر الإنترنت، بما في ذلك المحتوى غير الدقيق أو المضلل، قد تؤثر سلباً على القرارات الطبية للمرضى وسلامتهم النفسية19.
لقد أوجدت تقنيات الذكاء الاصطناعي (AI)، وبالأخص التطور السريع للنماذج اللغوية الكبيرة (LLMs) في السنوات الأخيرة، فرصاً جديدة للتواصل في مجال العلوم الطبية والتثقيف الصحي20. وبفضل تدريبها على مجموعات نصية ضخمة، تستطيع هذه النماذج توليد استجابات منظمة ومتسقة منطقياً من خلال التفاعل باللغة الطبيعية21. وقد أظهرت أنظمة دولية رائدة، مثل ChatGPT، إمكانات واعدة في الإجابة على الأسئلة الطبية، واستشارات المرضى، والتعليم الطبي22,23. كما ظهرت في الصين عدة نماذج لغوية كبيرة متماثلة وظيفياً، مع توسع مستمر في تغطية المستخدمين وسيناريوهات التطبيق24. ورغم هذه التطورات، لا يزال تطبيق النماذج اللغوية الكبيرة في تبسيط العلوم الطبية يواجه تحديات جسيمة، بما في ذلك موثوقية بيانات التدريب، وتواتر التحديثات، والدقة العلمية للاستجابات المولدة، والافتقار إلى التحقق السريري25. بالإضافة إلى ذلك، فإن الاختلافات بين النماذج في أسلوب اللغة، وسهولة القراءة، والبنية المنطقية، ودقة الاستشهاد قد تؤثر بشكل مباشر على استيعاب المرضى وثقتهم في المعلومات المتعلقة بالصحة26. وحتى الآن، كانت التقييمات المنهجية لأداء النماذج اللغوية الكبيرة في التثقيف الصحي المتعلق بـ TN محدودة.
بناءً على ذلك، هدفت هذه الدراسة إلى تقييم ومقارنة أداء أربعة من النماذج اللغوية الكبيرة (LLMs) الصينية واسعة الانتشار (Doubao وDeepSeek وWenxin Yiyan وTongyi Qianwen) ونموذج لغوي كبير دولي ممثل (ChatGPT) في الإجابة على أسئلة تثقيف المرضى المتعلقة بـ TN بشكل منهجي. وباستخدام تصميم دراسة مقطعية، قمنا ببناء مجموعة أسئلة حول TN بناءً على الإرشادات السريرية والمخاوف الشائعة للمرضى، ثم قيمنا الاستجابات التي أنتجتها خمسة نماذج لغوية كبيرة متاحة للجمهور (Doubao وDeepSeek وWenxin Yiyan وTongyi Qianwen وGPT-5). تم تقييم القابلية للقراءة باستخدام مقاييس متعددة، بينما تم تقييم القابلية للفهم والقابلية للتطبيق باستخدام أداة تقييم مواد تثقيف المرضى (PEMAT). كما تم تقييم الجودة العامة للمعلومات باستخدام درجة الجودة العالمية (GQS). بالإضافة إلى ذلك، قمنا بتحليل كيفية تأثير مواضيع التثقيف الصحي المختلفة على مقاييس التقييم هذه والعلاقات المتبادلة بينها، بهدف تقديم إرشادات قائمة على الأدلة لاختيار وتحسين النماذج اللغوية الكبيرة في التواصل الصحي السريري.
حللت هذه الدراسة النصوص المولدة بواسطة الذكاء الاصطناعي فقط، ولم تتضمن مشاركين بشريين، أو حيوانات، أو عينات بيولوجية، أو سجلات طبية، أو معلومات شخصية محددة للهوية، أو تدخلاً في الرعاية السريرية. وبناءً على ذلك، لم تكن مراجعة لجنة الأخلاقيات أو الموافقة المستنيرة الرسمية مطلوبة.
تصميم الدراسة
قيمت هذه الدراسة المقطعية مدى سهولة القراءة، والجودة، والملاءمة التعليمية للاستجابات التي أنتجتها خمسة من النماذج اللغوية الكبيرة (LLMs) رداً على الأسئلة الشائعة حول الاعتلال العصبي (TN).
تحديد الأسئلة الشائعة المتعلقة بـ TN
في 25 نوفمبر 2025، قام خبيران سريريان لديهما خبرة واسعة في طب الألم بمراجعة مستقلة للإرشادات السريرية الحالية لعصب الألم الثلاثي (TN)، بما في ذلك التصنيف الدولي للاضطرابات الصداع، الطبعة الثالثة (ICHD-3)، وإرشادات الأكاديمية الأوروبية لطب الأعصاب، وإرشادات الأكاديمية الأمريكية لطب الأعصاب/الاتحاد الأوروبي للجمعيات العصبية1,10,11. وبعد مناقشة توافقية، قاموا بصياغة قائمة تضم 20 سؤالاً متعلقاً بعصب الألم الثلاثي يتم مواجهتها بشكل شائع في الممارسة السريرية. وقد تم تحديد عدد الأسئلة مسبقاً لضمان تغطية متوازنة للمجالات الموضوعية الخمسة المحددة مسبقاً، مع اختيار أربعة أسئلة لكل مجال، مع الحفاظ على إجمالي عدد الاستجابات التي يولدها النموذج ضمن نطاق يمكن تقييمه والتحقق منه يدوياً من قبل الخبراء. ولتحسين قابلية التكرار، اتبعت عملية الاختيار إطاراً محدداً مسبقاً قائماً على المجالات: حيث حدد الخبراء أولاً الأسئلة المرشحة ضمن كل مجال، وراجعوها بشكل مستقل من حيث الصلة السريرية، والصياغة الموجهة للمريض، وتجنب التكرار، ثم توصلوا إلى توافق بشأن الأسئلة الأربعة النهائية لكل مجال. تتوفر القائمة النهائية للأسئلة في الجدول 1 والملف التكميلي 1. وكانت المجالات الموضوعية الخمسة المحددة مسبقاً هي: المعرفة الأساسية بالمرض، والمسببات وعوامل الخطر، والتشخيص، والعلاج، والوقاية والتأهيل. ونظراً لأن مجموعة الأسئلة لم تُشتق من سجلات بحث المرضى، أو استعلامات البحث عبر الإنترنت، أو المقابلات الرسمية مع المرضى، فقد تم الإقرار باحتمالية وجود انحياز في الاختيار كأحد قيود الدراسة.
نماذج الذكاء الاصطناعي وإجراءات جمع البيانات
في 25 نوفمبر 2025، تم تقديم المجموعة النهائية المكونة من 20 سؤالاً متعلقاً بـ TN إلى خمس منصات لنماذج لغوية كبيرة (LLM) متاحة للعامة، وهي: Doubao، وDeepSeek، وWenxin Yiyan، وTongyi Qianwen، وGPT-5/ChatGPT. تم الوصول إلى جميع النماذج من خلال واجهات الدردشة القياسية العامة القائمة على الويب، ولم يتم استخدام الوصول عبر واجهة برمجة التطبيقات (API). وبالنسبة لكل منصة، تم استخدام النموذج الافتراضي المتاح للعامة في تاريخ جمع البيانات دون تعديل أي من معايير التوليد. وبما أن واجهات الويب العامة لم تعرض معرفات لقطات النموذج الخلفية، أو مطالبات النظام المخفية، أو درجة الحرارة، أو top-p، أو الحد الأقصى لرموز المخرجات، أو غيرها من معايير التوليد، فقد تم تسجيل هذه البنود على أنها "غير معروضة في واجهة الويب العامة".
كانت لغة التوجيه والاستجابة هي الإنجليزية لجميع النماذج. وتكون كل توجيه معياري من السؤال الإنجليزي حرفياً دون أي تعليمات إضافية خاصة بالنموذج. تم تقديم كل سؤال بشكل فردي في جلسة دردشة جديدة ومستقلة دون أي سجل محادثات سابق، أو ملفات مرفوعة، أو إضافات، أو تعليمات مخصصة، أو توجيهات متابعة. تتوفر القائمة الكاملة للتوجيهات المعيارية ومخرجات النماذج الخام المقابلة لها في الملف التكميلي 1. كما تم تلخيص البيانات الوصفية للنماذج وإعدادات جمع البيانات في الجدول التكميلي 1.
تقييم القابلية للقراءة
تم تقييم مقروئية الاستجابات التي أنتجتها النماذج اللغوية الكبيرة (LLM) باستخدام عدة صيغ مقروئية معتمدة متاحة عبر منصة إلكترونية لتقييم المقروئية (http://readabilityformulas.com/). ونظراً لعدم وجود معيار ذهبي مقبول عالمياً لتقييم المقروئية، وتماشياً مع الدراسات السابقة، تم استخدام مجموعة شاملة من مؤشرات المقروئية واسعة الانتشار23,27. وقد اختير سبعة مؤشرات لتغطية جوانب متكاملة من المقروئية، بما في ذلك طول الجملة، وطول الكلمة، وعبء المقاطع اللفظية، والتعقيد القائم على الحروف، وسهولة القراءة، والمستوى الدراسي التقديري، وذلك لتقليل الاعتماد على أي صيغة واحدة. وبشكل محدد، تم حساب مؤشر كولمان-لياو (CL)، وصيغة لينسير رايت (LW)، ومؤشر المقروئية الآلي (ARI)، ومقياس سموغ البسيط (SMOG)، ومؤشر غانينغ فوغ (GFOG)، ودرجة فليش لسهولة القراءة (FRES)، ومستوى فليش-كينكيد الدراسي (FKGL). وتقوم هذه المؤشرات بتقدير صعوبة القراءة أو المستوى الدراسي وتوفر مقاييس كمية لمقروئية النص (الجدول 2).
تقييم الملاءمة التعليمية وجودة المعلومات
تم تقييم الملاءمة التعليمية باستخدام أداة تقييم مواد تثقيف المرضى (PEMAT)، والتي تتكون من مجالين: قابلية الفهم وقابلية التنفيذ28. وتتضمن هذه الأداة 24 بنداً، حيث يقيم 16 منها قابلية الفهم وثمانية تقيم قابلية التنفيذ. وقد تم تسجيل كل بند بشكل ثنائي (0 = المعيار غير مستوفٍ؛ 1 = المعيار مستوفٍ)، مما يعطي درجة إجمالية تتراوح من 0 إلى 24، حيث تشير الدرجات الأعلى إلى ملاءمة أكبر لتثقيف المرضى. كما تم تقييم الجودة العامة للمعلومات باستخدام درجة الجودة العالمية (GQS)27، وهي مقياس ليكرت خماسي النقاط مستخدم على نطاق واسع لتقييم جودة المعلومات الطبية (الجدول 3).
في 25 نوفمبر 2025، قام خبيران سريريان لديهما خبرة تزيد عن 3 سنوات في إدارة TN بتقييم جميع الاستجابات التي أنشأها الذكاء الاصطناعي باستخدام كلتا أداتي التقييم. وقبل تسجيل الدرجات، تم إخفاء هوية جميع الاستجابات التي أنشأها الذكاء الاصطناعي باستخدام معرفات استجابة مرمزة، كما تم حجب منصة LLM عن المراجعين أثناء تقييمات PEMAT وGQS. وتم حل الخلافات بواسطة خبير ثالث أول، الذي بت في الدرجات النهائية. كما تم تقييم الموثوقية بين المقيّمين باستخدام معامل Cohen's kappa، حيث تشير القيم >0.75 إلى اتفاق ممتاز، و0.40–0.75 إلى اتفاق مقبول، و<0.40 إلى اتفاق ضعيف. وقد تجاوزت قيم Cohen's kappa لكل من PEMAT وGQS قيمة 0.75، مما يدل على موثوقية ممتازة بين المقيّمين.
التحليل الإحصائي
أُجريت جميع التحليلات الإحصائية باستخدام برنامج R (الإصدار 4.4.3). تم تقييم طبيعية توزيع البيانات باستخدام اختبار Shapiro-Wilk ومخططات Q-Q. لُخصت المتغيرات ذات التوزيع الطبيعي كمتوسط ± الانحراف المعياري وقورنت باستخدام تحليل التباين أحادي الاتجاه (ANOVA)، متبوعاً باختبار Tukey البعدي عند الاقتضاء. أما المتغيرات غير موزعة طبيعياً فقد لُخصت كقيم وسيطة ونطاقات ربيعية وقورنت باستخدام اختبار Kruskal-Wallis، متبوعاً باختبار Dunn البعدي مع تصحيح Bonferroni للمقارنات الزوجية. تم تقييم الارتباطات بين مؤشرات سهولة القراءة، ودرجات PEMAT، وقيم GQS باستخدام معامل ارتباط الرتب لـ Spearman، مع تطبيق تصحيح Benjamini-Hochberg للاختبارات المتعددة. واعتُبرت قيمة P المعدلة ثنائية الجانب < 0.05 ذات دلالة إحصائية.
قيمت هذه الدراسة بشكل منهجي تأثيرات النماذج اللغوية الكبيرة (LLMs) وفئات مختلفة من محتوى التثقيف الصحي على مقروئية وجودة النصوص المُولدة. أولاً، قارنا أداء خمسة من النماذج اللغوية الكبيرة وهي: Doubao وDeepSeek وWenxin Yiyan وTongyi Qianwen وGPT-5، فيما يتعلق بمدى ملاءمتها لتثقيف المرضى، والجودة العامة للمعلومات، ومقاييس مقروئية متعددة، بما في ذلك درجة PEMAT، وGQS، ومؤشرات المقروئية المعتمدة (ARI وFRES وGFOG وFKGL وCL وSMOG وLW). ثانياً، فحصنا مقاييس النتائج نفسها عبر خمسة مجالات موضوعية لمحتوى التثقيف الصحي: المعرفة الأساسية بالمرض، والمسببات وعوامل الخطر، والتشخيص، والعلاج، والوقاية وإعادة التأهيل. ومن خلال دمج هذين المنظورين التحليليين، استكشفنا بشكل أكبر كيف يؤثر نوع النموذج وفئة المحتوى معاً على جودة النص ومقروئيته، مما أدى إلى تحديد أنماط منهجية في مواد تثقيف المرضى التي تولدها النماذج اللغوية الكبيرة.
تحليل القابلية للقراءة عبر نماذج لغوية كبيرة مختلفة
استُخدمت سبعة مؤشرات مقروئية معتمدة للمقارنة المنهجية للتعقيد اللغوي للنصوص المتعلقة بألم العصب ثلاثي التوائم والتي أنشأتها خمسة نماذج لغوية كبيرة، وهي: Doubao وDeepSeek وWenxin Yiyan وTongyi Qianwen وGPT-5. وتلخص الجدول 4 النتائج الإجمالية، بينما توضح الشكل 1A–G توزيعات مقاييس المقروئية الفردية. وقد لوحظت فروق ذات دلالة إحصائية بين النماذج الخمسة لجميع مؤشرات المقروئية، حيث كانت قيمة P < 0.001 لكل منها.
أظهر GPT-5 أعلى قيم وسيطة لكل من ARI وGFOG وFKGL وCL وSMOG وأدنى قيمة لـ FRES، مما يشير إلى أنه أنتج نصوصاً ذات تراكيب جمل أطول، ومفردات أكثر تعقيداً، وأكبر عبء قراءة إجمالي (الشكل 1A–G). وفي المقابل، أظهر Wenxin Yiyan أدنى مستوى من التعقيد اللغوي؛ حيث كانت قيم الوسيط الخاصة بـ ARI وGFOG وFKGL وCL وSMOG هي الأدنى من بين النماذج الخمسة، بينما كانت قيمة FRES هي الأعلى.
أظهرت النماذج Doubao وDeepSeek وTongyi Qianwen مستويات مقروئية متوسطة بين GPT-5 وWenxin Yiyan. وأظهر كل من Doubao وDeepSeek أداءً متقارباً عبر مؤشرات المستوى الدراسي، بما في ذلك ARI وGFOG وFKGL وCL، وكان كلاهما يتمتع بقيم أعلى بكثير من Wenxin Yiyan، حيث كانت جميع قيم P < 0.05. وتشير هذه النتائج إلى وجود عبء قراءة إجمالي مماثل لكل من Doubao وDeepSeek، مع تعقيد لغوي أكبر مقارنة بـ Wenxin Yiyan.
أظهر Tongyi Qianwen بشكل عام قيمًا تتراوح بين قيم Doubao/DeepSeek وGPT-5 عبر معظم مؤشرات سهولة القراءة. والجدير بالذكر أن درجة CL الخاصة به كانت أقرب إلى درجة GPT-5، مما يشير إلى تعقيد لغوي أكبر قليلاً من Doubao وDeepSeek، ومع ذلك ظل أقل تعقيدًا من GPT-5. كما أظهر مؤشر LW نمط توزيع متميز عن مقاييس سهولة القراءة الأخرى؛ حيث حقق Wenxin Yiyan أعلى درجة LW (60.00)، يليه Tongyi Qianwen، ثم DeepSeek، ثم Doubao، بينما سجل GPT-5 أدنى درجة LW (46.50). ويعكس هذا التفاوت الاختلافات في كيفية وزن معادلات سهولة القراءة الفردية لطول الجملة وصعوبة الكلمات (الشكل 1G).
بشكل عام، لوحظت فروق جوهرية في التعقيد اللغوي بين النماذج اللغوية الكبيرة الخمسة؛ حيث أنتج GPT-5 النصوص الأكثر تعقيداً من الناحية اللغوية، بينما أنتج Wenxin Yiyan المحتوى الأكثر سهولة في القراءة، وأظهرت النماذج المتبقية مستويات متوسطة من سهولة القراءة، رغم وضوح الاختلافات الهيكلية.
مقارنة مدى ملاءمة تثقيف المرضى والجودة العامة عبر النماذج اللغوية الكبيرة
لوحظت فروق ذات دلالة إحصائية في ملاءمة تثقيف المرضى، وفقاً لتقييم أداة PEMAT، بين نماذج اللغة الخمسة (الشكل 1H؛ الجدول 4)، حيث كانت جميع قيم P < 0.001. حقق نموذج GPT-5 أعلى درجة PEMAT وفقاً لتقييم الخبراء (9.40 ± 1.90)، مما يشير إلى ملاءمة تعليمية أكبر ضمن إطار المقارنة المرجعية الحالي. ومع ذلك، لا ينبغي تفسير هذه النتيجة كدليل على أن المواد التي ينتجها GPT-5 تحسن استيعاب المرضى الفعلي، أو رضاهم، أو ثقتهم، أو السلوكيات الصحية، أو النتائج السريرية.
حقق DeepSeek درجة PEMAT متوسطة (6.80 ± 1.06)، مع توزيع درجات مدمج نسبياً، مما يشير إلى أداء متسق في إنشاء المواد التعليمية للمرضى. ومع ذلك، ظلت ملاءمته التعليمية العامة أقل بكثير من ملاءمة GPT-5 (P < 0.001). أما نماذج Doubao وTongyi Qianwen وWenxin Yiyan فقد سجلت درجات PEMAT أقل (5.35 ± 1.04 و5.65 ± 1.09 و5.35 ± 0.93 على التوالي). ولم يتم ملاحظة فروق ذات دلالة إحصائية بين هذه النماذج الثلاثة، كما كان أداؤها جميعاً أسوأ بكثير من DeepSeek وGPT-5 (جميع القيم P < 0.01). وتشير هذه النتائج إلى ملاءمة تعليمية متقاربة ولكنها محدودة عبر هذه النماذج، لا سيما فيما يتعلق بوضوح التعليمات، والتنظيم اللغوي، وسهولة الفهم.
لُوحظ نمط مماثل بالنسبة لجودة المعلومات الإجمالية، وفقاً لما تم تقييمه باستخدام مقياس GQS (الشكل 1I). وقد تم تحديد فروق ذات دلالة إحصائية بين النماذج الخمسة، حيث كانت جميع قيم P < 0.001. وحقق GPT-5 أعلى درجة في مقياس GQS (4.00 ± 0.65)، وقد تركزت درجاته ضمن النطاق 4–5، مع تباين محدود، مما يشير إلى أداء عالٍ ومتسق من حيث تماسك المحتوى، والاكتمال الهيكلي، والفائدة العملية.
تلاهما DeepSeek وDoubao، بدرجات GQS بلغت 3.35 ± 0.59 و3.40 ± 0.50 على التوالي. وقد تركزت توزيعات درجاتهما بين 3 و4، مما يشير إلى جودة معلومات متوسطة وموثوقية معقولة. في المقابل، حقق Tongyi Qianwen وWenxin Yiyan أدنى درجات GQS (2.50 ± 0.51 و2.20 ± 0.52 على التوالي). وكانت توزيعاتهما مائلة نحو الحد الأدنى من المقياس، مما يشير إلى وجود قصور في دقة المعلومات، والصرامة الهيكلية، وعمق المحتوى، الأمر الذي قد يقلل من فائدتهما في تثقيف المرضى.
بشكل عام، حقق GPT-5 أعلى درجات PEMAT و GQS وفقاً لتقييم الخبراء في هذه المجموعة من البيانات، بينما أظهر DeepSeek و Doubao أداءً متوسطاً. أما Tongyi Qianwen و Wenxin Yiyan فقد حصلا على تصنيفات GQS أقل. تمثل هذه النتائج مخرجات قياس مرجعي مقيمة من قبل خبراء، ولا ينبغي تفسيرها كدليل على الجاهزية السريرية أو الفعالية على مستوى المريض.
مقارنة بين سهولة القراءة، ومدى ملاءمة تثقيف المرضى، والجودة العامة عبر فئات محتوى التثقيف الصحي
كشف التحليل حسب فئة المحتوى عن وجود فروق ذات دلالة إحصائية في سهولة القراءة عبر موضوعات التثقيف الصحي الخمسة (الجدول 5). وبالنسبة لمقياس FRES، لوحظت فروق ذات دلالة إحصائية بين الفئات الموضوعية (P = 0.004). وتشير قيم FRES الأعلى إلى سهولة أكبر في القراءة. وكانت النصوص المتعلقة بالمعرفة الأساسية بالمرض هي الأكثر سهولة في القراءة (الوسيط = 28.50)، تليها محتويات التشخيص (الوسيط = 16.00)، ثم محتويات المسببات وعوامل الخطر (الوسيط = 12.50)، ثم المحتويات المتعلقة بالعلاج (الوسيط = 11.50). وفي المقابل، أظهرت نصوص الوقاية والتأهيل أدنى مستويات سهولة القراءة (الوسيط لـ FRES = 1.00)، مما يشير إلى أكبر قدر من صعوبة القراءة.
لُوحظت أنماط مماثلة عبر مؤشرات سهولة القراءة الأخرى. فقد اختلف كل من GFOG و FKGL بشكل ملحوظ بين الفئات الموضوعية (P = 0.002 و P = 0.036 على التوالي)، حيث أشار كلا المؤشرين إلى مستويات صفية أعلى للقراءة في محتوى المسببات وعوامل الخطر، ومحتوى الوقاية والتأهيل. وبالمثل، أشار مؤشر SMOG إلى أن نصوص المسببات وعوامل الخطر تحتوي على نسبة أكبر من الكلمات متعددة المقاطع (P = 0.039). وقد لُوحظت أكبر الاختلافات في CL (P < 0.001)؛ حيث تميزت نصوص الوقاية والتأهيل بأطول الجمل (الوسيط = 21.01)، مما أدى إلى زيادة صعوبة القراءة بشكل كبير، بينما تميزت نصوص المعرفة الأساسية بالمرض بأقصر الجمل (الوسيط = 14.88)، وهو ما يقابل أدنى عبء قرائي. ولم تُلاحظ أي فروق ذات دلالة إحصائية بين فئات المحتوى بالنسبة لـ ARI أو LW.
لم يتم تحديد فروق ذات دلالة إحصائية في مدى ملاءمة تثقيف المرضى بين فئات المحتوى الخمس بناءً على درجات PEMAT (P = 0.252). وتراوحت متوسطات درجات PEMAT بين 5.90 و 7.20، مما يشير إلى أنه على الرغم من الاختلافات الملحوظة في التعقيد اللغوي، فقد ظلت الملاءمة التعليمية متسقة نسبياً عبر الموضوعات. وبالمثل، لم تختلف الجودة العامة للمعلومات، كما تم تقييمها باستخدام GQS، بشكل كبير بين فئات المحتوى (P = 0.822). وتراوحت متوسطات قيم GQS بين 2.95 و 3.25، مما يشير إلى أن الجودة العامة للمعلومات كانت مستقرة نسبياً عبر موضوعات المحتوى.
بشكل عام، لوحظت فروق جوهرية في مستوى سهولة القراءة عبر مواضيع التثقيف الصحي، حيث أظهر محتوى المسببات وعوامل الخطر ومحتوى الوقاية والتأهيل أكبر قدر من الصعوبة في القراءة، بينما كان محتوى المعرفة الأساسية بالمرض هو الأكثر سهولة في القراءة. وفي المقابل، ظلت ملاءمة تثقيف المرضى والجودة العامة للمعلومات متسقة نسبيًا عبر جميع فئات المحتوى.
تحليل الارتباط بين سهولة القراءة، وملاءمة تثقيف المرضى، والجودة الشاملة
تظهر مصفوفة الارتباط في الشكل 2 ارتباطات قوية ومتسقة بين مؤشرات القابلية للقراءة، مما يشير إلى اتساق داخلي قوي. وقد أظهرت معظم مقاييس القابلية للقراءة، بما في ذلك ARI وGFOG وFKGL وCL وSMOG، ارتباطات إيجابية متوسطة إلى قوية فيما بينها، حيث تراوحت معاملات الارتباط من 0.64 إلى 0.97 (جميعها P < 0.001). وتدعم هذه النتائج بشكل أكبر الطبيعة التكاملية لهذه المؤشرات في تقييم التعقيد اللغوي. وفي المقابل، أظهر مؤشر FRES ارتباطات سلبية ملحوظة مع العديد من مقاييس القابلية للقراءة، بما في ذلك ARI وGFOG وFKGL وCL وSMOG، حيث كانت معاملات الارتباط المطلقة أكبر من 0.70 (جميعها P < 0.001). ويعكس هذا النمط اتجاه تسجيل النقاط العكسي في مؤشر FRES، حيث تشير الدرجات الأعلى إلى قابلية أكبر للقراءة. كما أظهر مؤشر LW ارتباطات سلبية ملحوظة مع مؤشرات القابلية للقراءة الأخرى، بما في ذلك ARI وFKGL وGFOG وSMOG، حيث تراوحت معاملات الارتباط المطلقة من 0.75 إلى 0.90 (جميعها P < 0.001). وعلى العكس من ذلك، ارتبط LW إيجابياً مع FRES (معامل الارتباط = 0.69، P < 0.001).
كما لوحظت ارتباطات واضحة بين مؤشرات سهولة القراءة والجودة الإجمالية للمعلومات، وفقاً لما تم قياسه بواسطة مقياس جودة المعلومات العام (GQS). وقد أظهر GQS ارتباطات إيجابية ضعيفة إلى متوسطة مع معظم مقاييس سهولة القراءة، بما في ذلك ARI وGFOG وFKGL وCL وSMOG، حيث تراوحت معاملات الارتباط من 0.326 إلى 0.391 (جميعها P < 0.001). وتشير هذه النتائج إلى أن التعقيد اللغوي الأكبر كان مرتبطاً بجودة معلومات أعلى وفقاً لتقييم الخبراء. وعلى العكس من ذلك، كان GQS مرتبطاً ارتباطاً سلبياً متوسطاً مع FRES (معامل الارتباط = −0.408، P < 0.001)، مما يشير إلى أن النصوص التي تتطلب مستوى قراءة أعلى حصلت عموماً على تقييمات GQS أعلى. كما أظهر GQS ارتباطاً سلبياً متوسطاً مع LW (معامل الارتباط = −0.421، P < 0.001).
كانت الارتباطات بين سهولة القراءة ومدى ملاءمة تعليم المرضى، كما تم تقييمها باستخدام مقياس PEMAT، أضعف بشكل عام ولكنها كانت متسقة من حيث الاتجاه. أظهرت درجات PEMAT ارتباطات إيجابية ضعيفة مع كل من ARI وGFOG وFKGL وCL وSMOG، حيث تراوحت معاملات الارتباط من 0.305 إلى 0.434 (جميعها P < 0.01). وفي المقابل، كانت درجات PEMAT مرتبطة ارتباطاً سلبياً ضعيفاً مع FRES وLW، حيث بلغت معاملات الارتباط المطلقة 0.432 و0.320 على التوالي (كلاهما P < 0.01). وتشير هذه النتائج إلى أنه، ضمن مجموعة البيانات هذه، ارتبط التعقيد اللغوي الأكبر بارتفاع طفيف في الملاءمة التعليمية وفقاً لتقييم الخبراء، رغم أن قوة هذه الارتباطات كانت محدودة.
ومن المهم الإشارة إلى أنه لوحظ وجود ارتباط إيجابي متوسط بين درجات PEMAT وGQS (معامل الارتباط = 0.645، P < 0.001). وكان هذا أقوى ارتباط لوحظ بين مجالات التقييم، مما يشير إلى أن الاستجابات ذات الملاءمة التعليمية الأعلى تميل أيضاً إلى الحصول على تقييمات أعلى للجودة الإجمالية للمعلومات.
توافر البيانات:
تتوفر مجموعة البيانات الكاملة الداعمة لهذه الدراسة كمواد تكميلية. يحتوي الملف التكميلي 1 على القائمة الكاملة للأسئلة والمطالبات الموحدة، و100 استجابة مؤرشفة تم إنشاؤها بواسطة نماذج اللغة الكبيرة (LLM). يحتوي الجدول التكميلي 2 على أوراق تسجيل الخبراء وفقاً لمقياسي PEMAT وGQS، بما في ذلك تقييمات PEMAT على مستوى البنود حيثما توفرت، ومجموع درجات PEMAT، ودرجات GQS، ومعلومات مقارنة المقيمين، وسجلات التحكيم عند الاقتضاء. تتوفر درجات سهولة القراءة، وبيانات مصدر الأشكال، وكود تحليل لغة R في الملف التكميلي 2. ونظراً لأن مخرجات نماذج اللغة الكبيرة قد تتغير بمرور الوقت بسبب تحديثات النماذج، وتغييرات الواجهة، والتعديلات على مستوى المنصة، فيجب استخدام المخرجات المؤرشفة بدلاً من الاستجابات المعاد إنشاؤها لأغراض التحقق والتحليل الثانوي.

الشكل 1: مقارنة بين خمسة نماذج لغوية كبيرة من حيث القابلية للقراءة، وملاءمة تعليم المرضى، والجودة الشاملة للمعلومات.(A–G) تعرض هذه اللوحة مؤشرات القابلية للقراءة: مؤشر القابلية للقراءة الآلي (ARI)، ودرجة فليش لسهولة القراءة (FRES)، ومؤشر غانينغ فوغ (GFOG)، ومستوى فليش-كينكيد الدراسي (FKGL)، ومؤشر كولمان-لياو (CL)، ومقياس سموغ المبسط (SMOG)، وصيغة لينسير للكتابة (LW). (H) تظهر هذه اللوحة إجمالي درجات PEMAT، وتظهر اللوحة (I) درجات الجودة الشاملة (GQS). وفي كل مخطط صندوقي، يمثل الخط المركزي الوسيط، ويشير الصندوق إلى المدى الربيعي (IQR)، وتمتد الشعيرات إلى 1.5 × IQR، بينما تمثل النقاط الموجودة خارج الشعيرات القيم المتطرفة. الاختصارات: ARI = مؤشر القابلية للقراءة الآلي؛ FRES = درجة فليش لسهولة القراءة؛ GFOG = مؤشر غانينغ فوغ؛ FKGL = مستوى فليش كينكيد الدراسي؛ CL = مؤشر كولمان لياو؛ SMOG = مقياس سموغ المبسط؛ LW = لينسير للكتابة؛ PEMAT = أداة تقييم مواد تعليم المرضى من حيث القابلية للفهم والقابلية للتنفيذ، الصيغة القابلة للطباعة؛ Global Quality Score = GQS. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 2: مصفوفة ارتباط سبيرمان بين مؤشرات سهولة القراءة، ومدى ملاءمة تعليم المرضى، والجودة الإجمالية للمعلومات عبر جميع الاستجابات التي ولدتها النماذج. توضح المصفوفة معاملات ارتباط سبيرمان للارتباطات الزوجية بين ARI وFRES وGFOG وFKGL وCL وSMOG وLW وPEMAT وGQS. الاختصارات: ARI = مؤشر سهولة القراءة الآلي؛ FRES = درجة فليش لسهولة القراءة؛ GFOG = مؤشر غانينغ فوغ؛ FKGL = مستوى درجة فليش-كينكايد؛ CL = مؤشر كولمان-لياو؛ SMOG = المقياس البسيط للغموض (Gobbledygook)؛ LW = مقياس لينسير رايت؛ PEMAT = أداة تقييم مواد تعليم المرضى؛ GQS = درجة الجودة العالمية. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.
الجدول 1: قائمة تضم 20 سؤالاً متعلقاً بألم العصب ثلاثي التوائم. يرجى النقر هنا لتحميل هذا الملف.
الجدول 2: أدوات وصيغ وأوصاف قابلية القراءة. يرجى النقر هنا لتحميل هذا الملف.
الجدول 3: معايير الجودة الخاصة بدرجة الجودة العالمية (GQS). يرجى النقر هنا لتنزيل هذا الملف.
الجدول 4: نتائج تحليل نماذج لغوية كبيرة مختلفة بالنسبة للأسئلة الأكثر شيوعاً المتعلقة بألم العصب ثلاثي التوائم. يرجى النقر هنا لتحميل هذا الملف.
الجدول 5: نتائج التحليل عبر أبعاد مختلفة للأسئلة الأكثر شيوعاً المتعلقة بألم العصب ثلاثي التوائم. يرجى النقر هنا لتحميل هذا الملف.
الجدول التكميلي 1: درجات المقروئية للاستجابات التي أنشأتها النماذج اللغوية الكبيرة الخمسة عبر جميع مؤشرات المقروئية التي تم تقييمها. يرجى النقر هنا لتحميل هذا الملف.
الجدول التكميلي 2: تقييمات الخبراء لمدى ملاءمة تثقيف المرضى (PEMAT) والجودة العامة للمعلومات (GQS) للاستجابات التي أنشأتها النماذج اللغوية الكبيرة الخمسة. يرجى النقر هنا لتحميل هذا الملف.
الملف التكميلي 1: أسئلة موحدة حول ألم العصب ثلاثي التوائم والاستجابات الكاملة الناتجة عن خمسة نماذج لغوية كبيرة. يرجى النقر هنا لتحميل هذا الملف.
الملف التكميلي 2: نصوص لغة R والبيانات المصدرية المستخدمة في التحليلات الإحصائية وإنشاء الأشكال. يرجى النقر هنا لتنزيل هذا الملف.
قامت هذه الدراسة المرجعية المقطعية بمقارنة منهجية لسهولة القراءة، والملاءمة التعليمية، والجودة الإجمالية للمعلومات في مواد تثقيف المرضى حول ألم العصب ثلاثي التوائم (TN) التي تم إنشاؤها بواسطة خمسة من النماذج اللغوية الكبيرة (LLMs) المتاحة علناً. وقد ظهرت أربع نتائج رئيسية؛ أولاً، تباينت سهولة القراءة بشكل كبير بين النماذج، حيث أنتج GPT-5 الاستجابات الأكثر تعقيداً لغوياً، بينما أنتج Wenxin Yiyan المحتوى الأكثر سهولة في القراءة. ثانياً، كانت سهولة القراءة وجودة المعلومات المقيمة من قبل الخبراء بُعدين تقييميين متميزين، حيث حقق GPT-5 أعلى درجات PEMAT وGQS على الرغم من انخفاض سهولة قراءته. ثالثاً، أثر موضوع المحتوى على سهولة القراءة، حيث تطلبت مواضيع الوقاية، والتأهيل، والمسببات وعوامل الخطر بشكل عام مستويات قراءة أعلى، بينما ظلت درجات PEMAT وGQS مستقرة نسبياً عبر فئات المحتوى المختلفة. وأخيراً، أظهرت مؤشرات سهولة القراءة اتساقاً داخلياً قوياً، وكشفت تحليلات الارتباط عن وجود ارتباطات إيجابية ضعيفة إلى متوسطة بين التعقيد اللغوي وكل من PEMAT وGQS، بالإضافة إلى ارتباط إيجابي متوسط بين PEMAT وGQS. وتوفر هذه النتائج مجتمعةً معياراً لتقييم مواد تثقيف مرضى ألم العصب ثلاثي التوائم التي تنتجها النماذج اللغوية الكبيرة، مع تسليط الضوء على الحاجة إلى الموازنة بين الاكتمال الطبي وسهولة الوصول اللغوي. ومن المهم الإشارة إلى أن هذه النتائج تمثل مخرجات مرجعية مقيمة من قبل خبراء، ولا ينبغي تفسيرها كدليل على استيعاب المرضى، أو الدقة الواقعية، أو السلامة السريرية، أو الجاهزية للاستخدام السريري الروتيني.
تتوافق نتائج هذه الدراسة مع التقييمات السابقة للمعلومات الطبية التي أنشأها الذكاء الاصطناعي، والتي أفادت بوجود تباين كبير بين نماذج اللغات الكبيرة (LLMs) وانفصال متكرر بين سهولة القراءة وجودة المعلومات26,27,29. وقد أظهرت دراسات سابقة شملت مجالات مرضية متعددة أن مواد تثقيف المرضى التي تنتجها نماذج LLM غالبًا ما تتجاوز مستويات القراءة الموصى بها، وأن النماذج التي تنتج النصوص الأكثر سهولة في القراءة لا تقدم بالضرورة المعلومات الأكثر شمولاً أو أعلى جودة26,30. وتدعم النتائج المتعلقة بالتثقيف حول الورم العصبي (TN) هذا الملاحظة؛ حيث أنتج GPT-5 الاستجابات الأكثر تعقيداً من الناحية اللغوية، ومع ذلك حقق أعلى درجات PEMAT وGQS، بينما أنتج Wenxin Yiyan نصاً أكثر سهولة في القراءة ولكن بدرجات أقل من حيث الملاءمة التعليمية والجودة العامة وفقاً لتقييم الخبراء. علاوة على ذلك، تباينت سهولة القراءة عبر المجالات الموضوعية، حيث أظهرت مواضيع الوقاية وإعادة التأهيل ومواضيع المسببات وعوامل الخطر عموماً تعقيداً لغوياً أكبر، مما يشير إلى أن كلاً من خصائص النموذج وتعقيد الموضوع يؤثران على صعوبة القراءة31.
يتسق التضارب الظاهري بين سهولة القراءة وجودة المعلومات مع المفاهيم المتميزة التي تقيسها أدوات التقييم. فصيغ سهولة القراءة تقيم بشكل أساسي السمات اللغوية السطحية، مثل طول الجملة والتعقيد المعجمي، بينما يقيم مقياس PEMAT ومقياس GQS سمات من مستوى أعلى، بما في ذلك تنظيم المعلومات، واكتمالها، ووضوح الشروحات، وقابلية التطبيق32. وبالنسبة للتثقيف حول اعتلال العصب الوركي (TN)، غالبًا ما تتضمن الاستجابات عالية الجودة مناقشات حول الأعراض التحذيرية، والتشخيص التفريقي، والإدارة الدوائية والآثار الجانبية، والخيارات التداخلية والجراحية، واستراتيجيات إعادة التأهيل الفردية33. إن هذا المحتوى الشامل سريريًا يزيد حتمًا من الكثافة المصطلحية والتعقيد النحوي، مما يؤدي إلى درجات أعلى في مقاييس سهولة القراءة وتحسن في الجودة التعليمية وفقًا لتقييم الخبراء. ومن المهم ألا تُفسر هذه النتائج على أنها تشير إلى تفضيل اللغة الأكثر تعقيدًا، بل تشير إلى أن النماذج اللغوية الكبيرة (LLMs) الحالية غالبًا ما تحسن الاكتمال المعلوماتي على حساب الوصول اللغوي. لذا، يجب أن يركز التطوير المستقبلي لأنظمة تثقيف المرضى على الحفاظ على الدقة الطبية مع تبسيط اللغة من خلال مراجعات اللغة المبسطة، والعرض المنظم للنقاط الرئيسية، وشرح المصطلحات الفنية، وتقديم إرشادات واضحة وقابلة للتنفيذ تتناسب مع المرضى الذين لديهم مستويات متفاوتة من الثقافة الصحية11,34,35.
ويدعم تحليل الارتباط بشكل أكبر التمييز بين سهولة القراءة والجودة التعليمية. أظهرت معظم مؤشرات سهولة القراءة القائمة على المستوى الدراسي ارتباطات إيجابية ضعيفة إلى متوسطة مع كل من PEMAT وGQS، بينما أظهر FRES العلاقة العكسية المتوقعة لأن درجات FRES الأعلى تشير إلى سهولة أكبر في القراءة. ولا تعني هذه النتائج أن التعقيد اللغوي الأكبر هو أمر مرغوب فيه؛ بل تشير إلى أن النماذج اللغوية الكبيرة الحالية غالبًا ما تحقق اكتمالاً معلوماتيًا أكبر على حساب سهولة الوصول34. وبناءً على ذلك، يجب أن تعطي عملية تطوير تثقيف المرضى بمساعدة الذكاء الاصطناعي الأولوية للدقة الطبية والاكتمال مع دمج تحرير اللغة المبسطة، والعرض المنظم للنقاط الرئيسية، والتفسيرات الواضحة للمصطلحات التقنية، والتوصيات القابلة للتنفيذ والمصممة للمرضى الذين لديهم مستويات متفاوتة من الثقافة الصحية11,35.
تمثلت إحدى النتائج المنهجية الإضافية في السلوك المتميز لمؤشر LW مقارنة بمقاييس سهولة القراءة الأخرى. فخلافاً لمقاييس ARI وFKGL وGFOG وCL وSMOG، اتبع LW نمطاً أكثر تشابهاً مع FRES، مما يعكس الاختلافات في كيفية تشغيل صيغ سهولة القراءة لتعقيد النص36. ونظراً لأن LW قد طُوِّر في الأصل للأدلة التقنية ويركز على بنية الجمل المختارة وتصنيف الكلمات بدلاً من الخصائص العامة للجملة أو المقطع اللفظي، فقد يستجيب بشكل مختلف للنصوص الطبية التي ينتجها الذكاء الاصطناعي والتي تجمع بين العبارات الموجزة والمقاطع التوضيحية الأطول وتوزيعات غير متساوية للمصطلحات التقنية37,38. وتعزز هذه النتائج أهمية إطار تقييم متعدد المقاييس، حيث لا يوجد مؤشر واحد لسهولة القراءة يمكنه استيعاب جميع أبعاد تعقيد النص بشكل كافٍ. وبما يتفق مع الدراسات السابقة حول المعلومات الصحية التي ينتجها الذكاء الاصطناعي، يجب بالتالي تفسير سهولة القراءة الإجمالية باستخدام أدلة متقاربة عبر مؤشرات تكميلية متعددة بدلاً من الاعتماد على أي مقياس منفرد39.
أثرت فئة المحتوى أيضاً على سهولة القراءة. وبشكل عام، أنتجت موضوعات الوقاية والتأهيل والمسببات وعوامل الخطر نصوصاً ذات صعوبة قراءة أعلى مقارنة بالمعرفة الأساسية بالمرض، وربما يعود ذلك إلى أن هذه الموضوعات تتطلب توصيات مشروطة، وتفسيرات ميكانيكية، ومصطلحات أكثر تخصصاً40,41. وفي المقابل، تعتمد المعرفة الأساسية بالمرض بشكل أساسي على التعريفات ويمكن نقلها بلغة أبسط42. ورغم هذه الاختلافات، ظلت نتائج PEMAT وGQS متسقة نسبياً عبر المجالات الموضوعية، مما يشير إلى أن الملاءمة التعليمية المقيّمة من قبل الخبراء والجودة العامة للمعلومات قد تم الحفاظ عليهما عبر مختلف أنواع أسئلة المرضى35,43.
تترتب على هذه النتائج عدة تداعيات على الممارسة السريرية وتطوير النماذج اللغوية الكبيرة (LLMs) في المستقبل. وبما أن المرضى يتوجهون بشكل متزايد لاستخدام النماذج اللغوية الكبيرة للحصول على معلومات قبل أو بعد الاستشارات الطبية، فينبغي أن يكون المحتوى الذي ينتجه الذكاء الاصطناعي مكملاً لاستشارات الطبيب وليس بديلاً عنها، لا سيما فيما يتعلق بسلامة الأدوية، ودواعي العلاج التدخلي أو الجراحي، والتعرف على أعراض "العلامات الحمراء" التي تتطلب تقييماً عاجلاً44. وقد تستفيد مؤسسات الرعاية الصحية من توفير موارد تعليمية بلغة مبسطة ومراجعة من قبل الخبراء، مع استخدام النماذج اللغوية الكبيرة كأدوات لصياغة المسودات أو دعم اتخاذ القرار بدلاً من كونها أنظمة مستقلة لتثقيف المرضى. كما يجب أن تشتمل النماذج المستقبلية على استراتيجيات توليد تراعي سهولة القراءة، والتقرير الشفاف لإصدارات النماذج وتواريخ التوليد، والتواصل الصريح بشأن عدم اليقين، وإجراءات الحوكمة التي تشمل مراجعة السريريين، والتحقق من الدقة الواقعية، وفحص الهلوسة، وفحوصات سلامة الأدوية، وإرشادات العلامات الحمراء، واختبار استيعاب المريض قبل التنفيذ السريري26,44,45.
هناك عدة قيود لهذه الدراسة؛ حيث جُمعت مخرجات النماذج من واجهات ويب متاحة للعموم في تاريخ واحد، وقد تؤثر تحديثات النماذج اللاحقة، أو تغييرات الواجهة، أو مطالبات النظام الخفية، أو إعدادات التوليد الافتراضية على إمكانية إعادة إنتاج النتائج. كما تم تطوير مجموعة الأسئلة المكونة من 20 سؤالاً بواسطة خبراء سريريين بدلاً من اشتقاقها من سجلات بحث المرضى أو مقابلات رسمية معهم، وهو إجراء قد يؤدي إلى حدوث تحيز في الاختيار. علاوة على ذلك، اعتمدت الدراسة على تقييمات PEMAT و GQS التي أجراها الخبراء، ولم تقيّم مدى استيعاب المرضى، أو ثقتهم، أو رضاهم، أو سلوكياتهم الصحية، أو النتائج السريرية. كما أن صيغ القراءة السهلة، وأدوات PEMAT و GQS لا تقيم بشكل مباشر الدقة الواقعية، أو مخاطر الهلوسة، أو دقة الاستشهادات، أو اكتمال موانع الاستعمال، أو السلامة السريرية. وبناءً على ذلك، يجب تفسير هذه النتائج على أنها تحليل مقارن مقطعي بناءً على تقييم الخبراء، وليس كدليل على أن المواد التي تولدها نماذج LLM جاهزة للاستخدام السريري الروتيني. ويجب أن تشمل الدراسات المستقبلية مخرجات النماذج المؤرشفة، والبيانات الوصفية التفصيلية للنماذج، وتقييمات متعددة اللغات، ومجموعات أسئلة أكبر، وعمليات تدقيق رسمية للسلامة، وتقييمات الدقة الواقعية، ومقاييس النتائج المتمحورة حول المريض، وذلك قبل النظر في تطبيق المواد التعليمية المولدة بواسطة LLM في الممارسة السريرية.
في هذه الدراسة المرجعية المقطعية المقيّمة من قبل خبراء، أظهرت النماذج اللغوية الكبيرة المتاحة للعموم تباينًا جوهريًا في سهولة القراءة، والملاءمة التعليمية، والجودة الإجمالية للمعلومات في مواد تثقيف المرضى المصابين بألم العصب ثلاثي التوائم. حقق نموذج GPT-5 أعلى درجات PEMAT وGQS وفقًا لتقييم الخبراء، ولكنه أنتج أيضًا الاستجابات الأكثر تعقيدًا من الناحية اللغوية، مما يسلط الضوء على أن سهولة القراءة والجودة التعليمية المقيمة من قبل الخبراء تمثلان بُعدين مرتبطين ولكن متميزين في تثقيف المرضى. ورغم أن بعض النماذج أنتجت محتوى أسهل في القراءة، فإن ذلك لم يترجم بالضرورة إلى ملاءمة تعليمية أكبر أو جودة إجمالية أعلى للمعلومات. ونظرًا لأن هذه الدراسة لم تقيم الدقة الواقعية من خلال تدقيق مخصص للسلامة، أو مخاطر الهلوسة، أو دقة الاستشهادات، أو استيعاب المرضى، أو الثقة، أو الرضا، أو السلوكيات الصحية، أو النتائج السريرية، يجب تفسير النتائج على أنها تحليل مرجعي مقيم من قبل خبراء وليست دليلًا على الجاهزية السريرية. وينبغي أن تدمج الدراسات المستقبلية مراجعة الخبراء، والتقييمات الرسمية للسلامة والدقة الواقعية، والتقييمات التي تركز على المريض لدعم الاستخدام الآمن والفعال للمواد التي تنتجها النماذج اللغوية الكبيرة في تثقيف المرضى.
يقر المؤلفون بأنه لا توجد لديهم أي تضاربات في المصالح.
لم يتلقَّ هذا البحث أي منحة محددة من أي وكالة تمويل في القطاعات العامة أو التجارية أو غير الربحية. يشكر المؤلفون الزملاء السريريين الذين قدموا ملاحظاتهم حول مجموعة أسئلة ألم العصب ثلاثي التوائم وساعدوا في تحسين إطار التقييم. كما نشكر جميع المساهمين الذين دعموا إعداد المخطوطة ومراجعتها.
| الاسم | الشركة | رقم فهرسي | التعليقات |
|---|---|---|---|
| منصة DeepSeek للدردشة | DeepSeek | https://chat.deepseek.com/ | واجهة نموذج لغوي كبير متاحة للعموم تُستخدم لتوليد الاستجابات |
| منصة Doubao للدردشة | Doubao | https://www.doubao.com/chat/ | واجهة نموذج لغوي كبير متاحة للعموم تُستخدم لتوليد الاستجابات |
| GPT 5 | OpenAI | https://chat.openai.com/ | واجهة نموذج لغوي كبير متاحة للعموم تُستخدم لتوليد الاستجابات |
| برمجية R، الإصدار 4.4.3 | R Foundation for Statistical Computing | غير ينطبق | التحليل الإحصائي والتصور البياني |
| حاسبة Readability Formulas لقراءة النصوص عبر الإنترنت | Readability Formulas | غير ينطبق | أداة عبر الإنترنت تُستخدم لحساب مؤشرات سهولة القراءة |
| منصة Tongyi Qianwen للدردشة | Tongyi Qianwen | https://www.tongyi.com/ | واجهة نموذج لغوي كبير متاحة للعموم تُستخدم لتوليد الاستجابات |
| منصة Wenxin Yiyan للدردشة | Wenxin Yiyan | https://yiyan.baidu.com/ | واجهة نموذج لغوي كبير متاحة للعموم تُستخدم لتوليد الاستجابات |
طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه
طلب إذن