قامت دراسة حديثة بتقييم أداء روبوت المحادثة للذكاء الاصطناعي (AI) ChatGPT في الإجابة على الأسئلة عالية الإنتاجية المصممة لإعداد شهادة مجلس طب العيون. بقيادة الدكتور راجيف إتش موني من جامعة تورنتو ، كشف التحقيق أن ChatGPT أجاب فقط على ما يقرب من نصف الأسئلة بشكل صحيح ، مع معدلات نجاح متفاوتة عبر التخصصات الفرعية المختلفة.
بينما أقر الباحثون بتطور الذكاء الاصطناعي في الطب ، أكد الباحثون أن ChatGPT لم تقدم مساعدة كبيرة في التحضير لشهادة البورد خلال فترة الدراسة. وسلطوا الضوء على أهمية الاستخدام المسؤول لأنظمة الذكاء الاصطناعي هذه في التعليم الطبي والممارسة السريرية ، بالنظر إلى إمكانية إخراج معلومات غير صحيحة.
تم تطوير ChatGPT بواسطة OpenAI ، وقد شارك في العديد من التطبيقات العلمية والطبية ، مما أثار آثارًا مجتمعية كبيرة. على الرغم من تطوير مناهج التدريب القائمة على الذكاء الاصطناعي في الطب ، أكدت الدراسة على حاجة طلاب الطب إلى التعرف على قيود ChatGPT.
استخدمت الدراسة المقطعية عينة متتالية من أسئلة الاختيار من متعدد القائمة على النص من برنامج تقييم معرفة طب العيون (OKAP) والامتحان التأهيلي الكتابي (WQE) المقدم من بنك أسئلة OphthoQuestions. من أصل 166 سؤالاً متاحاً ، تم تحليل 125 سؤالاً بواسطة ChatGPT. كانت النتيجة الأولية التي تم قياسها هي عدد أسئلة ممارسة امتحان شهادة البورد التي أجاب عنها موقع ChatGPT بشكل صحيح.
درست الدراسة أيضًا النتائج الثانوية ، بما في ذلك نسبة الأسئلة التي قدم لها الذكاء الاصطناعي تفسيرات إضافية ، وطول الأسئلة والإجابات ، والأداء في الإجابة على الأسئلة دون خيارات متعددة الخيارات ، والتغيرات في الأداء بمرور الوقت. تم إجراء تحليل ثانوي لتقييم أداء ChatGPT في سياقات المحادثة عن طريق إزالة خيارات الاختيار من متعدد.
خلال التحليل الأولي الذي تم إجراؤه في الفترة من 9 إلى 16 يناير 2023 ، أجاب ChatGPT بشكل صحيح على 58 سؤالاً من أصل 125 سؤالاً (46.4٪). كان أداء نظام الذكاء الاصطناعي الأفضل في فئة الطب العام ، حيث بلغت نسبة الاستجابة الصحيحة 79٪ ، بينما كان يعاني أكثر من غيره في فئة الشبكية والجسم الزجاجي ، حيث أجاب على جميع الأسئلة بشكل خاطئ.
علاوة على ذلك ، أظهر التحليل أن ChatGPT قدمت تفسيرات إضافية لـ 63٪ من الأسئلة. والجدير بالذكر أن نسبة الأسئلة مع التفسيرات كانت متشابهة بغض النظر عما إذا كانت منظمة العفو الدولية قد أجابت عليها بشكل صحيح أو غير صحيح. لم تجد الدراسة فرقاً معنوياً في طول الأسئلة والإجابات بين الإجابات الصحيحة والخاطئة.
في تحليل لاحق تم إجراؤه في فبراير 2023 ، تحسن أداء ChatGPT ، حيث أجاب بشكل صحيح على 73 من 125 سؤال متعدد الخيارات (58٪). أظهر نظام الذكاء الاصطناعي أيضًا معدل نجاح مماثل (54٪) عند الرد على أسئلة قائمة بذاتها دون خيارات متعددة الخيارات.
قدم الدكتور نيل إم بريسلر ، رئيس تحرير JAMA Ophthalmology ، تعليقًا تحريريًا على الدراسة. وأعرب عن حذره فيما يتعلق بالاعتماد على المعلومات التي تم إنشاؤها بواسطة روبوت محادثة للذكاء الاصطناعي وشدد على الحاجة إلى المراجعة الدقيقة والتحقق ، نظرًا لاحتمال وجود معلومات مضللة في طب العيون. تتطلب إرشادات اللجنة الدولية لمحرري المجلات الطبية (ICMJE) أيضًا أن يكون المؤلفون مسؤولين عن دقة ونزاهة عملهم ، مما يجعل من المستحيل حاليًا الاعتماد على روبوتات الدردشة بالذكاء الاصطناعي كمؤلفين في المؤلفات الطبية التي راجعها النظراء.
لمعالجة هذه المشكلة ، قامت جميع المجلات في شبكة JAMA ، بما في ذلك JAMA Ophthalmology ، بمراجعة تعليمات المؤلفين ، موضحة أنه لا يمكن اعتبار روبوتات المحادثة مؤلفين. مع الاعتراف بمساهمة منظمة العفو الدولية ، تتطلب المبادئ التوجيهية من المؤلفين استيفاء معايير محددة لائتمان التأليف.
مع استمرار تقدم مجال الذكاء الاصطناعي ، من الضروري إجراء مزيد من البحث والاعتبارات الأخلاقية لتحديد الدور والقيود المناسبة لروبوتات الدردشة للذكاء الاصطناعي في التعليم الطبي والممارسة. يعد الاستخدام المسؤول والتقييم النقدي لأنظمة الذكاء الاصطناعي أمرًا بالغ الأهمية لضمان نشر معلومات دقيقة وموثوقة.
