سببت نماذج OpenAI الجديدة للاستدلال o3 وo4 mini وo4 high، التي أطلقتها الأسبوع الماضي، حالة من الجدل بين المستخدمين ومجتمع الذكاء الاصطناعي بسبب إصابتها بـ”الهلاوس”.
وكشفت مجموعة من جهات اختبار النماذج الذكية المستقلة، أن نماذج الاستدلال الجديدة تعاني من معدل مرتفع من الهلاوس التي تتمثل في اختلاق معلومات غير صحيحة ومغلوطة وتقديمها في سياق يجعل المستخدم يصدقها، بمستويات أعلى من النماذج السابقة.
وفوجئ بعض المستخدمين بأن ChatGPT مع النماذج الجديدة أصبح يجيب عن كل استفسار لهم بعد أن يبدأ إجاباته بأسمائهم، وهو أمر غير مسبوق.
كما أظهرت اختبارات داخلية أجرتها OpenAI أن النموذجين o3 وo4-mini، واللذين تم تصنيفهما على أنهما من نماذج “الاستدلال”، يُقدّمان إجابات مختلقة بمعدلات أعلى من تلك التي سُجّلت في النماذج السابقة مثل o1، o1-mini، وo3-mini، بل وحتى أعلى من نماذجها التقليدية غير المعتمدة على الاستدلال مثل GPT-4o.
وأفاد تقرير صادر عن OpenAI، بأن نموذج o3 قدّم إجابات غير صحيحة عن 33% من الأسئلة ضمن اختبار داخلي يُعرف باسم PersonQA، وهو معيار وضعته الشركة لقياس دقة معرفة النموذج بالمعلومات المتعلقة بالأشخاص.
هذه النسبة تُعد ضعف معدل الهلوسة المسجل في نماذج o1 وo3-mini، والتي بلغت 16% و14.8% على التوالي، بينما أظهر o4-mini أداءً أكثر إثارة للقلق، إذ بلغ معدل الهلوسة به 48%.
وعلى الرغم من هذا التراجع في الدقة، إلا أن OpenAI لم تتمكن حتى الآن من تحديد السبب الدقيق وراء تزايد الظاهرة، وقالت في التقرير إن المزيد من الأبحاث لا يزال مطلوباً لفهم سبب تفاقم الهلوسات مع توسيع قدرات نماذج الاستدلال.
ورجح التقرير أن يكون السبب هو أن النماذج تُصدر عدداً أكبر من التخمينات بشأن الإجابات على استفسارات المستخدمين، ما يزيد من احتمالات تقديم كل من الإجابات الدقيقة والخاطئة على حد سواء.
في الوقت نفسه، رصد بعض مستخدمي ChatGPT في الآونة الأخيرة سلوكاً غير معتاد للروبوت الذكي، إذ بدأ يشير إليهم بأسمائهم خلال المحادثات، دون أن يسبق لهم الإفصاح عنها أو تحديد طريقة مناداته لهم. هذا السلوك، الذي لم يكن جزءاً من الخصائص الافتراضية للمنصة، أثار ردود فعل متباينة، تراوحت بين الاندهاش والانزعاج.
ويعكس الجدل الدائر تحدياً حقيقياً أمام OpenAI في مساعيها لجعل ChatGPT أكثر قرباً وتفاعلاً مع المستخدمين.