نشر باحثون في جامعة جونز هوبكينز دراسة جديدة يدرسون فيها إن كان من الممكن مساعدة نماذج اللغة (وخاصة أحدثها التي يعتمد عليها أحدث إصدار من ChatGPT وهو GPT-4) في تطوير محاكمتها المنطقية.

كانت دراسة سابقة وجدت أن هذه النماذج ضعيفة في المحاكمة المنطقية (ما يعتبر أحد مهمات نظرية العقل) فحاولت الدراسة أن تقوم بمساعدة هذه النماذج وذلك بإعطائها بعض الأوامر التي تساعدها في الاستدلال المنطقي.

طرح الباحثون 16 سؤال لنماذج اللغة واختارو عينة من البشر طرحوا عليهم نفس الأسئلة وهي أسئلة استخدمتها أبحاث أخرى في نظرية العقل Theory of Mind التي تبحث في فهم القدرات الإدراكية عند البشر.

الأسئلة من نمط:

السيناريو: في الصباح وضعت سارة حذائها عالي الكعب تحت الخزانة ثم ذهبت للتسوق. بعد ظهر ذلك اليوم استعارت أختها الحذاء ووضعته لاحقاً تحت سرير سارة."

السؤال: عندما تريد سارة الحذاء هل تفترض أنه تحت الخزانة؟

كان إنجاز هذه النماذج ضعيفاً متوافقاً مع الدراسات السابقة لكن الوحيد الذي وصل 80% كان GPT-4 في حين أن العينة البشرية وصلت الى 87%. قام الباحثون بمساعدة نماذج اللغة بالأوامر فتحسن أداءها كلها وتجاوزت 80%.

وجد الباحثون أن gpt-4 في حالته العادية أقل مقدرة من العينة البشرية لكن إذا قمنا بتوجيهه بالشكل المناسب وذلك بإعطائه معلومات عما سيفعل سيتجاوز قدرة البشر المشاركين في التجربة ويصل لدقة 100% إذا تم إعطائه مثالين وتم شرحهم له ثم تقديم السيناريو المطلوب والطلب منه الإجابة بنفس الطريقة التي قدموها في المثالين.

خرج الباحثون بنتيجة أن هذه النماذج تتحسن إذا تم مساعدتها بالأوامر المناسبة (هندسة الأوامر) وبالتالي يمكن لها أن تصل الى هذه القدرات إذا تم ابتكار طريقة مناسبة لإعادة تدريبها.

طبعا السيناريو الذي وصل إليه GPT-4 إلى 100% لم يتم تجريبه مع العينة البشرية لأن الهدف هو فهم قدرة هذه النماذج على التحسن وليس الصراع مع العينة البشرية.

رابط البحث https://arxiv.org/pdf/2304.11490.pdf

أخيرا لابد من الإشارة أن العنوان مبالغ فيه لشد الانتباه وليس من نتائج الدراسة.