أثارت دراسة جديدة، قادها باحثون في معهد أوكسفورد للإنترنت بالتعاون مع باحثين من مؤسسات أخرى. تساؤلات جدية حول مدى دقة وصحة المقاييس المعمول بها لتقييم أنظمة الذكاء الاصطناعي.
في حين أشاروا إلى أن هذه الأساليب غالبًا ما “تُبالغ في بيع” أداء الذكاء الاصطناعي. وتفتقر إلى الصرامة العلمية.
بينما فحصت الدراسة 445 من أبرز اختبارات الذكاء الاصطناعي، المعروفة بـ “المقاييس المعيارية” (Benchmarks)، والتي يستخدمها المطورون والباحثون لقياس قدرات النماذج والتباهي بالتقدم التقني المحرز. بدءًا من أداء الهندسة البرمجية وصولًا إلى القدرة على التفكير المجرد
لكن الورقة البحثية تشير إلى أن هذه الاختبارات الأساسية قد لا تكون موثوقة، وتشكك في صلاحية العديد من نتائج المقاييس.
مشكلات منهجية
وفقًا للتحليل فإن عددًا كبيرًا من المقاييس المعيارية الرائدة يفشل في:
- تحديد دقيق لما يهدف إلى اختباره.
- إعادة استخدام البيانات وطرق الاختبار بشكل مثير للقلق من مقاييس موجودة مسبقًا.
- نادرًا ما تستخدم طرقًا إحصائية موثوقة لمقارنة النتائج بين النماذج.
وحذر آدم مهدي؛ زميل الأبحاث الأقدم في معهد أوكسفورد للإنترنت والمؤلف الرئيس للدراسة، من أن هذه المقاييس يمكن أن تكون مضللة بشكل مقلق.
وصرح لشبكة (إن بي سي نيوز) قائلًا: “عندما نطلب من نماذج الذكاء الاصطناعي أداء مهام معينة، فإننا غالبًا ما نقيس مفاهيم أو تركيبات مختلفة تمامًا عما نهدف إلى قياسه”.
كما أشار أندرو بين؛ وهو باحث آخر ومؤلف رئيس مشارك في الدراسة، إلى أنه حتى المقاييس ذات السمعة الطيبة غالبًا ما يتم الوثوق بها بشكل أعمى وتستحق مزيدًا من التدقيق.
وشدد بالقول: “تحتاج حقًا إلى أخذ الأمر بحذر عندما تسمع عبارات مثل ‘النموذج يحقق مستوى ذكاء على مستوى الدكتوراه.. لسنا متأكدين من أن تلك القياسات تتم بشكل جيد بشكل خاص”. وفقًا لـ”techbuzz”.
معايير المقاييس المعيارية
في الورقة الجديدة قدم المؤلفون ثماني توصيات وقائمة مرجعية لـ “ممنهجة معايير المقاييس المعيارية” وتحسين الشفافية والثقة فيها.
وتشمل التحسينات المقترحة:
- تحديد نطاق الإجراء المحدد الذي يتم تقييمه.
- إنشاء مجموعات من المهام التي تمثل بشكل أفضل القدرات العامة التي يتم قياسها.
- مقارنة أداء النماذج عبر التحليل الإحصائي الدقيق.
وأشاد نيكولا جوركوفيتش؛ عضو الفريق الفني في مركز METR AI البحثي المؤثر، بمساهمة الورقة.
وقال: “نحن بحاجة إلى المزيد من الصرامة إذا أردنا أن نكون قادرين على تفسير نتائج المقاييس المعيارية للذكاء الاصطناعي. هذه القائمة المرجعية هي نقطة انطلاق للباحثين للتحقق مما إذا كان المقياس الخاص بهم سيكون ذا بصيرة”.
تأتي هذه الدراسة لتضاف إلى الأبحاث السابقة التي أشارت إلى العيوب في العديد من مقاييس الذكاء الاصطناعي.
كذلك تدفع المجتمع البحثي نحو تبني اختبارات جديدة أكثر واقعية، مثل تلك التي أصدرتها مؤخرًا OpenAI ومركز السلامة في الذكاء الاصطناعي. وتقيم أداء الذكاء الاصطناعي في مهام ذات مغزى اقتصادي تتطلبها المهن الواقعية.