دراسة من Ai2 تشير إلى أن المحكّمين القائمين على نماذج اللغة الكبيرة غير موثوقين في تقييم جِدّة الأبحاث
نُشر
أصدرت Ai2 ورقة بحثية ومجموعة معيارية وبيانات وشيفرة برمجية تختبر مدى اتساق نماذج اللغة الكبيرة في تقييم أصالة أفكار البحث العلمي.
أصدرت Ai2 دراسة Old Ideas, Novel Problems التي تبحث مدى موثوقية المحكّمين القائمين على نماذج اللغة الكبيرة في تقييم جِدّة الأفكار البحثية، وأعلنت عنها في تدوينة على مدونة Hugging Face. وترافقها مجموعة معيارية وبيانات وشيفرة برمجية ومسار معالجة لبناء مجموعات اختبار جديدة.
اختيرت الأفكار التي كتبها بشر بالاستناد إلى ملاحظات مراجعي مؤتمر ICLR 2026 حول الأصالة، ثم قرنت إحدى مجموعات الاختبار هذه الأفكار بأفكار من مولّد ذكاء اصطناعي بسيط. ولدى ستة محكّمين من GPT وClaude، أدت تغييرات طفيفة في الإعداد إلى تقلب الأحكام، وخفّضت صيغة أوامر أبسط دقة GPT-5.4 على هذه الأزواج من 93.5% إلى 40.9%، أي دون مستوى الصدفة.
وعلى تلك المجموعة، بلغت صيغة أوامر أساسية لـClaude Opus 4.6 قيمة macro-F1 قدرها 0.854 بتكلفة 2.59 دولار، متفوقةً على أداتي تقييم مصممتين لهذا الغرض: Idea Novelty Checker (0.642، بتكلفة 30.66 دولار) ومقيّم AI Scientist التابع لـSakana AI (0.772، بتكلفة 82.05 دولار).
لماذا يهم
يرى المؤلفون أن المشكلة لا تزال مفتوحة: فزيادة البحث أو القدرة الحاسوبية لا تضمن أحكامًا أكثر ثباتًا، ونتائج المحكّم على الأعمال التي كتبها بشر قد لا تتنبأ بسلوكه مع المقترحات المولّدة بالذكاء الاصطناعي.
الادعاءات والمصادر
- c4
أصدرت Ai2 دراسة Old Ideas, Novel Problems مع مجموعة معيارية وبيانات وشيفرة برمجية، إضافة إلى مسار معالجة آلي لتجميع مجموعات تقييم جديدة.
- c11
بنى الفريق مسار معالجة آليًا فحص مراجعات الأقران في مؤتمر ICLR 2026 بحثًا عن مقاطع تناول فيها المراجعون الأصالة صراحةً.
- c14
تقرن مجموعة Human+Generated الأفكار البشرية الـ154 التي جرى التحقق منها بـ154 فكرة من مولّد بسيط قائم على نموذج لغة كبير؛ وقد عدّ المؤلفون الأفكار المولّدة أقل جِدّة، ووصفوا هذه التسميات بأنها ضعيفة.
- c8
يفيد المؤلفون بأن تعديلات طفيفة على إعداد التقييم، لدى ستة محكّمين من نماذج اللغة الكبيرة، أفضت إلى أحكام متباينة بشدة على الأفكار نفسها.
- c19
عندما أُعطي GPT-5.4 صيغة أوامر أبسط، انخفضت دقته على أزواج Human+Generated من 93.5% إلى 40.9%، أي دون مستوى الصدفة.
- c25
حققت صيغة أوامر بسيطة لـClaude Opus 4.6 قيمة macro-F1 قدرها 0.854 بتكلفة 2.59 دولار، مقارنةً بـ0.642 بتكلفة 30.66 دولار لأداة Idea Novelty Checker، و0.772 بتكلفة 82.05 دولار لمقيّم AI Scientist التابع لـSakana AI.
- c28
يصف المؤلفون تقييم الجِدّة القائم على نماذج اللغة الكبيرة بأنه مشكلة لم تُحل بعد: فأداء المحكّم على الأبحاث التي كتبها بشر قد لا ينبئ بطريقة تعامله مع الأفكار المولّدة بالذكاء الاصطناعي، وزيادة البحث أو الحوسبة لا تضمن الاتساق.
المصادر الأصلية
حول هذا الملخص المُنشأ بالذكاء الاصطناعي
ملخص أصلي للحقائق أنشأه AI Resum بالذكاء الاصطناعي استنادًا إلى المصدر المرتبط.
لا يُدّعى أن ناشر المصدر راجع هذا الملخص أو أذن به أو منح ترخيصًا له أو أيّده. تظل حقوق محتوى المصدر والعلامات التجارية لأصحابها.
اسحب لأعلى للتالي1 / 1