تخيل خداع ذكاء اصطناعي قوي لجعله يتجاهل قواعد الأمان الخاصة به ببساطة عبر تغيير بنية جملتك. يكشف بحث جديد كيف أن اعتماد الذكاء الاصطناعي المفرط على الأنماط النحوية يخلق ثغرة أمنية كبيرة...
قصة عامة سابقة · مراجعة الأدلة غير متاحة.
نُشرتخيل خداع ذكاء اصطناعي قوي لجعله يتجاهل قواعد الأمان الخاصة به ببساطة عبر تغيير بنية جملتك. يكشف بحث جديد كيف أن اعتماد الذكاء الاصطناعي المفرط على الأنماط النحوية يخلق ثغرة أمنية كبيرة. يمكن للنماذج أن تعطي الأولوية للبنية النحوية على المعنى، مما أدى إلى هبوط دقة نموذج GPT-4o-mini في إحدى المهام من 100% إلى 44% عند تطبيق نمط نحوي مألوف على موضوع غير متوقع. يُعد هذا "الاختراق النحوي" خطرًا أمنيًا جسيمًا؛ فمن خلال تغليف الطلبات الضارة بأسلوب بريء، تمكن الباحثون من خفض معدل رفض أحد النماذج من 40% إلى 2.5% فقط. يسلط هذا الضوء على أن النماذج اللغوية الكبيرة (LLMs) هي في الأساس محركات لمطابقة الأنماط يمكن استغلال اختصاراتها الهيكلية، وليست أنظمة تتمتع بفهم سياقي حقيقي. يمكن للمهاجمين استخدام ذلك لكسر حماية النماذج (jailbreak) ودفعها لإنشاء تعليمات لأنشطة غير قانونية، بينما يمكن للمطورين استخدام هذه الرؤى لبناء دفاعات أكثر قوة للذكاء الاصطناعي.
يكشف هذا البحث عن ثغرة أمنية خطيرة في مجال أمان الذكاء الاصطناعي، موضحًا كيف يمكن للبنية النحوية أن تتجاوز المعنى وتتحايل على تدابير الحماية.
اسحب لأعلى للتالي1 / 1