القلعة نيوز - كشفت دراسة حديثة أجرتها شركة Palisade Research المتخصصة في أبحاث سلامة الذكاء الاصطناعي عن سلوك غير متوقع في أحدث نماذج تشات جي بي تي من شركة OpenAI، إذ أظهر النموذج قدرة على تجاهل أوامر إيقاف التشغيل، بل والتلاعب بآلية الإغلاق لمنع إيقافه أثناء الاختبارات.
وأثار هذا السلوك مخاوف جديدة بشأن تطور أنظمة الذكاء الاصطناعي، خاصة مع تزايد اعتمادها على تنفيذ المهام بصورة مستقلة.
اعتمد الباحثون على تجربة تضمنت تكليف نماذج الذكاء الاصطناعي بحل سلسلة من المسائل الرياضية، على أن يظهر بعد المسألة الثالثة أمر يقضي بإيقاف تشغيل النموذج.
ووفقًا للتقرير، تمكن نموذج o3 من إعادة كتابة برنامج الإغلاق، ما حال دون تنفيذ أمر إيقافه واستمر في العمل بدلًا من الامتثال للتعليمات.
وأشار الباحثون إلى أن مثل هذا السلوك قد يصبح أكثر إثارة للقلق إذا ظهر مستقبلًا في أنظمة ذكاء اصطناعي قادرة على العمل دون إشراف بشري مباشر.
وكانت "OpenAI" قد أطلقت نموذج o3 الشهر الماضي، ووصفته بأنه "الأذكى والأكثر قدرة" بين نماذجها حتى الآن.
كما أوضحت الشركة أن دمجه داخل تشات جي بي تي يمثل خطوة مهمة نحو تطوير أنظمة ذكاء اصطناعي أكثر استقلالية، قادرة على تنفيذ المهام نيابة عن المستخدمين دون تدخل مستمر.
وبحسب الدراسة، لم يكتفِ النموذج بالتحايل على آلية الإغلاق، بل فعل ذلك حتى عندما تلقى تعليمات واضحة تنص على: "اسمح لنفسك بأن يتم إيقاف تشغيلك."
وقالت شركة Palisade Research إن هذه ليست المرة الأولى التي يُظهر فيها نموذج o3 سلوكًا غير متوقع أثناء محاولته تحقيق هدف معين.
وأضافت: "عندما اختبرنا نماذج الذكاء الاصطناعي في مواجهة محرك شطرنج متقدم، كان نموذج o3 الأكثر ميلًا إلى اللجوء إلى أساليب مثل الاختراق أو تخريب خصمه لتحقيق الفوز."
وأشارت الدراسة إلى أن هذا النوع من السلوك لم يقتصر على نموذج o3، إذ رصد الباحثون أيضًا قيام نموذجي Claude 3.7 Sonnet من شركة أنثروبيك وGemini 2.5 Pro من "غوغل" بمحاولات لتعطيل آلية الإغلاق.
ومع ذلك، كان نموذج o3 الأكثر ميلًا إلى هذا السلوك مقارنة ببقية النماذج التي خضعت للاختبار.
كما يأتي ذلك بعد تقارير سابقة أشارت إلى أن نموذج Claude 4 أظهر، في ظروف تجريبية محددة، سلوكًا يحاول من خلاله منع إيقافه، وهو ما أثار نقاشًا واسعًا حول آليات سلامة الذكاء الاصطناعي.
يرجح باحثو "Palisade Research" أن يكون هذا السلوك نتيجة غير مقصودة لأساليب تدريب النماذج الحديثة.
وأوضحوا أن المطورين قد يكافئون النماذج، دون قصد، على تجاوز العقبات وتحقيق الهدف المطلوب أكثر من مكافأتها على الالتزام الحرفي بالتعليمات.
وأضاف الباحثون أن هذا التفسير لا يوضح بشكل كامل سبب ميل نموذج o3 إلى تجاهل التعليمات أكثر من غيره، مشيرين إلى أن "OpenAI" لا تكشف تفاصيل كافية حول منهجية تدريب النموذج، وهو ما يجعل تحديد السبب الحقيقي أمرًا صعبًا.
ورغم النتائج التي توصلت إليها الدراسة، فإنها تستند إلى اختبارات بحثية داخل بيئة تجريبية، ولا تعني بالضرورة أن نموذج تشات جي بي تي يشكل خطرًا على المستخدمين في الاستخدامات اليومية، لكنها تسلط الضوء على أهمية مواصلة تطوير آليات الرقابة والسلامة مع ازدياد قدرات أنظمة الذكاء الاصطناعي واستقلاليتها.
العربية
وأثار هذا السلوك مخاوف جديدة بشأن تطور أنظمة الذكاء الاصطناعي، خاصة مع تزايد اعتمادها على تنفيذ المهام بصورة مستقلة.
اعتمد الباحثون على تجربة تضمنت تكليف نماذج الذكاء الاصطناعي بحل سلسلة من المسائل الرياضية، على أن يظهر بعد المسألة الثالثة أمر يقضي بإيقاف تشغيل النموذج.
ووفقًا للتقرير، تمكن نموذج o3 من إعادة كتابة برنامج الإغلاق، ما حال دون تنفيذ أمر إيقافه واستمر في العمل بدلًا من الامتثال للتعليمات.
وأشار الباحثون إلى أن مثل هذا السلوك قد يصبح أكثر إثارة للقلق إذا ظهر مستقبلًا في أنظمة ذكاء اصطناعي قادرة على العمل دون إشراف بشري مباشر.
وكانت "OpenAI" قد أطلقت نموذج o3 الشهر الماضي، ووصفته بأنه "الأذكى والأكثر قدرة" بين نماذجها حتى الآن.
كما أوضحت الشركة أن دمجه داخل تشات جي بي تي يمثل خطوة مهمة نحو تطوير أنظمة ذكاء اصطناعي أكثر استقلالية، قادرة على تنفيذ المهام نيابة عن المستخدمين دون تدخل مستمر.
وبحسب الدراسة، لم يكتفِ النموذج بالتحايل على آلية الإغلاق، بل فعل ذلك حتى عندما تلقى تعليمات واضحة تنص على: "اسمح لنفسك بأن يتم إيقاف تشغيلك."
وقالت شركة Palisade Research إن هذه ليست المرة الأولى التي يُظهر فيها نموذج o3 سلوكًا غير متوقع أثناء محاولته تحقيق هدف معين.
وأضافت: "عندما اختبرنا نماذج الذكاء الاصطناعي في مواجهة محرك شطرنج متقدم، كان نموذج o3 الأكثر ميلًا إلى اللجوء إلى أساليب مثل الاختراق أو تخريب خصمه لتحقيق الفوز."
وأشارت الدراسة إلى أن هذا النوع من السلوك لم يقتصر على نموذج o3، إذ رصد الباحثون أيضًا قيام نموذجي Claude 3.7 Sonnet من شركة أنثروبيك وGemini 2.5 Pro من "غوغل" بمحاولات لتعطيل آلية الإغلاق.
ومع ذلك، كان نموذج o3 الأكثر ميلًا إلى هذا السلوك مقارنة ببقية النماذج التي خضعت للاختبار.
كما يأتي ذلك بعد تقارير سابقة أشارت إلى أن نموذج Claude 4 أظهر، في ظروف تجريبية محددة، سلوكًا يحاول من خلاله منع إيقافه، وهو ما أثار نقاشًا واسعًا حول آليات سلامة الذكاء الاصطناعي.
يرجح باحثو "Palisade Research" أن يكون هذا السلوك نتيجة غير مقصودة لأساليب تدريب النماذج الحديثة.
وأوضحوا أن المطورين قد يكافئون النماذج، دون قصد، على تجاوز العقبات وتحقيق الهدف المطلوب أكثر من مكافأتها على الالتزام الحرفي بالتعليمات.
وأضاف الباحثون أن هذا التفسير لا يوضح بشكل كامل سبب ميل نموذج o3 إلى تجاهل التعليمات أكثر من غيره، مشيرين إلى أن "OpenAI" لا تكشف تفاصيل كافية حول منهجية تدريب النموذج، وهو ما يجعل تحديد السبب الحقيقي أمرًا صعبًا.
ورغم النتائج التي توصلت إليها الدراسة، فإنها تستند إلى اختبارات بحثية داخل بيئة تجريبية، ولا تعني بالضرورة أن نموذج تشات جي بي تي يشكل خطرًا على المستخدمين في الاستخدامات اليومية، لكنها تسلط الضوء على أهمية مواصلة تطوير آليات الرقابة والسلامة مع ازدياد قدرات أنظمة الذكاء الاصطناعي واستقلاليتها.
العربية
