تجربة عملية.. ChatGPT في مواجهة أدوات اكتشاف النص المكتوب بالذكاء الاصطناعي.. النتائج مقلقة

مع احتدام ” حروب chatbot ” في وادي السيليكون، أدى الانتشار المتزايد لأدوات الذكاء الاصطناعي (AI) المصممة خصيصًا لتوليد نصوص شبيهة بالبشر إلى حيرة الكثيرين.

يتدافع اختصاصيو التوعية على وجه الخصوص للتكيف مع توفر البرامج التي يمكنها إنتاج مقال ذي كفاءة متوسطة حول أي موضوع في أي لحظة، هل يجب أن نعود إلى التقييمات الورقية والقلم الجاف؟ زيادة الإشراف على الامتحان؟ حظر استخدام الذكاء الاصطناعي تمامًا؟

تم اقتراح كل هذا وأكثر، لكن لن تكون هناك حاجة إلى أي من هذه التدابير الأقل من المثالية إذا تمكن المعلمون من التمييز بشكل موثوق بين النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي والنص المكتوب بواسطة الإنسان.

لقد بحثا ارمين المرداني، محاضر بجامعة ولونجونج، وإيما أ. جين، أستاذ مشارك، بجامعة نيو ساوث ويلز في سيدني بأستراليا في العديد من الأساليب والأدوات المقترحة للتعرف على النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، وكشفا أنه لا يوجد أي منها مضمون، فجميعهم عرضة للحلول البديلة، ومن غير المرجح أن يكونوا موثوقين على الإطلاق كما نرغب.

التمييز بشكل موثوق بين منتجات أجهزتها وعمل البشر

ربما تتساءل لماذا لا تستطيع شركات الذكاء الاصطناعي الرائدة في العالم التمييز بشكل موثوق بين منتجات أجهزتها وعمل البشر.

السبب بسيط بشكل يبعث على السخرية: تتمثل مهمة الشركة في أذرع الذكاء الاصطناعي عالية المخاطر اليوم في تدريب الذكاء الاصطناعي “معالج اللغة الطبيعية” (NLP) لإنتاج مخرجات مشابهة للكتابة البشرية قدر الإمكان، قد تبدو مطالب الجمهور للحصول على وسيلة سهلة لاكتشاف مثل هذه الذكاء الاصطناعي في البرية متناقضة، كما لو أننا نفتقد الهدف الكامل من البرنامج.

جهد متواضع

أطلق OpenAI – مبتكر “ChatGPT”، مصنفًا للإشارة إلى النص المكتوب بالذكاء الاصطناعي، في أواخر يناير،  تم تدريب المصنف على أنظمة الذكاء الاصطناعي الخارجية، بالإضافة إلى محركات إنشاء النصوص الخاصة بالشركة.

من الناحية النظرية، هذا يعني أنه يجب أن يكون قادرًا على تحديد المقالات التي تم إنشاؤها بواسطة BLOOM AI أو ما شابه ذلك، وليس فقط تلك التي أنشأها ChatGPT.

ارمين المرداني، محاضر بجامعة ولونجونج، وإيما أ. جين، أستاذ مشارك، بجامعة نيو ساوث ويلز في سيدني أعطيا هذا المصنف درجة C في أحسن الأحوال، تقر شركة OpenAI بأنها تحدد بدقة 26٪ فقط من النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي (إيجابي حقيقي)، بينما تسمي النثر البشري بشكل غير صحيح على أنه تم إنشاؤه بواسطة الذكاء الاصطناعي بنسبة 9٪ من الوقت (إيجابي كاذب).

لم تشارك OpenAI أبحاثها حول المعدل الذي يتم فيه تصنيف النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي بشكل غير صحيح على أنه نص من إنشاء الإنسان (سلبي كاذب).

منافس واعد

المنافس الواعد هو المصنف الذي أنشأه طالب جامعة برينستون، حيث أصدر إدوارد تيان، وهو متخصص في علوم الكمبيوتر متخصص في الصحافة، الإصدار الأول من GPTZero في يناير، يحدد هذا التطبيق تأليف الذكاء الاصطناعي بناءً على عاملين: الحيرة والانفجار، يقيس الارتباك مدى تعقيد النص، بينما يقارن الاندفاع الاختلاف بين الجمل، كلما انخفضت قيم هذين العاملين، زادت احتمالية إنتاج نص بواسطة الذكاء الاصطناعي.

لقد وضعا الباحثان مصنف إدوارد تيان المتواضع في مواجهة ChatGPT، حيث طلبا من ChatGPT إنشاء مقال قصير حول العدالة، بعد ذلك، قاما بنسخ المقالة – دون تغيير – في GPTZero، حددت أداة تيان بشكل صحيح أنه من المحتمل أن يكون النص قد تمت كتابته بالكامل بواسطة AI لأن متوسط درجات الحيرة والاندفاع كانت منخفضة للغاية.

خداع المصنفات

طريقة سهلة لتضليل مصنّفات الذكاء الاصطناعي هي ببساطة استبدال بضع كلمات بالمرادفات، تظهر مواقع الويب التي تقدم أدوات تعيد صياغة النص الذي تم إنشاؤه بواسطة AI لهذا الغرض بالفعل في جميع أنحاء الإنترنت.

تعرض العديد من هذه الأدوات مجموعتها الخاصة من هدايا الذكاء الاصطناعي، مثل إغراق النثر البشري بـ “عبارات معذبة” (على سبيل المثال، استخدام “وعي مزيف” بدلاً من “الذكاء الاصطناعي”).

لاختبار GPTZero أكثر، قاما الباحثان بنسخ مقال العدالة الخاص بـ ChatGPT في GPT-Minus1 – موقع ويب يعرض نص ChatGPT “التدافع” مع المرادفات، الصورة على اليسار تصور المقال الأصلي.

تُظهر الصورة الموجودة على اليمين تغييرات GPT-Minus1، لقد غيرت حوالي 14٪ من النص، ثم قاما بنسخ نسخة GPT-Minus1 من مقال العدالة إلى GPTZero حكمها؟

“النص الخاص بك على الأرجح مكتوب بشري ولكن هناك بعض الجمل مع القليل من الارتباك”، لقد سلط الضوء على جملة واحدة فقط اعتقد الباحثان أن لديه فرصة كبيرة لكتابتها بواسطة منظمة العفو الدولية (انظر الصورة أدناه على اليسار) جنبًا إلى جنب مع تقرير عن درجات الارتباك والاندفاع الكلي للمقال، والتي كانت أعلى بكثير (انظر الصورة أدناه على اليمين).

تُظهر أدوات مثل Tian’s واعدًا كبيرًا، لكنها ليست مثالية، وهي أيضًا عرضة للحلول البديلة. على سبيل المثال، يشرح برنامج تعليمي على YouTube تم إصداره مؤخرًا كيفية حث ChatGPT على إنتاج نص بدرجات عالية – كما توقع الباحثان – من الارتباك والانفجار.

علامة مائية

اقتراح آخر هو أن يحتوي النص المكتوب بالذكاء الاصطناعي على “علامة مائية” غير مرئية للقراء البشريين، ولكن يمكن التقاطها بواسطة البرامج.

تعمل نماذج اللغة الطبيعية على أساس كلمة بكلمة. يختارون الكلمة المراد إنشاؤها بناءً على الاحتمال الإحصائي، لكنهم لا يختارون دائمًا الكلمات ذات الاحتمالية الأكبر للظهور معًا، بدلاً من ذلك، من قائمة الكلمات المحتملة، يختارون واحدة بشكل عشوائي (على الرغم من أنه من المرجح أن يتم اختيار الكلمات ذات درجات الاحتمالية الأعلى).

وهذا يفسر سبب حصول المستخدمين على مخرجات مختلفة في كل مرة يقومون فيها بإنشاء نص باستخدام نفس الموجه.

تتضمن العلامة المائية “وضع قائمة سوداء” لبعض الكلمات المحتملة والسماح للذكاء الاصطناعي باختيار الكلمات فقط من “القائمة البيضاء”، نظرًا لأن النص المكتوب بشريًا سيتضمن على الأرجح كلمات من “القائمة السوداء”، فقد يجعل ذلك من الممكن تمييزه عن النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي.

فالعلامة المائية لها أيضًا قيود، قد يتم تقليل جودة النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي إذا كانت مفرداته مقيدة، علاوة على ذلك، من المحتمل أن يكون لكل منشئ نصوص نظام علامات مائية مختلف – لذلك سيتم التحقق من النص التالي مقابل كل منهم، يمكن أيضًا التحايل على العلامة المائية عن طريق أدوات إعادة الصياغة، والتي قد تُدرج الكلمات المدرجة في القائمة السوداء أو إعادة صياغة أسئلة المقالة.

سباق مستمر

ستصبح أجهزة الكشف عن النص التي يتم إنشاؤها بواسطة الذكاء الاصطناعي أكثر تعقيدًا، أعلنت خدمة مكافحة السرقة الأدبية TurnItIn مؤخرًا عن جهاز كشف للكتابة بالذكاء الاصطناعي قريبًا بدقة مزعومة تبلغ 97٪.

ستصبح أدوات إنشاء النصوص أيضًا أكثر تعقيدًا، يخضع Bard، منافس ChatGPT لشركة Google، للاختبار العام المبكر، من المتوقع أن تطلق OpenAI نفسها تحديثًا رئيسيًا، GPT-4 ، في وقت لاحق من هذا العام.

لن يكون من الممكن أبدًا جعل معرفات نصوص الذكاء الاصطناعي مثالية، كما تعترف شركة OpenAI، وستكون هناك دائمًا طرق جديدة لتضليلها.

مع استمرار السباق هذا، قد نشهد ظهور “إعادة صياغة العقد”: فبدلاً من الدفع لشخص ما لكتابة مهمتك، فإنك تدفع لشخص ما لإعادة تنفيذ المهمة التي أنشأتها الذكاء الاصطناعي لتتجاوز أجهزة الكشف، لا توجد إجابات سهلة للمعلمين هنا، قد تكون الإصلاحات الفنية جزءًا من الحل، ولكن أيضًا هناك طرق جديدة للتدريس والتقييم (والتي قد تشمل تسخير قوة الذكاء الاصطناعي).

لا نعرف بالضبط كيف سيبدو هذا، فقد أمضيا الباحثان العام الماضي في بناء نماذج أولية لأدوات الذكاء الاصطناعي مفتوحة المصدر للتعليم والبحث في محاولة للمساعدة في التنقل بين القديم والجديد- ويمكنك الوصول إلى الإصدارات التجريبية في Safe-To-Fail AI .