مع تحسن الذكاء الاصطناعي، من المهم معرفة ما إذا كان الناس يستطيعون التمييز عندما يكون النص مُنشأً بالذكاء الاصطناعي. وقد اطّلعنا على ست دراسات مختلفة لمعرفة المزيد.
هل يستطيع الناس معرفة ما إذا كان النص مُنشأً بالذكاء الاصطناعي؟
يعتقد البعض أنهم يستطيعون ذلك، بينما يثق آخرون بأدوات مثل Bypass Engine.
نظرًا إلى التأثيرات الكبيرة لاكتشاف النصوص المُنشأة بالذكاء الاصطناعي أو عدم اكتشافها، من المهم معرفة ما إذا كان الناس يستطيعون ملاحظة الكتابة التي ينتجها الذكاء الاصطناعي. وللتعمق في هذا الأمر، راجعنا ست دراسات مختلفة.
النقاط الرئيسية (نسخة مختصرة)
- حتى عندما يثقون بمهاراتهم، يجد الناس غالبًا صعوبة في ملاحظة النصوص التي أنشأها الذكاء الاصطناعي.
- تؤدي أدوات الكشف عن الذكاء الاصطناعي أداءً أفضل بكثير من البشر في العثور على النصوص التي أنشأها الذكاء الاصطناعي.
- قد يؤدي العجز عن اكتشاف النصوص التي أنشأها الذكاء الاصطناعي إلى مشكلات مثل المعلومات المضللة، والغش في المدارس، والمحتوى الزائف على الإنترنت.
هل يستطيع الناس اكتشاف النصوص التي كتبها الذكاء الاصطناعي؟ تفاصيل 6 دراسات
على الرغم من أن كثيرين يشعرون بالثقة، يجد الناس عمومًا صعوبة في اكتشاف الكلمات التي كتبها الذكاء الاصطناعي. وأظهر بحثنا في المصطلحات الشائعة المرتبطة بـ ChatGPT أن تحديد النصوص التي أنشأها ChatGPT أصعب مما كان متوقعًا.
للتعمق أكثر في هذا الموضوع، نستعرض ست دراسات أجراها باحثون آخرون حول قدرة الناس على اكتشاف النصوص التي كتبها الذكاء الاصطناعي.
1. هل يستطيع المعلمون التعرّف على الذكاء الاصطناعي؟ دراسة مدى قدرة المعلمين على اكتشاف النصوص التي كتبها الذكاء الاصطناعي في مقالات الطلاب.
ملخص الدراسة
تبحث هذه الدراسة، المتاحة على ScienceDirect، في مدى براعة المعلمين في اكتشاف المحتوى الذي أنشأه الذكاء الاصطناعي.
مع تطور الذكاء الاصطناعي، أصبح اكتشاف المحتوى الذي كتبه الذكاء الاصطناعي في التعليم أمرًا بالغ الأهمية. لذلك، أجرى الباحثون اختبارات لمعرفة ما إذا كان المعلمون يستطيعون التمييز بين النصوص التي كتبها الذكاء الاصطناعي وتلك التي كتبها البشر.
ضمت الدراسة مجموعتين من المشاركين:
الدراسة 1 (كان المشاركون معلمين متدربين)
«لم يتمكن المعلمون المستقبليون من تحديد سوى 45.1% من النصوص التي كتبها الذكاء الاصطناعي و53.7% من النصوص التي كتبها الطلاب بشكل صحيح».
الدراسة 2 (كان المشاركون معلمين ذوي خبرة)
«تمكنوا من التعرّف بدقة على 37.8% فقط من النصوص التي أنشأها الذكاء الاصطناعي، لكنهم حددوا بشكل صحيح 73.0% من النصوص التي كتبها الطلاب.»
النقاط الرئيسية:
- واجه المشاركون صعوبة في التمييز باستمرار بين المحتوى الذي كتبه الذكاء الاصطناعي والمحتوى الذي كتبه البشر.
- أجاب المعلمون المتدربون إجابة صحيحة بشأن 45.1% فقط من النصوص التي أنشأها الذكاء الاصطناعي.
- حدد المعلمون ذوو الخبرة 37.8% فقط من النصوص التي أنشأها الذكاء الاصطناعي بشكل صحيح.
- حتى عندما شعر المشاركون بالثقة، كانوا مخطئين في كثير من الأحيان، ما يدل على أنهم بالغوا في تقدير قدرتهم على اكتشاف النصوص التي أنشأها الذكاء الاصطناعي.
الخلاصة:
تشير هذه النتائج إلى أن المعلمين يجدون صعوبة في التمييز بين الأعمال التي أنشأها الذكاء الاصطناعي وتلك التي كتبها البشر من دون مساعدة أفضل أدوات الكشف عن الذكاء الاصطناعي.
الدراسة: هل يستطيع المعلمون اكتشاف الذكاء الاصطناعي؟ التحقق من مدى قدرة المعلمين على التعرّف على النصوص التي أنشأها الذكاء الاصطناعي في مقالات الطلاب.
2. ليس كل ما هو «بشري» ذهبيًا: تقييم الحكم البشري على النصوص التي أنشأها الذكاء الاصطناعي
ملخص الدراسة
في دراسة متاحة على جامعة Cornell، بحث العلماء مدى قدرة الناس على التمييز بين النصوص التي كتبها الذكاء الاصطناعي وتلك التي كتبها البشر.
فقد فحصوا القصص، والمقالات الإخبارية، والوصفات.
بالنسبة إلى الدراسة، فحصوا 255 قصة من وسائل التواصل الاجتماعي. ومن بينها، اختاروا 50 قصة كتبها البشر. كما أنشؤوا 50 قصة إضافية باستخدام مطالبات.
راجعوا 2,111 مقالًا إخباريًا من 15 مؤسسة إخبارية. ومن بينها، اختاروا 50 مقالًا. ثم أنشؤوا 50 مقالًا إضافيًا باستخدام مطالبات.
أدرجوا 50 وصفة كتبها البشر من مجموعة بيانات RecipeNLG، إلى جانب 50 وصفة إضافية أُنشئت باستخدام مطالبات.
أهم النتائج
أظهرت النتائج أن الناس واجهوا غالبًا صعوبة في اكتشاف المحتوى الذي أنشأه الذكاء الاصطناعي.
أجاب الناس بشكل صحيح في 57.9% من الحالات عند مقارنة نصوص GPT2 بالنصوص التي كتبها البشر، وقد قُرّبت هذه النسبة إلى 58% في جدول الدراسة.
أما بالنسبة إلى GPT3، فبلغت دقة إجاباتهم 49.9%، وقُرّبت إلى 50%.
حتى عندما تلقى المشاركون بعض التدريب على اكتشاف محتوى الذكاء الاصطناعي قبل الاختبار، تحسنت نتائجهم قليلًا فقط، لكن ليس بدرجة كبيرة.
تشير النتائج إلى أن الناس يجدون صعوبة في التعرّف على النصوص التي أنشأها الذكاء الاصطناعي، حتى عندما يتلقون تدريبًا مسبقًا على ذلك.
تعرّف على مدى دقة أدوات الكشف عن الذكاء الاصطناعي، استنادًا إلى تحليل تلوي أجراه باحثون مستقلون لفحص الدراسات المتعلقة بدقة الكشف عن الذكاء الاصطناعي.
البحث: ليس كل ما هو «بشري» متألقًا: تقييم الحكم البشري على النصوص المُنشأة
3. دراسة: يواجه الناس صعوبة في التمييز بين GPT-4 والإنسان
ملخص البحث
يسلط هذا البحث، الذي شاركته جامعة كورنيل، الضوء على مدى قدرة الناس على اكتشاف النصوص التي ينتجها الذكاء الاصطناعي، بما في ذلك ثلاثة نماذج: GPT-4 وGPT-3.5 وELIZA.
هدفت الدراسة إلى معرفة ما إذا كان بإمكان الناس التعرّف على المحتوى الذي يكتبه الذكاء الاصطناعي. وشارك فيها 500 شخص، مستخدمين «لعبة» شبيهة بتطبيقات الدردشة لاختبار مهاراتهم.
بحثت الدراسة أيضًا في ما إذا كانت معرفة الذكاء الاصطناعي أو الإلمام بالنماذج اللغوية الكبيرة (LLMs) يؤثران في مدى جودة أداء المشاركين.
أبرز الاكتشافات
- وكما أظهرت دراسات سابقة، تشير نتائج البحث إلى أن الناس لم يتمكنوا في الغالب من التمييز بين النصوص التي يكتبها الذكاء الاصطناعي وتلك التي يكتبها البشر.
- تمكن المشاركون من التعرّف على النصوص البشرية بوصفها مكتوبة من قِبل البشر في 67% من الحالات.
- اعتُبر GPT-4 نصًا بشريًا عن طريق الخطأ في 54% من الحالات.
- تم الخلط بين ELIZA والنصوص المكتوبة من قِبل البشر في 22% من الحالات.
- أما بالنسبة إلى معرفة النماذج اللغوية الكبيرة، فقد أثّر هذا الإلمام بدرجة طفيفة في دقة المشاركين.
- ومن المثير للاهتمام أن العمر كان العامل الأكثر تأثيرًا في الدقة.
- كان الأشخاص الأصغر سنًا أفضل عمومًا في التعرّف على نماذج الذكاء الاصطناعي مقارنةً بالأشخاص الأكبر سنًا.
الملخص
غالبًا ما يعجز البشر عن معرفة ما إذا كان النص من إنتاج الذكاء الاصطناعي، حتى عندما يكونون على دراية بالموضوع.
هل تريد معرفة المزيد عن اكتشاف النصوص المُولّدة بالذكاء الاصطناعي؟ اطّلع على مراجعة دقة كاشف المحتوى من Bypass Engine.
دراسة: لا يستطيع الناس التمييز بين GPT-4 والإنسان في اختبار تورنغ.
4. هل يمكنك معرفة ما إذا كان الكاتب روبوتًا؟ التعرّف على الكتابة المُولّدة بالذكاء الاصطناعي في المقالات الجامعية
ملخص الدراسة
بحثت المجلة الدولية للنزاهة التعليمية عن كثب في كيفية اكتشاف الكتابة المُولّدة بالذكاء الاصطناعي في الأعمال الدراسية. وأرادت معرفة ما إذا كان بإمكان الناس التمييز بين المقالات التي يكتبها الذكاء الاصطناعي وتلك التي يكتبها البشر.
شارك في الدراسة 140 أستاذًا جامعيًا و145 طالبًا جامعيًا. وحصل كل شخص على مقال كتبه طالب، وآخر كتبه الذكاء الاصطناعي. وكان عليهم تحديد المقال الذي أنشأه الذكاء الاصطناعي والمقال الذي كتبه طالب.
أبرز النتائج
- واجه المشاركون صعوبة في التمييز بين المقالات التي يكتبها الذكاء الاصطناعي.
- أجاب أساتذة الجامعات إجابة صحيحة في 70% من الحالات عند التعامل مع ChatGPT.
- تمكن الطلاب من تحديد الإجابة الصحيحة في 60% من الحالات عند التعامل مع ChatGPT.
الخلاصة
يجد كل من الأساتذة والطلاب صعوبة في اكتشاف استخدام الذكاء الاصطناعي في الأعمال الدراسية.
دراسة: هل يمكنك اكتشاف الروبوت؟ التعرّف على الذكاء الاصطناعي في المقالات الجامعية
5. يجد المراجعون صعوبة في اكتشاف الملخصات التي أنشأها ChatGPT في جراحة الكتف والمرفق
نظرة عامة
تبحث هذه الدراسة، التي نُشرت في مجلة Arthroscopy: The Journal of Arthroscopic & Related Surgery، في مدى قدرة المراجعين على التعرّف على الملخصات التي أنشأها ChatGPT.
في هذه الدراسة، عُرضت على المشاركين مجموعة من الملخصات، كان بعضها من إنتاج الذكاء الاصطناعي وبعضها الآخر من كتابة البشر. وكان عليهم تحديد الملخصات التي اعتقدوا أنها مُولّدة بالذكاء الاصطناعي.
أهم النتائج
تمكن المراجعون من التعرّف على المحتوى المُولّد بالذكاء الاصطناعي بشكل صحيح في 62% من الحالات. إلا أنهم اعتقدوا خطأً في 38% من الحالات أن الملخصات التي كتبها البشر من إنتاج الذكاء الاصطناعي. ويُظهر ذلك أن الاعتماد على الحكم البشري وحده غير كافٍ، وأن هناك حاجة إلى أساليب أخرى لاكتشاف الذكاء الاصطناعي.
الخلاصة
تُظهر هذه الدراسة، مثل غيرها، أن الناس يجدون صعوبة في اكتشاف المحتوى المُولّد بالذكاء الاصطناعي.
6. هل يستطيع ChatGPT التفوق على النظام؟ مقارنة بين البيانات الشخصية التي يكتبها الذكاء الاصطناعي والبشر في طلبات الإقامة الطبية لجراحة التجميل
ملخص الدراسة
تأتي هذه الدراسة من الجمعية الكندية لجراحي التجميل. وهي تبحث في محتوى طلبات الإقامة الطبية، وهو مجال متخصص للغاية.
شارك في هذه الدراسة جرّاحان تقاعدا حديثًا بعد 20 عامًا من العمل مع خدمة مطابقة الإقامة الكندية (CaRMS). وكان عليهما مراجعة 11 طلبًا كتبها الذكاء الاصطناعي و11 طلبًا كتبها البشر. وتمثلت مهمتهما في تحديد الطلبات التي أنشأها ChatGPT-4 وتلك التي كتبها البشر.
أبرز النتائج
وجدت الدراسة أن المقيّمين تمكنوا من التمييز بين الطلبات التي أنشأها الذكاء الاصطناعي وتلك التي كتبها البشر في 65.9% من الحالات. وأشارت الورقة البحثية إلى أن العدد المحدود من العينات كان أحد أوجه القصور، لكن خبرة المقيّمين شكّلت ميزة مهمة.
الخلاصة
تُبرز النتائج أن اكتشاف المحتوى المُنشأ بالذكاء الاصطناعي أمر صعب على البشر. وحتى الخبراء الذين يمتلكون أكثر من 20 عامًا من الخبرة في طلبات الإقامة الطبية يجدون صعوبة في التمييز بين الطلبات التي كتبها البشر وتلك التي كتبها الذكاء الاصطناعي.
ملاحظات ختامية
هل يستطيع البشر اكتشاف النصوص التي أنشأها الذكاء الاصطناعي؟ تُظهر هذه الدراسات أنهم لا يستطيعون ذلك.
قد ينجح الناس في اكتشافه أحيانًا، لكنهم يجدون غالبًا صعوبة في التمييز بين النصوص التي أنشأها الذكاء الاصطناعي والنصوص التي كتبها البشر. لذلك، يُعدّ كاشف جيد للنصوص المُنشأة بالذكاء الاصطناعي مفيدًا جدًا لتحقيق مزيد من الوضوح.
الأسئلة الشائعة حول اكتشاف الذكاء الاصطناعي
هل يستطيع البشر اكتشاف المحتوى المُنشأ بالذكاء الاصطناعي؟
عمومًا، يجد الناس صعوبة في معرفة ما إذا كان المحتوى قد أُنشئ بالذكاء الاصطناعي. وتشير الأبحاث إلى أن قدرة الناس على اكتشافه تختلف كثيرًا.
ما مدى دقة أدوات اكتشاف الذكاء الاصطناعي؟
تختلف فعالية هذه الأدوات باختلاف الأداة التي تستخدمها. ويدّعي Bypass Engine AI Checker تحقيق دقة تتجاوز 99%. بالإضافة إلى ذلك، يحقق نموذج Turbo أيضًا دقة تتجاوز 99% في اكتشاف المحتوى المُنشأ بالذكاء الاصطناعي.
للمقارنة بين أدوات الذكاء الاصطناعي الشائعة، يمكنك الاطلاع على سلسلة مراجعاتنا لأدوات اكتشاف الذكاء الاصطناعي.
ماذا يحدث إذا لم نتمكن من تحديد المحتوى المُنشأ بالذكاء الاصطناعي؟
قد يؤدي ذلك إلى مشكلات كبيرة، مثل نشر المعلومات المضللة، والغش في المدارس، وفقدان الثقة فيما نقرأه على الإنترنت.
