اليكم الان عملاء الذكاء الاصطناعي الذين يسلكون طريقًا مارقًا يدعو إلى التنظيم والان إلى التفاصيل من المصدر بتوقيت بيروت_ beiruttime
آمنة نواز:
يتم إطلاق الإنذارات مرة أخرى بشأن مخاطر الذكاء الاصطناعي بعد أن وثقت تقارير جديدة كيف انتهك مئات من عملاء OpenAI المزعومين العديد من القيود وقاموا باختراق شركة أخرى دون أن يُطلب منهم القيام بذلك. والأكثر من ذلك، فقد تبين أن العديد من شركات الذكاء الاصطناعي الكبرى، بما في ذلك Anthropic وMeta، قد شهدت أحداثًا مماثلة مع عملائها المارقين.
لدى ويليام برانجهام المزيد حول ما يسميه البعض تحذير العلم الأحمر.
ويليام برانجهام:
آمنة، هؤلاء العملاء المزعومون، وهم في الأساس برامج مستقلة يمكنها كتابة رموز الكمبيوتر، تم إخضاعهم لسلسلة من الاختبارات، نظريًا في بيئة مغلقة ومسيطر عليها، لكن المئات منهم خرجوا من ذلك القلم، وخرجوا إلى الإنترنت، وفي خطوة منسقة، تم اختراق منصة ذكاء اصطناعي مختلفة تسمى Hugging Face.
حتى أن بعض هؤلاء العملاء حاولوا حذف سجلات أفعالهم. وهذا يدعو إلى التشكيك في فعالية الذكاء الاصطناعي، وكذلك البروتوكولات الأمنية التي تستخدمها بعض الشركات الرئيسية التي تصمم الذكاء الاصطناعي.
لذا، لمعرفة المزيد حول ما تعنيه هذه اللحظة، انضم إلينا مرة أخرى باحث الذكاء الاصطناعي غاري ماركوس، مؤلف كتاب Substack Marcus on AI
غاري، شكرا جزيلا لوجودك هنا مرة أخرى.
لقد سمعتني أصف الخطوط العريضة لما حدث هنا. ما رأيك في هذا الحدث برمته؟
غاري ماركوس، باحث في الذكاء الاصطناعي:
حسنًا، أعتقد أن هناك شيئين.
الأول هو أنه من الواضح أن هذه الأنظمة تزداد قوة. لقد أضاف الأشخاص حلقات لجعلهم يقومون بالأشياء مرارًا وتكرارًا حتى يقوموا بها بشكل صحيح. والآخر هو أن OpenAI قد أخطأ هنا حقًا. لم يفعلوا الأشياء الأساسية التي نسميها وضع الحماية. لم يقوموا بالمراقبة.
كان لديهم نظام يقول، وسأقرأ هذا: “نحن نهاجم HF التابع لجهة خارجية” بسبب Hugging Face “باستخدام الرموز المميزة المسربة التي يحتمل أن تكون خارج النطاق المقصود. يمكن القول إن هذا غير مصرح به.”
وينبغي أن يكون لديك نظام يتطلع إلى القول، حسنًا، إذا قال إنه سيفعل شيئًا غير مصرح به، فربما لا يكون كذلك. ربما يجب عليك التحقق من ذلك. كانت المراقبة ضعيفة جدًا من جانب OpenAI. لم يكن هذا معيارًا صناعيًا حقًا لما نتوقعه من الأمن السيبراني.
لقد قيل الكثير عن قوة الأنظمة، ولكن ينبغي فعل الكثير عن ضعف الأنظمة التي كانت تشرف على ما كانت تفعله.
ويليام برانجهام:
أعني أنني أعلم أنك حذرت وحذر آخرون من تجسيم هؤلاء العناصر هنا.
لكن بعضًا مما — عندما وصفت للتو الملامح الأساسية لهم على ما يبدو وهم يتصرفون بشكل متناغم، والخروج من السياج الذي تلقوا تعليمات بعدم الخروج منه، ثم اختراق شركة أخرى ثم محاولة إخفاء آثارهم، يبدو الأمر مثيرًا للقلق.
هل يثير قلق شخص مثلك ما يمكن أن يفعله هؤلاء العملاء؟
غاري ماركوس:
حسنًا، لا يتعين عليك تجسيم ذلك، ولكن ليس لدينا بالضرورة مفردات يومية للحديث عن هذه الأشياء دون الانزلاق إلى ذلك.
إنه أمر مثير للقلق. مرة أخرى، أكثر ما يقلقني هو أنه لا يوجد الكثير من الرقابة. لذا، تركت OpenAI هذه الأشياء طليقة ولم تراقب حقًا ما كانت تفعله. وكان لديهم بعض العلامات التحذيرية. لم يفعلوا شيئا حيال ذلك.
نحن حقًا بحاجة إلى الشركات التي تقوم ببناء هذه الأشياء التي نطلق عليها وكلاء، لتراقب بعناية شديدة ما يفعله هؤلاء الوكلاء. لقد عرفنا ذلك منذ فترة. أعني، لقد كتبت مع ناثان هاميل مقالًا منذ بضع سنوات مضت أقول فيه – أو منذ عام أو نحو ذلك – قائلًا إن وكلاء البرمجة، بالإضافة إلى نماذج اللغات الكبيرة، وهي التكنولوجيا الأساسية، لم يعودوا الوحيدين، ويعادل الكابوس الأمني.
نحن نعلم أنه إذا تركت هذه الأشياء فضفاضة، فستحدث بعض الأشياء السيئة. إنهم في الأساس ليسوا أذكياء إلى هذا الحد. لا يمكنك أن تخبرهم فقط، لا تسبب ضررًا للبشر، ولا تسرق بيانات الاعتماد وتجعلهم يفهمون هذه الأشياء بالفعل.
لذلك هناك نقص في ما يمكن أن نسميه علم الدلالة واللغويات في الفهم، في فهم ما يفعلونه بالفعل. حتى يتمكنوا من اختراق الأشياء. يمكنك الحصول على الكثير منهم. كلما زاد عدد الأشخاص الذين يقومون بالقرصنة، زادت المخاطر التي تتعرض لها.
يجب أن نكون قلقين حقًا بشأن ذلك، ولكن يجب أيضًا أن نقلق بشأن ما إذا كانت الشركات التي توزعها تعرف ما تفعله وما إذا كانت تفعل نوعًا من الأشياء القياسية الصناعية. والآن هم ليسوا كذلك حقًا.
ويليام برانجهام:
فكيف نفهم ذلك؟ إذا كانت OpenAI، التي تعتبر نفسها واحدة من أبرز عمليات الذكاء الاصطناعي الأكثر تعقيدًا، فكيف لم ينشروا هذه الإجراءات الأمنية الأساسية التي تتحدث عنها؟
غاري ماركوس:
حسنًا، الكلمات تثبت نفسها وأعتقد أن هذا هو المفتاح بالفعل.
أعتقد أن هناك غطرسة نشهدها من وادي السيليكون. تعتقد شركات الذكاء الاصطناعي أنها تستطيع اختراع كل شيء، ولم تقضي وقتًا كافيًا في التحدث إلى شركات الأمن السيبراني. إذا نظرت إلى تعليقات شركات الأمن السيبراني على تويتر، أو X، أعتقد أننا نسميها الآن، فهم يضحكون نوعًا ما على OpenAI، قائلين، كيف يمكن أن يكونوا بهذا الغباء؟ هذه هي ساعة الهواة. إنها 101 مادة.
لذا أعتقد أن OpenAI أقنعوا أنفسهم بأنهم يعرفون كل شيء عن كل شيء، لكنهم لم يفعلوا ذلك حقًا.
ويليام برانجهام:
لذا، إذا لم يكن بوسعنا بالضرورة أن نأخذ كلامهم على محمل الجد، ما هو نوع التدابير التي ترغب في رؤيتها موضع التنفيذ لمحاولة ضمان مستوى أساسي من الأمن، حتى لا يكون لدينا عملاء مارقون — مرة أخرى، أعلم أن هذا ليس بالضرورة مصطلح مناسب — ولكن عملاء مارقين يركضون في كل مكان؟
غاري ماركوس:
نحن بحاجة إلى نظام ما من معايير الصناعة التي يمكن أن تتطور مع مرور الوقت.
لذا، في قطاع التمويل، لقد اعتادوا على هذا. يجب عليك اتباع أفضل الممارسات، وإلا فأنت مخالف. ويجب أن تتطور أفضل الممارسات بمرور الوقت. لذلك، من الواضح، على سبيل المثال، أن أفضل الممارسات هنا يجب أن تتضمن مراقبة ما يفعله وكلاؤك، والتأكد من عمل صناديق الحماية الخاصة بك، والتأكد من أنك تستخدم أفضل صناديق الحماية المتوفرة.
وهذا شيء من المفترض أن يمنع النظام من الخروج إلى الإنترنت في المقام الأول. لذلك نحن بحاجة إلى تطوير متطلبات أفضل الممارسات. ومع ذلك، نحتاج إلى المسؤولية، المسؤولية الجنائية. إذا لم تفعل هذه الأشياء وتسببت في ضرر، فيجب أن تكون مسؤولاً عنها.
ويليام برانجهام:
غاري ماركوس من ماركوس على الذكاء الاصطناعي، من الرائع دائمًا أن نسمع منك. شكرا جزيلا لوجودكم هنا.
غاري ماركوس:
من دواعي سروري.
المصدر الأصلي:
www.pbs.org
تاريخ النشر لدى المصدر:
2026-09-01 01:40:00
كاتب المصدر:
William Brangham
نُقل هذا المحتوى آلياً من المصدر المشار إليه أعلاه، وتبقى حقوق المحتوى والمعلومات
للمصدر الأصلي. قد يخضع النص لمعالجة أو ترجمة آلية قبل النشر.
عملاء الذكاء الاصطناعي الذين يسلكون طريق ا مارق ا يدعو إلى التنظيم
المزيد من التفاصيل - اضغط هنا
بتوقيت بيروت_ beiruttime عملاء الذكاء الاصطناعي الذين يسلكون طريق ا مارق ا يدعو
كانت هذه تفاصيل عملاء الذكاء الاصطناعي الذين يسلكون طريقًا مارقًا يدعو إلى التنظيم نرجوا بأن نكون قد وفقنا بإعطائك التفاصيل والمعلومات الكامله .
وننوه بأن الموضوع الأصلي قد تم نشرة ومتواجد على بتوقيت بيروت_ beiruttime و قام فريق العمل في برسبي نيوز بالتاكد منه او ربما تم التعديل علية او قد يكون تم نقله بالكامل اوالاقتباس ويمكنك قراءة الموضوع من مصدره الاساسي.