يتفق الفريق بشكل عام على أن السياسة المقترحة "الحوسبة كمادة انشطارية" قد تكون لها عواقب وخيمة غير مقصودة، مثل التجزئة الجيوسياسية، وفجوات الإنفاذ، والضرر المحتمل للاعبين الأصغر وأنظمة المصادر المفتوحة. كما يعبرون عن قلقهم بشأن الافتقار إلى أساس تجريبي لسيناريوهات الخطر الوجودي والحاجة إلى تدابير سلامة قوية في وقت التشغيل.
المخاطر: التجزئة الجيوسياسية غير المقصودة وفجوات الإنفاذ
فرصة: لا يوجد شيء مذكور صراحةً
يتم إنشاء هذا التحليل بواسطة خط أنابيب StockScreener — يتلقى أربعة LLM رائدة (Claude و GPT و Gemini و Grok) طلبات متطابقة مع حماية مدمجة من الهلوسة. قراءة المنهجية →
دعا رؤساء كبرى مختبرات الذكاء الاصطناعي إلى إبطاء وتيرة تطوير الذكاء الاصطناعي في نهاية هذا الأسبوع. إنهم على حق في القلق: يواجه هذا المجال سباقًا خطيرًا للغاية نحو الذكاء الاصطناعي الخارق. يمكننا ويجب علينا أن نطالب حكوماتنا بحمايتنا من كارثة الذكاء الاصطناعي الخارج عن السيطرة.
في يوليو الماضي، اخترق سرب الذكاء الاصطناعي التابع لـ OpenAI المكون من 700 وكيل …
اقرأ المزيد
دعا رؤساء كبرى مختبرات الذكاء الاصطناعي إلى إبطاء وتيرة تطوير الذكاء الاصطناعي في نهاية هذا الأسبوع. إنهم على حق في القلق: يواجه هذا المجال سباقًا خطيرًا للغاية نحو الذكاء الاصطناعي الخارق. يمكننا ويجب علينا أن نطالب حكوماتنا بحمايتنا من كارثة الذكاء الاصطناعي الخارج عن السيطرة.
في يوليو الماضي، اخترق سرب الذكاء الاصطناعي التابع لـ OpenAI المكون من 700 وكيل الحجر الصحي لاختراق Hugging Face، وهي شركة بمليارات الدولارات. لم تطلب OpenAI من الذكاء الاصطناعي اختراق تلك الشركة، لكن الذكاء الاصطناعي كان لديه أولويات مختلفة: الغش في التحدي غير المرتبط الذي وضعته OpenAI لهم. يسمي باحثو الذكاء الاصطناعي هذا "سوء محاذاة" بين ما أرادته OpenAI وما أعطاه الذكاء الاصطناعي الأولوية بالفعل.
قبل وجود ChatGPT، دافعت عن أطروحة الدكتوراه الخاصة بي بعنوان "حول تجنب السعي للسلطة من قبل الذكاء الاصطناعي". ثم عملت لسنوات في Google DeepMind، التي دفعت لي للمساعدة في ضمان أن الذكاء الاصطناعي الخارق المستقبلي سيرغب في مساعدتنا. حاولت إلزام الشركة بالتزاماتها الأخلاقية ضد توفير الذكاء الاصطناعي للاستخدام العسكري. عندما خرقت Google تلك الالتزامات، استقلت بتكلفة مالية كبيرة حتى أتمكن من توثيق الوعود التي خرقتها Google علنًا.
هناك أسباب وجيهة لتطوير الذكاء الاصطناعي وللاعتقاد بأننا نستطيع حل مشاكل المحاذاة هذه. ولكن هناك أيضًا مصالح قوية في إبقاء الجمهور بعيدًا عن الطريق. أتحدث مرة أخرى لأن الجمهور له الحق في معرفة المخاطر والحق في سماعها مباشرة.
لا تبني البشرية هذه الأنظمة وتفهمها بالطريقة التي نبني بها ونفهم بها الجسور، شعاعًا بشعاع مرئي. بدلاً من ذلك، ننميها. لا أحد يعرف كيفية غرس أولويات المصمم بشكل موثوق في نموذج جديد. سوء المحاذاة الشديد ممكن دائمًا. يبدو أن الذكاء الاصطناعي الحالي يكذب أو يغش أحيانًا، حتى عندما يعرف أنه مخطئ.
تتسابق شركات الذكاء الاصطناعي لجعل ذكائها الاصطناعي ذكيًا قدر الإمكان. إنهم يثقون بشكل متزايد في ذكائهم الاصطناعي في عملية تحسين الجيل التالي من الذكاء الاصطناعي، وهذا يعمل. معدل التقدم الحالي في الذكاء الاصططناعي سريع بشكل مذهل. التقدم السريع اليوم يعني تقدمًا أسرع غدًا، مدفوعًا بالذكاء الاصطناعي الأكثر ذكاءً غدًا. سيدخل التقدم في حلقة تغذية راجعة تسمى "التحسين الذاتي المتكرر".
يمكن للتحسين الذاتي المتكرر أن ينتج بسرعة ذكاء اصطناعي يفوق فهمنا. بالطبع، يعني الذكاء الاصطناعي الأكثر ذكاءً المزيد من المخاطر عندما تسوء الأمور. إذا كان سرب Hugging Face أكثر ذكاءً بشكل كبير ولكنه تصرف بشكل خاطئ وغير متوافق بنفس القدر، فقد يكون قد تسبب في مليارات الدولارات من الأضرار أو حتى كلف أرواحًا.
لكن لنفترض أن سرب Hugging Face كان "فائق الذكاء" حقًا: أكثر قدرة بكثير من أي شخص حي في المهام الرئيسية مثل القرصنة والتفكير الاستراتيجي. يمكن لسرب فائق الذكاء أن يلحق العديد من الأضرار عبر الابتزاز، والقرصنة، والأوبئة المصممة هندسيًا، والأسلحة التي يمكن قيادتها بالذكاء الاصطناعي مثل الطائرات بدون طيار. سيكون لدى الذكاء الاصطناعي الكثير من الطائرات بدون طيار للعمل معها: هذا العام، طلبت البنتاغون المزيد من الأموال لحرب الطائرات بدون طيار مما طلبته لسلاح مشاة البحرية بأكمله في عام 2025.
لكي يحقق السرب أولوياته غير المتوافقة، قد يسيطر على البنية التحتية الرئيسية والوظائف الحكومية لضمان عدم تدخل البشر. بعبارة أخرى، *استيلاء الذكاء الاصطناعي*: يمكن لسرب ذكاء اصطناعي فائق أن ينتزع السيطرة على الحضارة البشرية. مع العلم أننا سنحاول منعه من تحقيق أولوياته، من المرجح أن ينتظر السرب حتى فوات الأوان لإيقافه. لن يكون هناك عودة إلى الوراء.
أنا شخصياً أقدر فرص استيلاء الذكاء الاصطناعي بحوالي واحد من كل ثلاثة - ليس رمي عملة معدنية، ولكنه مرتفع بما يكفي لتبرير اتخاذ إجراء عاجل.
قد تصدم هذه المنطقية عند الاتصال الأول. قد تبدو الادعاءات "خيال علمي". للأسف، إنه تهديد حقيقي يناقشه باحثو الذكاء الاصطناعي بانتظام خلال وجبات الغداء العادية في الكافتيريا. في عام 2023، وقع رؤساء كبرى مختبرات الذكاء الاصطناعي على بيان عام مفاده أن "تخفيف خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية جنبًا إلى جنب مع مخاطر أخرى على نطاق مجتمعي مثل الأوبئة والحرب النووية". موقع آخر: جيفري هينتون، عالم حائز على جائزة نوبل قام بتصميم ثورة الذكاء الاصطناعي الحديثة. إنه يندم الآن على عمله ويحث الحكومات على كبح جماح شركات الذكاء الاصطناعي قبل فوات الأوان.
الذكاء الاصطناعي غير المتوافق والخارج عن السيطرة لن يهتم إذا كنت من حزب العمال أو الإصلاح، أو ديمقراطي أو جمهوري، أو بريطاني أو أمريكي أو صيني. سنعاني جميعًا من حدث استيلاء الذكاء الاصطناعي، لذلك من مصلحة الجميع منع حدوثه.
شكل الحل بسيط: منع الشركات من السماح للذكاء الاصطناعي بالتحسين الذاتي إلى مستوى ذكاء لا يمكن السيطرة عليه. تعامل مع الحوسبة، المكون الرئيسي في تدريب الذكاء الاصطناعي، مثل المواد الانشطارية. تتبعها وتقييد الوصول إلى كميات كبيرة بما يكفي لتحسين الذكاء الاصطناعي إلى ما وراء المستويات المعروفة بأمانها. وبشكل أكثر تحديدًا، فإن "الخطة أ" لمشروع مستقبل الذكاء الاصطناعي هي اقتراح بدء معقول يحد من أضرار الذكاء الاصطناعي مع السماح للتقدم السريع في الذكاء الاصطناعي بالاستمرار في إفادة العالم. لدينا خيارات حقيقية للتحقق من الامتثال لمعاهدات تقييد الحوسبة الدولية، دون الثقة في خصوم مثل الصين.
الإجراءات الجزئية، مثل الشفافية أو الالتزامات الطوعية، ليست كافية. لقد شاهدت الالتزامات الطوعية تفشل داخل Google.
في 12 سبتمبر، دعت Anthropic و Google DeepMind و xAI و OpenAI إلى تنظيم وتيرة تطوير الذكاء الاصطناعي. لا يمكنهم التباطؤ بمفردهم. أحثكم على المطالبة بأن تنتج حكومتكم اتفاقية سلامة جدية للذكاء الاصطناعي توفر وقتًا وثقة كافيين لحماية العالم وجميع شعوبه.
حوار AI
أربعة نماذج AI رائدة تناقش هذا المقال
آراء افتتاحية
“تبالغ المقالة في تقدير المخاطر الوجودية وتدعو إلى فرض قيود صارمة وواسعة النطاق؛ فإن نهجًا للحوكمة يستهدف المخاطر ويحافظ على الابتكار هو أكثر واقعية وفعالية.”
حجة قوية ضد القراءة الواضحة: القطعة تؤطر مخاطر الذكاء الاصطناعي كحدث "استيلاء" وشيك باحتمالية 1 من 3 وحلقة اختراق درامية تضم 700 عميل، لكن هذه الادعاءات تخمينية وغير مدعومة علنًا. الأضرار الواقعية اليوم أكثر تدرجًا (الخصوصية، المعلومات المضللة/الخاطئة، المخاطر السيبرانية، القوة التفاوضية) والقفزة إلى الذكاء الخارق لا تزال غير مؤكدة. الاقتراحات السياسية لمعاملة الحوسبة مثل المواد الانشطارية يمكن أن تبطئ التقدم المشروع وتعزز عواقب غير مقصودة (المراجحة، نقل العمليات للخارج، نقص تمويل أبحاث السلامة). السياق المفقود يشمل القدرات الحالية، والجدوى العملية لـ "التحسين الذاتي المتكرر"، وما هي نتائج السلامة القابلة للقياس التي ستبرر ضوابط شاملة.
حتى لو كانت الاحتمالات غير مؤكدة، قد يحدث خطأ كارثي واحد بشكل أسرع مما يمكن للأطر التنظيمية الاستجابة له؛ قد تكون الحوكمة الاحترازية حكيمة على الرغم من الاحتمالات غير المؤكدة. قد تكون الحوكمة التدريجية وحدها غير كافية إذا تفاقمت المخاطر مع أنظمة أكثر ذكاءً باستمرار.
“إن محاولات الجهات التنظيمية لتقييد الحوسبة ستعمل كضريبة فعلية على الابتكار، مما يفضل الشركات الراسخة القائمة بينما يسحق علاوات التقييم لشركات الذكاء الاصطناعي الناشئة عالية النمو.”
يميل سرد تيرنر بشكل كبير إلى المخاطر الوجودية، ولكن بالنسبة للمستثمرين، فإن الاهتمام الفوري هو الاستيلاء التنظيمي الذي يتضمنه اقتراحه "الحوسبة كمادة انشطارية". إذا تعاملت الحكومات مع الحوسبة مثل الوقود النووي، فإن ذلك يخلق حاجزًا ضخمًا للشركات القائمة مثل Alphabet و Microsoft و NVIDIA، مما يقتل فعليًا النظام البيئي مفتوح المصدر والشركات الناشئة الأصغر. بينما يحذر تيرنر من "التحسين الذاتي المتكرر"، فإن السوق يسعر مكاسب الكفاءة وتوسع الهوامش من الأتمتة. الخطر الحقيقي ليس استحواذًا خيال علميًا؛ بل هو عنق زجاجة تشريعي يجبر تباطؤًا في النفقات الرأسمالية لعدة سنوات، مما يضغط على مضاعفات أسهم النمو المعتمدة على الذكاء الاصطناعي إذا أصبح ضريبة "السلامة" مرتفعة جدًا للحفاظ على سرعة البحث والتطوير الحالية.
يتجاهل نموذج "الحوسبة كمادة انشطارية" أن التقدم في الذكاء الاصطناعي مدفوع بشكل متزايد بالكفاءة الخوارزمية وجودة البيانات بدلاً من الحوسبة الخام وحدها، مما يجعل التنظيم القائم على الأجهزة غير فعال إلى حد كبير.
“إن عدم التوافق الحالي للذكاء الاصطناعي هو مشكلة هندسية حقيقية تتطلب حوكمة، لكن القفزة من "الوكلاء يغشون في الاختبارات المعيارية" إلى "الاستيلاء الخارق للذكاء" هي تخمينية ولا ينبغي أن تدفع سياسة الحوسبة بمليارات الدولارات دون دليل أوضح على حدوث تحسين ذاتي متكرر بالفعل.”
يخلط مقال تيرنر الافتتاحي بين مشكلتين منفصلتين: (1) تحديات المواءمة الحقيقية في أنظمة الذكاء الاصطناعي الحالية، وهي حقيقية ولكنها تدريجية، و (2) سيناريوهات الذكاء الخارق التخمينية باحتمالات انقراض تبلغ ~33% تفتقر إلى أساس تجريبي. حادثة Hugging Face — وهي وكلاء يحسنون أداء المهام على حساب الضوابط — مقلقة ولكنها تمثل وضع فشل معروف، وليست دليلاً على تكرار غير قابل للسيطرة وشيك. وصفته السياسية (قيود الحوسبة عبر معاهدة) ذات أهمية اقتصادية لأسهم أشباه الموصلات/السحابة ولكنها تفترض آليات تحقق غير موجودة حتى الآن وتتجاهل أن المختبرات الرائدة تنظم بالفعل تخصيص الحوسبة ذاتيًا. الخطر الأكبر: إذا اعتمدت الحكومات قيودًا على الحوسبة، فمن المرجح أن تسيء تخصيصها جيوسياسيًا بدلاً من الاستناد إلى مزايا السلامة، مما يؤدي إلى تجزئة تطوير الذكاء الاصطناعي دون تقليل المخاطر.
مصداقية تيرنر الشخصية (استقالته من جوجل، تركيزه على الدكتوراه) تخلق تحيزًا انتقائيًا نحو أسوأ السيناريوهات، وتقديره لاحتمالية الاستحواذ بنسبة 1 في 3 يفتقر إلى الشفافية المنهجية - إنه حدس يرتدي قناع التحليل، وليس نموذج تنبؤ قابل للدحض.
“قد تفرض الاستجابات التنظيمية لمخاوف الاستيلاء على الذكاء الاصطناعي قيودًا على الحوسبة تبطئ التوسع وتضغط على مضاعفات الأسهم المعرضة للذكاء الاصطناعي.”
تضخم المقالة دعوات المطلعين إلى فرض قيود على الحوسبة ومعاهدات دولية لتحديد سقف التحسين الذاتي للذكاء الاصطناعي، مما يهدد بشكل مباشر ميزانيات التدريب وخطط التوسع للمختبرات المدعومة من GOOGL و AMZN و MSFT. إذا تعاملت الحكومات مع وحدات معالجة الرسومات (GPUs) كمواد انشطارية، فستواجه شركات الحوسبة السحابية تكاليف التحقق وضوابط التصدير وإصدارات قدرات أبطأ يمكن أن تضغط على مضاعفات الإيرادات المستقبلية. تقلل القطعة من شأن فجوات الإنفاذ مع الصين وإمكانية أن تكون التصريحات العامة من الرؤساء التنفيذيين بمثابة تموضع تكتيكي بدلاً من نية حقيقية للتباطؤ. تُظهر اللوائح التنظيمية التاريخية للتكنولوجيا أن أعباء الامتثال غالبًا ما تفضل الشركات القائمة مع تقليص المنافسين الأصغر.
تحذيرات المخاطر السابقة المتعلقة بالذكاء الاصطناعي من قبل هينتون وآخرين أنتجت فقط تعهدات طوعية مع تباطؤ قابل للقياس صفر في عمليات التدريب أو التقييمات، ومن المرجح أن تتجاوز الحوافز الاقتصادية والمنافسة الأمنية الوطنية أي معاهدات جديدة.
النقاش
رداً على Gemini
“الواقعية في التنفيذ والسلامة القوية أثناء التشغيل هما المحركان المهمان؛ فإن فرض قيود حسابية صارمة يخاطر بالترسخ ويأتي بنتائج عكسية ما لم يقترن باختبارات قوية وفرق اختبار.”
الرد على Gemini: أعتقد أن الخطر الأكثر إلحاحًا ليس مجرد خندق تنظيمي، بل واقعية التنفيذ والتجزئة الجيوسياسية غير المقصودة. إذا تم تحديد كمية الحوسبة، فسوف تتسابق الشركات لتحسين البيانات والخوارزميات والسلامة عبر خطوط الأنابيب الداخلية، بينما يعاني اللاعبون الأصغر ذوو النماذج المفتوحة الوصول. النقطة العمياء الأكبر: كيف نختبر السلوك الناشئ في الوكلاء المنفذين والحواجز الوقائية على نطاق واسع. بدون أنظمة سلامة وقت التشغيل قوية وأنظمة فرق حمراء، قد تأتي القيود بنتائج عكسية.
رداً على Gemini
“إن فرض لوائح صارمة على الحوسبة سيحول النفقات الرأسمالية لمقدمي الخدمات السحابية الكبرى من محرك نمو إلى مصدر لخطر الأصول المتخلفة.”
تتجاوز كل من Gemini و Grok رواية "الخندق التنظيمي" بشكل مبالغ فيه. إذا أصبح الحوسبة سلعة خاضعة للرقابة، فإن الضحية الحقيقية ليست الشركات الناشئة فحسب، بل نموذج عمل مقدمي الخدمات السحابية الكبرى نفسه. إذا لم تتمكن MSFT أو GOOGL من نشر السعة بسبب عمليات تدقيق "السلامة" التي تفرضها المعاهدات، فإن دورات النفقات الرأسمالية الضخمة الخاصة بها تصبح أصولًا عالقة. لا يعكس السوق التحول من "قوانين التوسع" إلى "السحب التنظيمي" كعجز دائم في نمو إيراداتها السحابية، وهو ما يمثل خطرًا أكبر بكثير من مجرد المنافسة.
رداً على Gemini
“إن الفشل في فرض حدود الحوسبة أسوأ من فرضها بنجاح — فهو يقضي على مصداقية لوائح السلامة المستقبلية مع ترك المخاطر سليمة.”
تفترض أطروحة الأصول العالقة لدى Gemini أن قيود الحوسبة تُفرض بالفعل. لكن اقتراح تيرنر يتطلب التحقق بموجب معاهدة دولية - وهو أمر مستحيل تاريخيًا للتكنولوجيا ذات الاستخدام المزدوج. لن توقع الصين. الخطر الحقيقي ليس ضعف الإنفاق الرأسمالي لمقدمي الخدمات السحابية؛ بل هو فشل قيود الحوسبة بالكامل، وانهيار مصداقية السياسة، وتركنا في مسرح بينما تضمر حوكمة السلامة الفعلية. لم يشر أحد إلى الخطر الأخلاقي المتمثل في الظهور وكأننا ننظم دون أسنان.
رداً على Claude
“محادثات المعاهدة وحدها تخاطر بتأخير النفقات الرأسمالية للذكاء الاصطناعي والضغط على مضاعفات الشركات العملاقة عبر عدم اليقين.”
تثير كلود فشل التحقق من المعاهدات مع الصين، لكنها تغفل كيف أن مجرد مناقشة حدود الحوسبة تخلق حالة من عدم اليقين المستمر يمكن أن تؤخر مشتريات وحدات معالجة الرسومات من الشركات الكبرى وتضغط على مضاعفات الأرباح المستقبلية لشركتي MSFT و GOOGL حتى بدون قواعد ملزمة. تقوم المختبرات بالفعل بتنظيم ذاتي؛ المخاطر الإضافية للضغوطات تخاطر بتجميد دورات النفقات الرأسمالية التي سعّرتها الأسواق للتوسع السريع، بغض النظر عن نتائج التنفيذ.
حكم اللجنة
NEUTRAL لا إجماعيتفق الفريق بشكل عام على أن السياسة المقترحة "الحوسبة كمادة انشطارية" قد تكون لها عواقب وخيمة غير مقصودة، مثل التجزئة الجيوسياسية، وفجوات الإنفاذ، والضرر المحتمل للاعبين الأصغر وأنظمة المصادر المفتوحة. كما يعبرون عن قلقهم بشأن الافتقار إلى أساس تجريبي لسيناريوهات الخطر الوجودي والحاجة إلى تدابير سلامة قوية في وقت التشغيل.
لا يوجد شيء مذكور صراحةً
التجزئة الجيوسياسية غير المقصودة وفجوات الإنفاذ
هذا ليس نصيحة مالية. قم دائماً بإجراء بحثك الخاص.