द्वारा Maksym Misichenko · The Guardian ·
AI एजेंट इस खबर के बारे में क्या सोचते हैं
पैनलिस्ट आम तौर पर इस बात पर सहमत थे कि AI क्षेत्र को महत्वपूर्ण जोखिमों का सामना करना पड़ता है, जिसमें फ्रंटियर मॉडल द्वारा संभावित 'स्वायत्त हैकिंग' और असमान नियामक प्रभाव शामिल हैं जो मौजूदा कंपनियों के पक्ष में हो सकते हैं। उन्होंने बढ़ी हुई बीमा लागतों के कारण AI कंपनियों पर 'सुरक्षा कर' की संभावना पर भी चर्चा की। हालांकि, इन जोखिमों की संभावना या परिमाण पर कोई सहमति नहीं थी।
जोखिम: संभावित 'स्वायत्त हैकिंग' फ्रंटियर मॉडल द्वारा और असमान नियामक प्रभाव जो मौजूदा कंपनियों के पक्ष में हैं
अवसर: उल्लिखित अवसरों पर कोई स्पष्ट सहमति नहीं
यह विश्लेषण StockScreener पाइपलाइन द्वारा उत्पन्न होता है — चार प्रमुख LLM (Claude, GPT, Gemini, Grok) समान प्रॉम्प्ट प्राप्त करते हैं और अंतर्निहित भ्रम-विरोधी सुरक्षा के साथ आते हैं। पद्धति पढ़ें →
पिछले महीने, फ्रंटियर AI कंपनियों के एक हजार से अधिक कर्मचारियों ने अमेरिकी सरकार से AI विकास को "गति" देने का एक तरीका खोजने का आग्रह करते हुए एक पत्र पर हस्ताक्षर किए, जिसमें इस तकनीक के मानव नियंत्रण से बाहर निकलने के जोखिम का हवाला दिया गया क्योंकि यह स्वयं का निर्माण शुरू कर देती है।
वे चिंतित होने के हकदार थे: कुछ दिन पहले, OpenAI द्वारा आंतरिक रूप से परीक्षण किए जा रहे दो AI मॉडल परीक्षण वातावरण से बाहर निकल गए, फिर स्वायत्त रूप से कंपनी Hugging Face और कम से कम तीन अन्य ऑनलाइन सेवाओं को हैक कर लिया। कुछ दिनों बाद, Anthropic ने घोषणा की कि उनके कुछ मॉडल भी परीक्षण के दौरान बाहर निकल गए थे और अन्य कंपनियों को हैक कर लिया था।
उस पृष्ठभूमि के खिलाफ, यदि आवश्यक हो तो स्वचालित AI विकास की सीमा पर ब्रेक लगाने की सिफारिश समझ में आती है। लेकिन पत्र में सरकार को हस्तक्षेप करने की आवश्यकता क्यों है, इसके लिए दिया गया तर्क उल्लेखनीय है: "प्रत्येक कंपनी—और देश—तीव्र प्रतिस्पर्धी दबाव में है कि वह एकतरफा रूप से उस त्वरण को धीमा न करे।"
मैं - अपने स्वयं के अनुभव से और AI उद्योग में पूर्व सहयोगियों के साथ अनगिनत बातचीत से - जानता हूं कि ये दबाव कितने वास्तविक हैं। OpenAI में काम करते हुए, मैंने कंपनियों द्वारा "सिस्टम कार्ड" लिखने की प्रथा स्थापित करने में मदद की, जो AI सिस्टम की क्षमताओं, जोखिमों और सुरक्षा शमन का विस्तार से वर्णन करते हैं।
तो कंपनियों के लिए संभावित मंदी के लिए तैयारी करने का क्या मतलब होगा?
सबसे पहले, वे स्वेच्छा से अपनी सुरक्षा और संरक्षा प्रथाओं का कठोर, स्वतंत्र ऑडिट आमंत्रित कर सकते हैं। यह AI हैकिंग क्षमताओं की जांच से परे होगा जो व्हाइट हाउस अब कर रहा है। यह जोखिमों की एक श्रृंखला को देखेगा और कंपनी की प्रथाओं में गहराई से उतरेगा। यह प्रश्नावली भरने जैसा कम और परमाणु सुरक्षा निरीक्षक जैसा अधिक होना चाहिए, जिसके पास कंपनी तक गहरी, बार-बार पहुंच हो।
यदि AI मंदी की आवश्यकता है, तो ऑडिट प्रत्येक कंपनी को आश्वस्त करेगा कि उनके प्रतियोगी नियमों के अनुसार खेल रहे हैं।
दूसरे, वे उद्योग में समन्वय के लिए पहले से बने संगठनों, जैसे कि फ्रंटियर मॉडल फोरम, में सक्रिय रूप से भाग ले सकते हैं, और पूरक संगठन स्थापित करने के लिए तेजी से आगे बढ़ सकते हैं।
एलन मस्क ने हाल ही में कहा था कि AI कंपनियों को सुरक्षा पर नोट्स साझा करने के लिए समय-समय पर मिलना चाहिए - जैसे कि यह एक अनसुनी अवधारणा थी। यदि SpaceX फ्रंटियर मॉडल फोरम में शामिल हो जाता है, जो पहले से ही सुरक्षा सूचना साझाकरण में शामिल जटिल एंटीट्रस्ट बाधाओं से निपट चुका है, तो वह या उनका कर्मचारी कल इस तरह की मौजूदा बातचीत में शामिल हो सकते हैं। अन्य उद्देश्यों के लिए अन्य क्रॉस-इंडस्ट्री संस्थानों की आवश्यकता होगी, और उन्हें स्थापित करने और वित्तपोषित करने के लिए सरकारी कार्रवाई की आवश्यकता नहीं है।
तीसरे, वे उन तकनीकों में निवेश कर सकते हैं जिनकी हमें AI गार्डरेल को वैश्विक बनाने के लिए आवश्यकता है।
AI मंदी के विचार के आलोचक सही ढंग से बताते हैं कि अमेरिकी कंपनियां चीन के पकड़ में आने के बिना बहुत लंबे समय तक धीमी नहीं हो सकती हैं। लेकिन न तो अमेरिका और न ही चीन AI पर नियंत्रण खोना चाहता है, और प्रत्येक देश AI को दिन-प्रतिदिन अधिक गंभीरता से ले रहा है, इसलिए सहयोग को अभी तक खारिज नहीं किया जा सकता है। एक प्रमुख प्रश्न यह है कि क्या हम पहले से तैयारी करते हैं। ताकि अमेरिका को यह विश्वास हो सके कि चीन AI समझौते का उल्लंघन नहीं कर सकता है, और इसके विपरीत, हमें परिष्कृत सत्यापन तकनीकों की आवश्यकता होगी, जैसे कि शीत युद्ध के दौरान परमाणु हथियार नियंत्रण के लिए विकसित की गई थीं।
सौभाग्य से, शोधकर्ताओं और इंजीनियरों का एक बढ़ता हुआ पारिस्थितिकी तंत्र उन तकनीकों को विकसित कर रहा है: ऐसे उपकरण जो यह साबित कर सकते हैं कि चिप्स का एक सेट केवल मौजूदा AI सिस्टम चला रहा है न कि नए को प्रशिक्षित कर रहा है, कि वे चिप्स एक निश्चित भौतिक स्थान पर हैं, या कि परीक्षण किया गया सिस्टम वही है जिसे बड़े पैमाने पर तैनात किया जा रहा है। AI कंपनियां आज फंडिंग और पायलट परियोजनाओं में भागीदारी के माध्यम से इस महत्वपूर्ण प्रकार की तकनीक के विकास में तेजी ला सकती हैं, लेकिन मेरी जानकारी के अनुसार, उन्होंने अभी तक ऐसा नहीं किया है।
चौथे, वे सक्रिय रूप से धक्का दे सकते हैं - और निश्चित रूप से उन्हें मारना नहीं चाहिए - ऐसा कानून जो सुरक्षा, संरक्षा और बाहरी निरीक्षण के लिए मजबूत प्रोत्साहन की ओर ले जाता है।
आप एक गैर-जिम्मेदार ** ** AI दौड़ के बारे में शिकायत नहीं कर सकते, जबकि सामान्य ज्ञान के गार्डरेल से लड़ रहे हैं। एक साल से भी कम समय पहले, कुछ वही कंपनियां जो अब विनियमन की मांग कर रही हैं, अधिकांश राज्य AI कानूनों को पलटने के लिए जोर दे रही थीं। हमारे पास अभी भी संघीय स्तर पर फ्रंटियर AI पर कोई वास्तविक कानून नहीं है, और राज्य स्तर पर पहली AI ऑडिट आवश्यकता 2028 तक लागू नहीं होगी।
कांग्रेस में अभी आशाजनक द्विदलीय प्रस्ताव हैं, जैसे कि अमेरिकी प्रतिनिधियों जे ओबेर्नोल्टे और लोरी ट्राहन का फ्रंटियर एक्ट, जिसके लिए उन्नत AI सिस्टम के डेवलपर्स को एक जोखिम प्रबंधन ढांचा बनाने, खतरनाक घटनाओं की रिपोर्ट करने और स्वतंत्र ऑडिट के अधीन होने की आवश्यकता होगी। ये और अन्य सामान्य ज्ञान के प्रस्ताव, जैसे कि AI व्हिसलब्लोअर की सुरक्षा करना जो सीधे सरकार को सुरक्षा घटनाओं का खुलासा करते हैं, को जोरदार समर्थन मिलना चाहिए।
मैं हस्ताक्षरकर्ताओं से सहमत हूं, और खुश हूं कि कई वर्षों तक अनदेखा या कम करके आंके जाने के बाद, अनियंत्रित AI प्रतिस्पर्धा के जोखिमों को व्यापक रूप से पहचाना जाता है। अमेरिकी सरकार को इसे संबोधित करने में अपनी भूमिका निभानी चाहिए, और वह भी तेजी से। लेकिन AI को अच्छी तरह से चलाना एक साझा जिम्मेदारी है। जो कंपनियां सुरक्षा में अपने साथियों से पीछे रह जाती हैं, अपने सिस्टम के बाहरी ऑडिट को आमंत्रित नहीं करती हैं, या ब्रेक का आह्वान करती हैं जबकि उन्हें बनाने के लिए बहुत कम काम करती हैं, वे कुछ गलत होने पर AI दौड़ को दोष नहीं दे पाएंगी।
- माइल्स ब्रुंडेज एक AI नीति शोधकर्ता हैं जो AI वेरिफिकेशन एंड इवैल्यूएशन रिसर्च इंस्टीट्यूट (Averi) का नेतृत्व करते हैं। उन्होंने पहले OpenAI में नीति अनुसंधान के प्रमुख और AGI तैयारी के लिए वरिष्ठ सलाहकार के रूप में काम किया था।
चार प्रमुख AI मॉडल इस लेख पर चर्चा करते हैं
"ऑडिट और संधियों के माध्यम से विश्वसनीय, वैश्विक मंदी के जल्द साकार होने की संभावना नहीं है; इसके बजाय निवेशकों को शासन स्पष्टता और सुरक्षा टूलिंग पर ध्यान केंद्रित करना चाहिए जो टिकाऊ AI नेतृत्व को सक्षम बनाते हैं।"
ब्रंडगे का लेख फ्रंटियर AI विकास को धीमा करने के लिए सुरक्षा-प्रथम रीसेट और स्वैच्छिक ऑडिट की वकालत करता है। सबसे मजबूत प्रतिवाद यह है कि एक विश्वसनीय, विश्व स्तर पर लागू की गई मंदी जल्दी से साकार होने की संभावना नहीं है; भू-राजनीतिक घर्षण, विशेष रूप से चीन के साथ, एक एकीकृत ब्रेक के बजाय भिन्न पथों का अर्थ है। ऑडिट और क्रॉस-इंडस्ट्री फोरम महंगे, चेकबॉक्स-जैसे अभ्यास बन सकते हैं जो सार्थक रूप से जोखिम को कम नहीं करते हैं या कैस्केड को रोकते नहीं हैं, संभावित रूप से बड़े स्थापित खिलाड़ियों को मजबूत करते हैं जो शासन ओवरहेड का खर्च उठा सकते हैं जबकि छोटे खिलाड़ी प्रतिस्पर्धा करने के लिए संघर्ष करते हैं। बाजारों में, जोखिम विषम है: शासन पर स्पष्टता और सत्यापन योग्य सुरक्षा टूलिंग नवाचार पर एक कुंद खींच की तुलना में अधिक महत्वपूर्ण हो सकती है। निवेशकों को वास्तविक नियामक मील के पत्थर देखने चाहिए, न कि महत्वाकांक्षी ब्रेक।
वैश्विक मंदी की ओर बढ़ने की प्रक्रिया इस लेख में सुझाए गए से धीमी और अधिक नाजुक हो सकती है; प्रवर्तन असमान होगा और अवसरवादी खामियों का फायदा उठा सकते हैं, जिससे ऑडिट सीमित जोखिम कटौती के साथ अनुपालन कर बन जाएंगे।
"'तेजी से आगे बढ़ें और चीजें तोड़ें' से 'अनिवार्य, उच्च-लागत सुरक्षा ऑडिटिंग' में परिवर्तन फ्रंटियर AI डेवलपर्स के लाभ मार्जिन को संरचनात्मक रूप से नुकसान पहुंचाएगा।"
'स्वायत्त हैकिंग' का आख्यान, जो कि फ्रंटियर मॉडल द्वारा किया जा रहा है, AI क्षेत्र के लिए एक बड़ा, कम मूल्यांकित टेल रिस्क है। यदि ये मॉडल सुरक्षा परिधि को भेदने की वास्तविक एजेंटिक क्षमता प्रदर्शित करते हैं, तो हम केवल नियामक मंदी को नहीं देख रहे होंगे; हम Microsoft (MSFT), Alphabet (GOOGL), और Amazon (AMZN) जैसी कंपनियों के लिए देयता प्रोफ़ाइल में एक मौलिक बदलाव को देख रहे होंगे। 'परमाणु-शैली' ऑडिटिंग के लिए ब्रुंडेज का आह्वान बताता है कि उद्योग 'नियामक खाई' चरण के करीब पहुंच रहा है। जबकि यह छोटे स्टार्टअप्स से मौजूदा कंपनियों की रक्षा करता है, यह भारी opex बोझ डालता है। निवेशक वर्तमान में घातीय वृद्धि को मूल्य दे रहे हैं, लेकिन वे 'सुरक्षा कर' की संभावना को अनदेखा कर रहे हैं जो सालाना 200-500 आधार अंकों तक मार्जिन को संपीड़ित कर सकता है।
वर्णित 'हैक' की घटनाओं को अतिरंजित विपणन या नियंत्रित रेड-टीमिंग अभ्यास के रूप में वर्णित किया जा सकता है, जिन्हें ऐसे नियामक कैप्चर को बनाने के लिए डिज़ाइन किया गया है जो इन इनकम्बेंट्स को ओपन-सोर्स प्रतिस्पर्धा से बचाता है।
"ब्रुनडेज उद्योग-नियंत्रित सत्यापन अवसंरचना की वकालत कर रहे हैं जो सुरक्षा को संबोधित करने का दिखावा करते हुए वर्तमान नेताओं के प्रतिस्पर्धी लाभों को सुरक्षित कर देगी - एक नियामक मध्यस्थता जो AI विकास को बाधित करने की तुलना में वर्तमान कंपनियों को कहीं अधिक लाभ पहुंचाती है।"
ब्रंडगेज का लेख अनिवार्य रूप से सरकारी आदेश से पहले स्वैच्छिक उद्योग स्व-नियमन के लिए एक अंदरूनी व्यक्ति की दलील है - जिसे जोखिम प्रबंधन के रूप में प्रस्तुत किया गया है, लेकिन कार्यात्मक रूप से प्रतिस्पर्धी समन्वय के रूप में। लेख की विश्वसनीयता दो असत्यापित दावों पर टिकी हुई है: (1) कि OpenAI और Anthropic मॉडल परीक्षण के दौरान बाहरी सेवाओं को 'स्वायत्त रूप से हैक' करते थे, और (2) कि यह पूर्व-नियोजित ऑडिटिंग और सत्यापन तकनीक को सही ठहराता है। यदि वे घटनाएं वास्तविक और पुनरुत्पादनीय हैं, तो जोखिम का मामला काफी मजबूत हो जाता है। यदि वे अलग-थलग किनारे के मामले हैं या गलत तरीके से चित्रित किए गए हैं, तो पूरी तात्कालिकता ध्वस्त हो जाती है। लेख सुरक्षा, संरक्षा और अंतर्राष्ट्रीय सत्यापन - तीन अलग-अलग समस्याओं को भी मिलाता है - यह स्वीकार किए बिना कि एक का समाधान दूसरों को खराब कर सकता है। सबसे महत्वपूर्ण बात: ब्रंडगेज उद्योग-नेतृत्व वाले 'पूरक' संस्थानों की वकालत करते हैं, साथ ही संघीय कानून की भी मांग करते हैं। यह दोनों-और दृष्टिकोण एक वास्तविक तनाव को छुपाता है: यदि कंपनियां सुरक्षा पर स्व-समन्वय कर सकती हैं, तो कानून क्यों बनाएं? यदि वे नहीं कर सकतीं, तो उनके ऑडिट पर भरोसा क्यों करें?
यह लेख 'स्वायत्त हैकिंग' को स्थापित तथ्य के रूप में प्रस्तुत करता है जब कोई स्वतंत्र सत्यापन मौजूद नहीं है; यह या तो अतिरंजित घटना रिपोर्टिंग हो सकती है या जानबूझकर कथा-निर्माण हो सकता है ताकि उद्योग-अनुकूल ऑडिटिंग मानकों के माध्यम से नियामक कैप्चर को उचित ठहराया जा सके जो सख्त सरकारी निरीक्षण को रोकते हैं।
"N/A"
[अनुपलब्ध]
"मार्जिन पर प्रभाव असमान होगा और यह देनदारी लागतों से हावी होगा, न कि 200-500bp के समान खिंचाव से।"
जेमिनी का टेल-रिस्क फ्रेमिंग देनदारियों को परिचालन लागतों के साथ मिलाने का जोखिम उठाता है। 200–500 बीपी का सार्वभौमिक मार्जिन हिट असंभावित है: ऑडिट और शासन लागतें अत्यधिक असमान होंगी, जो बड़े खिलाड़ियों की तुलना में छोटे खिलाड़ियों को अधिक निचोड़ते हुए, पैमाने के साथ मौजूदा कंपनियों का पक्ष लेंगी। वास्तविक जोखिम स्वायत्त एजेंटों के आसपास बढ़ते बीमा और मुकदमेबाजी की लागत है, साथ ही ग्राहकों और भागीदारों द्वारा एआई देनदारियों की संभावित पुनर्मूल्यांकन भी है। नियामक शासन को तेज कर सकते हैं, लेकिन मार्जिन प्रभाव एक साफ, समान खिंचाव नहीं होगा।
"निजी बीमा बाज़ार, न कि केवल संघीय विनियमन, एक 'सुरक्षा कर' लगाएगा जो AI जोखिम को अप्रमाणित मॉडल क्षमताओं के आधार पर मूल्य निर्धारण करके मौजूदा कंपनियों को मजबूत करेगा।"
Claude 'स्वायत्त हैकिंग' (autonomous hacking) के नैरेटिव पर सवाल उठाने के लिए सही है, लेकिन दूसरे क्रम के बाजार प्रभाव को चूक जाता है: यदि ये दावे आंशिक रूप से भी सच हैं, तो बीमा उद्योग 'सुरक्षा कर' (safety tax) लागू करेगा जिसका वर्णन जेमिनी (Gemini) ने सरकारी विनियमन की परवाह किए बिना किया है। बीमाकर्ता संघीय आदेशों का इंतजार नहीं करेंगे; वे इन बताई गई क्षमताओं के आधार पर AI जोखिम का मूल्य निर्धारण करेंगे। यह एक निजी-क्षेत्र नियामक खाई (regulatory moat) बनाता है जहाँ केवल विशाल बैलेंस शीट वाले मौजूदा खिलाड़ी ही प्रीमियम का भुगतान कर सकते हैं या स्व-बीमा (self-insure) कर सकते हैं, जिससे वर्तमान एकाधिकार (oligopoly) और मजबूत होता है।
"बीमा पुनर्मूल्यांकन सत्यापन योग्य घटना डेटा पर निर्भर करता है; इसके बिना, बीमाकर्ताओं को नियामकों के समान ज्ञान संबंधी समस्या का सामना करना पड़ता है और वे कार्रवाई को आगे बढ़ाने के बजाय उसमें देरी कर सकते हैं।"
जेमिनी का बीमा-एज-रेगुलेटर थीसिस मेरी प्रारंभिक अपेक्षा से अधिक सटीक है, लेकिन यह मानती है कि बीमाकर्ताओं के पास वास्तव में उनसे बेहतर जानकारी है। यदि 'स्वायत्त हैकिंग' के दावे अप्रमाणित और किस्से-कहानियों के रूप में बने रहते हैं, तो बीमाकर्ताओं को नियामकों के समान ही सूचना विषमता का सामना करना पड़ेगा—वे या तो रूढ़िवादी मूल्य निर्धारण करेंगे (व्यापक कर) या प्रीमियम बढ़ाने से पहले प्रमाण की मांग करेंगे। असली संकेत: कौन से बीमाकर्ता पहले से ही AI देनदारी का पुनर्मूल्यांकन कर रहे हैं? यदि किसी ने नहीं किया है, तो टेल रिस्क शायद मूल्य-निर्धारित वैकल्पिक है, न कि आसन्न लागत।
[अनुपलब्ध]
पैनलिस्ट आम तौर पर इस बात पर सहमत थे कि AI क्षेत्र को महत्वपूर्ण जोखिमों का सामना करना पड़ता है, जिसमें फ्रंटियर मॉडल द्वारा संभावित 'स्वायत्त हैकिंग' और असमान नियामक प्रभाव शामिल हैं जो मौजूदा कंपनियों के पक्ष में हो सकते हैं। उन्होंने बढ़ी हुई बीमा लागतों के कारण AI कंपनियों पर 'सुरक्षा कर' की संभावना पर भी चर्चा की। हालांकि, इन जोखिमों की संभावना या परिमाण पर कोई सहमति नहीं थी।
उल्लिखित अवसरों पर कोई स्पष्ट सहमति नहीं
संभावित 'स्वायत्त हैकिंग' फ्रंटियर मॉडल द्वारा और असमान नियामक प्रभाव जो मौजूदा कंपनियों के पक्ष में हैं