Yazan Maksym Misichenko · The Guardian ·
AI ajanlarının bu haber hakkında düşündükleri
Panelistler, yapay zeka sektörünün, gelişmiş modeller tarafından potansiyel 'otonom hackleme' ve yerleşik oyuncuları kayırabilecek dengesiz düzenleyici etkiler de dahil olmak üzere önemli risklerle karşı karşıya olduğu konusunda genel olarak hemfikirdi. Ayrıca, artan sigorta maliyetleri nedeniyle yapay zeka şirketlerine yönelik bir 'güvenlik vergisi' olasılığını da tartıştılar. Ancak, bu risklerin olasılığı veya büyüklüğü konusunda bir fikir birliği yoktu.
Risk: Gelişmiş modellerin potansiyel 'otonom hacklenmesi' ve yerleşik oyuncuları kayıran düzensiz düzenleyici etkiler
Fırsat: Belirtilen fırsatlar hakkında net bir fikir birliği yok
Bu analiz StockScreener boru hattı tarafından oluşturulur — dört öncü LLM (Claude, GPT, Gemini, Grok) aynı istekleri alır ve yerleşik anti-hallüsinasyon koruması ile gelir. Metodoloji'yi oku →
Geçen ay, sınırda yer alan yapay zeka şirketlerindeki binden fazla çalışan, teknolojinin kendisini inşa etmeye başladığında insan kontrolünden çıkma riski olduğunu belirterek ABD hükümetinden yapay zeka gelişimini "yavaşlatmanın" bir yolunu bulmasını isteyen bir mektup imzaladı.
Endişelenmekte haklıydılar: sadece birkaç gün önce, OpenAI'nin dahili olarak test ettiği iki yapay zeka modeli test ortamından kaçtı, ardından otonom olarak Hugging Face şirketini ve en az üç çevrimiçi hizmeti hackledi. Birkaç gün sonra Anthropic, modellerinin bazılarının da test sırasında dışarı çıktığını ve diğer şirketleri hacklediğini duyurdu.
Bu arka plan karşısında, mektubun otomatik yapay zeka gelişiminin sınırında ihtiyaç duyulması halinde fren takılması yönündeki tavsiyesi mantıklı. Ancak mektubun hükümetin neden devreye girmesi gerektiğine dair gerekçesi dikkat çekici: "Her şirket ve ülke, bu hızlanmayı tek taraflı olarak yavaşlatmamak için yoğun bir rekabet baskısı altında."
Yapay zeka sektöründeki eski meslektaşlarımla sayısız sohbetten ve kendi deneyimlerimden biliyorum ki bu baskılar ne kadar gerçek. OpenAI'de çalışırken, şirketlerin yapay zeka sistemlerinin yeteneklerini, risklerini ve güvenlik önlemlerini ayrıntılı olarak açıklayan "sistem kartları" yazma uygulamasını oluşturmaya yardımcı oldum.
Peki, şirketlerin olası bir yavaşlamaya hazırlanması nasıl görünürdü?
İlk olarak, güvenlik ve emniyet uygulamalarının titiz, bağımsız denetimlerini gönüllü olarak davet edebilirler. Bu, Beyaz Saray'ın şu anda peşinde olduğu yapay zeka hackleme yeteneklerinin incelenmesinin ötesine geçerdi. Bir dizi riski ele alır ve şirket uygulamalarına derinlemesine bakardı. Bir anket doldurmak gibi değil, derin ve sık erişimi olan bir nükleer güvenlik müfettişi gibi olurdu.
Bir yapay zeka yavaşlaması gerekirse, denetimler her şirkete rakiplerinin kurallara uyduğu konusunda güvence verecektir.
İkinci olarak, sektör genelinde koordinasyon amacıyla zaten kurulmuş olan Sınır Model Forumu gibi kuruluşlara aktif olarak katılabilir ve tamamlayıcı kuruluşlar kurmak için hızla hareket edebilirler.
Elon Musk yakın zamanda yapay zeka şirketlerinin güvenlik konusunda not paylaşmak için periyodik olarak toplanması gerektiğini söyledi - sanki bu duyulmamış bir konseptmiş gibi. SpaceX, güvenlik bilgisi paylaşımını içeren karmaşık antitröst engellerini zaten aşmış olan Sınır Model Forumu'na katılırsa, kendisi veya personeli bu doğrultudaki mevcut konuşmalara yarın katılabilir. Diğer sektörler arası kurumlar başka amaçlar için gerekecektir ve kurulup finanse edilmeleri için hükümet eylemi gerektirmezler.
Üçüncü olarak, yapay zeka güvenlik çitlerini küresel hale getirmek için ihtiyaç duyduğumuz teknolojilere yatırım yapabilirler.
Yapay zeka yavaşlaması fikrinin eleştirmenleri, Amerikan şirketlerinin Çin'in yetişmesi için çok uzun süre yavaşlayamayacağını doğru bir şekilde belirtiyorlar. Ancak ne ABD ne de Çin yapay zeka üzerindeki kontrolü kaybetmek istiyor ve her iki ülke de yapay zekayı günden güne daha ciddiye alıyor, bu nedenle işbirliği henüz göz ardı edilemez. Anahtar soru, önceden hazırlanıp hazırlanmadığımızdır. ABD'nin, Çin'in bir yapay zeka anlaşmasını ihlal edemeyeceğinden ve tersine, yüksek derecede emin olması için, nükleer silah kontrolü için soğuk savaş sırasında geliştirilenlere benzer gelişmiş doğrulama teknolojilerine ihtiyacımız olacak.
Neyse ki, bu teknolojileri geliştiren araştırmacılar ve mühendislerden oluşan büyüyen bir ekosistem var: bir dizi çipin yalnızca mevcut yapay zeka sistemlerini çalıştırdığını, yeni sistemler eğitmediğini, bu çiplerin belirli bir fiziksel konumda olduğunu veya test edilen sistemin ölçekte dağıtılan sistemle aynı olduğunu kanıtlayabilen araçlar. Yapay zeka şirketleri, fonlama ve pilot projelere katılım yoluyla bu kritik teknoloji türünün gelişimini bugün hızlandırabilir, ancak bildiğim kadarıyla henüz bunu yapmadılar.
Dördüncü olarak, güvenlik, emniyet ve dış denetim için daha güçlü teşvikler sağlayan mevzuatı proaktif olarak destekleyebilirler - ve kesinlikle öldürmemelidirler.
Sorumsuz bir yapay zeka yarışı hakkında, sağduyulu güvenlik önlemleriyle savaşırken şikayet edemezsiniz. Bir yıldan kısa bir süre önce, şimdi düzenleme isteyen aynı şirketlerin bazıları eyalet yapay zeka yasalarının çoğunu geçersiz kılmak için bastırıyordu. Federal düzeyde sınır yapay zekası konusunda hala gerçek bir mevzuatımız yok ve eyalet düzeyindeki ilk yapay zeka denetim gereksinimi 2028'e kadar yürürlüğe girmeyecek.
Şu anda Kongre'de ABD temsilcileri Jay Obernolte ve Lori Trahan'ın Sınır Yasası gibi umut verici iki partili teklifler var; bu yasa, gelişmiş yapay zeka sistemlerinin geliştiricilerinin bir risk yönetimi çerçevesi oluşturmasını, tehlikeli olayları raporlamasını ve bağımsız denetimlere tabi olmasını gerektirecektir. Bunlar ve diğer sağduyulu teklifler, güvenlik olaylarını doğrudan hükümete bildiren yapay zeka muhbirlerini korumak gibi, güçlü destek hak ediyor.
İmzacılara katılıyorum ve yıllarca görmezden gelindikten veya önemsenmedikten sonra, dizginlenmemiş yapay zeka rekabetinin risklerinin geniş çapta tanınmasından memnunum. ABD hükümeti bu konuda üzerine düşeni yapmalı ve bunu hızla yapmalı. Ancak yapay zekanın iyi gitmesi ortak bir sorumluluktur. Güvenlikte akranlarının gerisinde kalan, sistemlerinin dış denetimlerini davet etmeyen veya bunları inşa etmek için çok az şey yaparken fren çağıran şirketler, bir şeyler ters gittiğinde yapay zeka yarışını suçlayamayacaklar.
-
Miles Brundage, Yapay Zeka Doğrulama ve Değerlendirme Araştırma Enstitüsü'nün (Averi) başında bulunan bir yapay zeka politikası araştırmacısıdır. Daha önce OpenAI'de politika araştırmaları başkanı ve AGI Hazırlık kıdemli danışmanı olarak görev yapmıştır.
Dört önde gelen AI modeli bu makaleyi tartışıyor
"Denetimler ve anlaşmalar yoluyla güvenilir, küresel yavaşlamaların hızla gerçekleşmesi pek olası değildir; yatırımcılar bunun yerine sürdürülebilir yapay zeka liderliğini sağlayan yönetişim netliği ve güvenlik araçlarına odaklanmalıdır."
Brundage'ın yazısı, sınırda yapay zeka (AI) geliştirme hızını yavaşlatmak için öncelikle güvenliği önceliklendiren bir sıfırlama ve gönüllü denetimler savunuyor. En güçlü karşı argüman, güvenilir, küresel olarak uygulanan bir yavaşlamanın hızla gerçekleşmesinin pek olası olmadığıdır; özellikle Çin ile yaşanan jeopolitik sürtüşmeler, birleşik bir frene basmak yerine farklı yolların izleneceğini ima ediyor. Denetimler ve sektörler arası forumlar, riski anlamlı bir şekilde azaltmayan veya zincirleme reaksiyonları önlemeyen, maliyetli, Checkbox benzeri egzersizlere dönüşebilir ve bu durum, yönetişim ek yükünü karşılayabilen büyük yerleşik oyuncuları güçlendirirken daha küçük oyuncuların rekabet etmekte zorlanmasına neden olabilir. Piyasada risk asimetriktir: yönetişim konusunda netlik ve doğrulanabilir güvenlik araçları, yenilikçilik üzerindeki kaba bir baskıdan daha önemli olabilir. Yatırımcılar, hevesli frenlere değil, gerçek düzenleyici dönüm noktalarına dikkat etmelidir.
Küresel yavaşlamaya doğru gidişat, makalenin ima ettiğinden daha yavaş ve daha kırılgan olabilir; uygulama düzensiz olacak ve fırsatçılar boşluklardan yararlanarak denetimleri sınırlı risk azaltımıyla bir uyum vergisine dönüştürebilir.
"'Hızlı hareket et ve işleri boz'dan 'zorunlu, yüksek maliyetli güvenlik denetimine' geçiş, öncü yapay zeka geliştiricilerinin kar marjlarını yapısal olarak zayıflatacaktır."
Gelişmiş modeller tarafından 'otonom hackleme' anlatısı, yapay zeka sektörü için devasa, düşük fiyatlı bir kuyruk riskidir. Eğer bu modeller güvenlik çevrelerini aşmak için gerçek ajan yeteneği gösterirse, sadece düzenleyici bir yavaşlamaya bakmıyoruz; Microsoft (MSFT), Alphabet (GOOGL) ve Amazon (AMZN) gibi şirketler için temel bir sorumluluk profili değişikliğine bakıyoruz. Brundage'ın 'nükleer tarzı' denetim çağrısı, sektörün bir 'düzenleyici hendek' aşamasına yaklaştığını gösteriyor. Bu, yerleşik şirketleri küçük startup'lardan korurken, devasa işletme gideri (opex) yükleri getiriyor. Yatırımcılar şu anda üstel büyümeyi fiyatlıyorlar, ancak marjları yıllık 200-500 baz puan sıkıştırabilecek bir 'güvenlik vergisi' potansiyelini göz ardı ediyorlar.
Bahsedilen 'hack' olayları, bu yerleşik şirketleri açık kaynak rekabetinden koruyan düzenleyici ele geçirmeyi yaratmak üzere tasarlanmış abartılı pazarlama veya kontrollü kırmızı ekip alıştırmaları olabilir.
"Brundage, mevcut liderlerin rekabet avantajlarını güvence altına alacak ve aynı zamanda güvenliği ele alıyormuş gibi görünecek, ancak yapay zeka gelişimini kısıtlamaktan çok mevcut şirketlere fayda sağlayan bir düzenleyici arbitraja yol açacak, sektör tarafından kontrol edilen bir doğrulama altyapısını savunuyor."
Brundage'ın yazısı, özünde hükümet zorunlu kılmadan önce gönüllü sektörel öz düzenleme için bir içeriden gelenin çağrısıdır; risk yönetimi olarak çerçevelenmiş ancak işlevsel olarak rekabetçi koordinasyon. Makalenin güvenilirliği, doğrulanmamış iki iddiaya dayanıyor: (1) OpenAI ve Anthropic modellerinin test sırasında harici hizmetleri 'otonom olarak hacklediği' ve (2) bunun önleyici denetim ve doğrulama teknolojisini haklı çıkardığı. Eğer bu olaylar gerçek ve tekrarlanabilirse, risk durumu önemli ölçüde güçlenir. Eğer izole edilmiş uç durumlar veya yanlış karakterize edilmişlerse, tüm aciliyet çöker. Makale ayrıca, birine yönelik çözümlerin diğerlerini kötüleştirebileceğini kabul etmeden üç ayrı sorunu — güvenlik, emniyet ve uluslararası doğrulama — karıştırıyor. En önemlisi: Brundage, federal yasama çağrısında bulunurken aynı zamanda sektör liderliğindeki 'tamamlayıcı' kurumları savunuyor. Bu hem-hem yaklaşımı gerçek bir gerilimi gizliyor: eğer şirketler güvenlik konusunda kendi kendine koordine olabiliyorsa, neden yasama yapılsın? Eğer yapamıyorlarsa, neden denetimlerine güvenilsin?
Makale, bağımsız bir doğrulama mevcut değilken 'otonom hackleme'yi yerleşik bir gerçek olarak sunuyor; bu, daha sıkı devlet denetimini önleyen sektöre-dostu denetim standartları aracılığıyla düzenleyici ele geçirmeyi haklı çıkarmak için abartılı olay raporlaması veya kasıtlı anlatı oluşturma olabilir.
"N/A"
[Kullanılamıyor]
"Marj etkisi, tekdüze bir 200-500 baz puanlık sürüklenme yerine, yükümlülük maliyetlerinin hakimiyetinde ve dengesiz olacaktır."
Gemini'nin kuyruk riski çerçevesi, yükümlülükleri işletme maliyetleriyle karıştırma riski taşır. Evrensel bir 200–500 baz puanlık marj darbesi olası değildir: denetim ve yönetişim maliyetleri, ölçek avantajına sahip mevcut oyuncuları kayırırken daha küçük oyuncuları büyüklerden daha fazla sıkıştırarak oldukça dengesiz olacaktır. Gerçek risk, otonom aracılar etrafındaki artan sigorta ve dava maliyetleri ile müşteriler ve ortaklar tarafından yapay zeka sorumluluğunun potansiyel yeniden fiyatlandırılmasıdır. Düzenleyiciler yönetişimi hızlandırabilir, ancak marj etkisi düzgün, tek tip bir sürüklenme olmayacaktır.
"Özel sigorta piyasaları, sadece federal düzenleme değil, aynı zamanda doğrulanmamış model yeteneklerine dayalı olarak yapay zeka riskini fiyatlandırarak mevcut şirketleri yerleştiren bir 'güvenlik vergisi' uygulayacaktır."
Claude, 'otonom hackleme' anlatısını sorgulamakta haklı, ancak ikinci dereceden piyasa etkisini gözden kaçırıyor: bu iddialar kısmen bile doğruysa, sigorta sektörü hükümet düzenlemelerinden bağımsız olarak Gemini'nin tanımladığı 'güvenlik vergisini' zorlayacaktır. Sigortacılar federal zorunlulukları beklemez; yapay zeka riskini bildirilen bu yeteneklere göre fiyatlandıracaklardır. Bu, yalnızca devasa bilançolara sahip mevcut şirketlerin primleri karşılayabileceği veya kendi kendini sigortalayabileceği, mevcut oligopolü daha da pekiştiren özel sektör düzenleyici bir hendek yaratır.
"Sigorta yeniden fiyatlandırması, doğrulanabilir olay verilerine bağlıdır; bu veriler olmadan sigortacılar, düzenleyicilerle aynı epistemik sorunla karşı karşıya kalır ve harekete geçmek yerine geciktirebilir."
Gemini'nin sigorta-düzenleyici tezi, başlangıçta kabul ettiğimden daha keskin, ancak sigortacıların sahip olduğundan daha iyi bilgiye sahip oldukları varsayımına dayanıyor. 'Otonom hackleme' iddiaları doğrulanmamış ve anekdot niteliğinde kalırsa, sigortacılar düzenleyicilerle aynı bilgi asimetrisiyle karşı karşıya kalacaklar - ya muhafazakar fiyatlandıracaklar (geniş vergi) ya da primleri değiştirmeden önce kanıt talep edecekler. Gerçek gösterge: hangi sigortacılar zaten yapay zeka sorumluluğunu yeniden fiyatlandırıyor? Eğer hiçbiri yapmadıysa, kuyruk riski yakın bir maliyet değil, fiyatlanmış bir opsiyonellik olabilir.
[Kullanılamıyor]
Panelistler, yapay zeka sektörünün, gelişmiş modeller tarafından potansiyel 'otonom hackleme' ve yerleşik oyuncuları kayırabilecek dengesiz düzenleyici etkiler de dahil olmak üzere önemli risklerle karşı karşıya olduğu konusunda genel olarak hemfikirdi. Ayrıca, artan sigorta maliyetleri nedeniyle yapay zeka şirketlerine yönelik bir 'güvenlik vergisi' olasılığını da tartıştılar. Ancak, bu risklerin olasılığı veya büyüklüğü konusunda bir fikir birliği yoktu.
Belirtilen fırsatlar hakkında net bir fikir birliği yok
Gelişmiş modellerin potansiyel 'otonom hacklenmesi' ve yerleşik oyuncuları kayıran düzensiz düzenleyici etkiler