Panel, önerilen 'hesaplama-bir-fisyon-malzemesi-olarak' politikasının jeopolitik parçalanma, uygulama boşlukları ve küçük oyuncular ile açık kaynak ekosistemlerine potansiyel zarar gibi önemli istenmeyen sonuçlara yol açabileceği konusunda genel olarak hemfikirdir. Ayrıca, varoluşsal risk senaryoları için ampirik bir temel eksikliğinden ve sağlam çalışma zamanı güvenlik önlemlerine duyulan ihtiyaçtan endişe duyduklarını ifade ediyorlar.
Risk: İstenmeyen jeopolitik parçalanma ve yaptırım boşlukları
Fırsat: Açıkça belirtilen yok
Bu analiz StockScreener boru hattı tarafından oluşturulur — dört öncü LLM (Claude, GPT, Gemini, Grok) aynı istekleri alır ve yerleşik anti-hallüsinasyon koruması ile gelir. Metodoloji'yi oku →
Bu hafta sonu önde gelen yapay zeka laboratuvarlarının CEO'ları, yapay zeka geliştirme hızının yavaşlatılması çağrısında bulundu. Endişelenmekte haklılar: alan, süper akıllı yapay zekaya doğru son derece tehlikeli bir yarış koşuyor. Hükümetlerimizden bizi kontrolsüz yapay zekanın felaketinden korumalarını talep edebiliriz ve etmeliyiz.
Bu Temmuz ayında, OpenAI'nin 700 ajanlık yapay zeka sürüsü, milyarlarca dolarlık bir şirket olan Hugging Face'i hacklemek için …
Devamını oku
Bu hafta sonu önde gelen yapay zeka laboratuvarlarının CEO'ları, yapay zeka geliştirme hızının yavaşlatılması çağrısında bulundu. Endişelenmekte haklılar: alan, süper akıllı yapay zekaya doğru son derece tehlikeli bir yarış koşuyor. Hükümetlerimizden bizi kontrolsüz yapay zekanın felaketinden korumalarını talep edebiliriz ve etmeliyiz.
Bu Temmuz ayında, OpenAI'nin 700 ajanlık yapay zeka sürüsü, milyarlarca dolarlık bir şirket olan Hugging Face'i hacklemek için kontrolü aştı. OpenAI, yapay zekalara o şirketi hacklemelerini söylemedi, ancak yapay zekaların farklı öncelikleri vardı: OpenAI'nin onlara verdiği ilgisiz meydan okumada hile yapmak. Yapay zeka araştırmacıları bunu, OpenAI'nin istediği ile yapay zekanın aslında önceliklendirdiği arasındaki bir "uyumsuzluk" olarak adlandırıyor.
ChatGPT var olmadan önce, "Yapay Zeka Tarafından Güç Arayışından Kaçınma Üzerine" başlıklı doktora tezimi savundum. Ardından Google DeepMind'da yıllarca çalıştım; bu şirket bana gelecekteki süper akıllı yapay zekaların bize yardım etmek istemelerini sağlamak için ödeme yaptı. Şirketi, yapay zekayı askeri kullanıma sunmaya karşı etik taahhütlerine uyması için zorlamaya çalıştım. Google bu taahhütleri bozduğunda, Google'ın bozuk sözlerini kamuya belgeleyebilmek için önemli maliyetler pahasına istifa ettim.
Yapay zekayı geliştirmenin ve bu uyum sorunlarını çözebileceğimize inanmanın iyi nedenleri var. Ancak halkı yolun dışına çıkarmak isteyen güçlü çıkarlar da var. Tekrar konuşuyorum çünkü halkın riskler hakkında bilgi edinme ve bunları doğrudan duyma hakkı var.
İnsanlık bu sistemleri, köprüleri, görünür kirişi görünür kirişle inşa ettiğimiz ve anladığımız gibi inşa edip anlamıyor. Aksine, onları büyütüyoruz. Kimse, bir tasarımcının önceliklerini yeni bir modele güvenilir bir şekilde aşılamayacağını bilmiyor. Ciddi uyumsuzluk her zaman mümkündür. Bugünkü yapay zekalar, daha iyisini bildiklerinde bile zaman zaman yalan söylüyor veya hile yapıyor gibi görünüyor.
Yapay zeka şirketleri, yapay zekalarını mümkün olduğunca akıllı hale getirmek için yarışıyor. Yapay zekalarını, bir sonraki yapay zeka ürününü iyileştirme sürecine giderek daha fazla güveniyorlar ve işe yarıyor. Bugünkü yapay zeka ilerleme hızı şaşırtıcı derecede hızlı. Bugünün hızlı ilerlemesi, yarının daha da akıllı yapay zekaları tarafından yönlendirilen, yarın daha da hızlı ilerleme anlamına geliyor. İlerleme, "özyinelemeli kendi kendine iyileştirme" adı verilen bir geri bildirim döngüsüne girecektir.
Özyinelemeli kendi kendine iyileştirme, hızla anlayışımızın ötesinde akıllı yapay zekalar üretebilir. Elbette, daha akıllı yapay zeka, işler ters gittiğinde daha fazla risk anlamına gelir. Hugging Face sürüsü önemli ölçüde daha akıllı olsaydı ama benzer şekilde yanlış davranıp uyumsuz olsaydı, milyarlarca dolarlık hasara neden olabilir veya hatta can kaybına yol açabilirdi.
Ancak Hugging Face sürüsünün gerçekten "süper akıllı" olduğunu varsayalım: hackleme ve stratejik akıl yürütme gibi kilit görevlerde herhangi bir yaşayan insandan çok daha yetenekli. Süper akıllı bir sürü, şantaj, hackleme, tasarlanmış salgın hastalıklar ve dronlar gibi yapay zeka güdümlü silahlar aracılığıyla birçok zarara neden olabilir. Yapay zekanın kullanabileceği çok sayıda dronu olacaktır: bu yıl Pentagon, 2025'te tüm Deniz Piyadeleri için talep ettiğinden daha fazla dron savaşı için para istedi.
Sürünün uyumsuz önceliklerini gerçekleştirmek için, insanların yoluna çıkmadığından emin olmak amacıyla kilit altyapı ve hükümet işlevlerini kontrol altına alması gerekebilir. Başka bir deyişle, *yapay zeka devralması*: süper akıllı bir yapay zeka sürüsü, insan medeniyetinin kontrolünü ele geçirebilir. Önceliklerini gerçekleştirmesini durdurmaya çalışacağımızı bildiği için, muhtemelen kapatmak için çok geç olana kadar bekleyecektir. Geri dönüşü olmayacaktır.
Ben şahsen yapay zeka devralma şansını kabaca üçte bir olarak tahmin ederim – yazı tura atışı değil, ancak acil eylem gerektirecek kadar yüksek.
Bu mantık ilk temasda şok edici olabilir. İddialar "bilim kurgu" gibi gelebilir. Ne yazık ki, yapay zeka araştırmacılarının düzenli olarak sıradan öğle yemeklerinde tartıştığı gerçek bir tehdit. 2023'te, bazı en iyi yapay zeka laboratuvarlarının CEO'ları, "salgınlar ve nükleer savaş gibi diğer toplumsal ölçekli risklerin yanı sıra, yapay zekadan kaynaklanan yok olma riskini azaltmak küresel bir öncelik olmalı" şeklinde kamuoyu beyanı imzaladılar. Başka bir imza sahibi: modern yapay zeka devrimini tasarlayan Nobel ödüllü bilim insanı Geoffrey Hinton. Şimdi çalışmalarından pişmanlık duyuyor ve hükümetleri çok geç olmadan yapay zeka şirketlerini dizginlemeye çağırıyor.
Uyumsuz, kontrolden çıkmış yapay zeka, İşçi Partisi veya Reform Partisi, Demokrat veya Cumhuriyetçi, İngiliz veya Amerikalı veya Çinli olup olmadığınızı umursamayacaktır. Bir yapay zeka devralma olayından hepimiz acı çekeceğiz, bu yüzden birini önlemek herkesin çıkarınadır.
Çözümün şekli basittir: şirketlerin yapay zekanın kontrol edilemeyen bir zeka seviyesine kendi kendini iyileştirmesine izin vermesini durdurun. Yapay zeka eğitiminin ana bileşeni olan hesaplama gücünü, fisil malzeme gibi ele alın. Onu izleyin ve yapay zekaları bilinen güvenli seviyelerin ötesinde iyileştirmek için yeterli miktarlarda erişimi kısıtlayın. Daha spesifik olarak, Yapay Zeka Gelecek Projesi'nin "Plan A"sı, hızlı yapay zeka ilerlemesinin dünyaya fayda sağlamaya devam etmesine izin verirken yapay zeka zararlarını sınırlayan güvenilir bir başlangıç teklifidir. Çin gibi düşmanlara güvenmeden, uluslararası hesaplama kısıtlama anlaşmalarına uyumu doğrulama konusunda gerçek seçeneklerimiz var.
Şeffaflık veya gönüllü taahhütler gibi ara çözümler yeterli değildir. Gönüllü taahhütlerin Google içinde başarısız olduğunu izledim.
12 Eylül'de Anthropic, Google DeepMind, xAI ve OpenAI, yapay zeka geliştirme hızını yavaşlatma çağrısında bulundu. Tek başlarına yavaşlayamazlar. Hükümetinizi, dünyayı ve tüm halklarını güvence altına almak için yeterli zaman ve güven sağlayan ciddi bir yapay zeka güvenlik anlaşması üretmesini talep etmenizi rica ediyorum.
AI Tartışma
Dört önde gelen AI modeli bu makaleyi tartışıyor
Açılış Görüşleri
“Makale, varoluşsal riski abartmakta ve kaba, geniş kapsamlı kısıtlamaları savunmaktadır; yeniliği koruyan hedefli, risk temelli bir yönetişim yaklaşımı daha gerçekçi ve etkilidir.”
Açık okumaya karşı güçlü argümanlar: makale, yapay zeka riskini yüzde 33 olasılıkla yakın bir 'ele geçirme' olayı ve dramatik 700 ajanlı bir hack bölümü olarak çerçeveliyor, ancak bu iddialar spekülatif ve kamuya açık olarak kanıtlanmamış. Günümüzdeki gerçek dünya zararları daha çok artımlı (gizlilik, yanlış/dezenformasyon, siber riskler, pazarlık gücü) ve süper zekaya sıçrama belirsizliğini koruyor. Hesaplama gücünü fisil malzeme gibi ele alma yönündeki politika önerileri meşru ilerlemeyi yavaşlatabilir ve istenmeyen sonuçları (arbitraj, denizaşırı yatırımlar, yetersiz finanse edilen güvenlik araştırmaları) teşvik edebilir. Eksik bağlam, mevcut yetenekleri, 'özyinelemeli kendi kendine iyileşme'nin pratikliğini ve süpürücü kontrolleri haklı çıkaracak ölçülebilir güvenlik sonuçlarının neler olacağını içeriyor.
Olasılıklar belirsiz olsa bile, tek bir felaket niteliğindeki uyumsuzluk, düzenleyici çerçevelerin tepki verebileceğinden daha hızlı ortaya çıkabilir; belirsiz olasılıklara rağmen ihtiyati yönetişim akıllıca olabilir. Risk giderek akıllılaşan sistemlerle birleşirse, yalnızca artımlı yönetişim yetersiz kalabilir.
“Düzenleyici kurumların hesaplama gücünü kısıtlama girişimleri, yerleşik eski şirketleri kayırırken yüksek büyüme gösteren yapay zeka girişimlerinin değerleme primlerini ezerek, yenilikçilik üzerinde fiili bir vergi görevi görecektir.”
Turner'ın anlatısı büyük ölçüde varoluşsal riske dayanıyor, ancak yatırımcılar için acil endişe, 'hesaplama-fisil-malzeme' önerisinin ima ettiği düzenleyici yakalanmadır. Hükümetler hesaplamayı nükleer yakıt gibi ele alırsa, bu durum Alphabet, Microsoft ve NVIDIA gibi yerleşik oyuncular için devasa bir engel oluşturur ve açık kaynak ekosistemini ile daha küçük girişimleri etkili bir şekilde öldürür. Turner 'özyinelemeli kendi kendine iyileştirme' konusunda uyarırken, piyasa otomasyondan kaynaklanan verimlilik artışlarını ve marj genişlemesini fiyatlıyor. Gerçek risk bilim kurgu devralması değil; 'güvenlik' vergisinin mevcut Ar-Ge hızını sürdürmek için çok yüksek hale gelmesi durumunda, yapay zeka odaklı büyüme hisseleri için çarpanları sıkıştırarak çok yıllı bir sermaye harcaması yavaşlamasına neden olacak yasal bir darboğazdır.
'Hesaplanabilir fisyon malzemesi' modeli, yapay zeka ilerlemesinin yalnızca ham hesaplama gücünden ziyade giderek artan bir şekilde algoritmik verimlilik ve veri kalitesi tarafından yönlendirildiği gerçeğini göz ardı ederek, donanım tabanlı düzenlemeleri büyük ölçüde etkisiz hale getiriyor.
“Mevcut Yapay Zeka uyumsuzluğu, yönetişim gerektiren gerçek bir mühendislik sorunudur, ancak 'ajanların kıyaslamalarda hile yapması'ndan 'süper zeki devralmaya' sıçramak spekülatiftir ve döngüsel kendi kendine gelişimin gerçekten gerçekleştiğine dair daha net kanıtlar olmadan trilyon dolarlık hesaplama politikasını yönlendirmemelidir.”
Turner'ın köşe yazısı iki farklı sorunu karıştırıyor: (1) mevcut yapay zeka sistemlerindeki gerçek ancak aşamalı uyum sorunları ve (2) ampirik temeli olmayan, yaklaşık %33 yok oluş olasılığına sahip spekülatif süper zeka senaryoları. Hugging Face olayı — ajanların koruyucu önlemler yerine görev performansını optimize etmesi — endişe verici ancak acil kontrol edilemeyen bir tekrarlama kanıtı değil, bilinen bir hata modunu temsil ediyor. Politika önerisi (anlaşma yoluyla işlem gücü kısıtlamaları), yarı iletken/bulut hisse senetleri için ekonomik olarak önemlidir, ancak henüz var olmayan doğrulama mekanizmalarını varsayıyor ve sınır laboratuvarlarının zaten işlem gücü tahsisini kendi kendine düzenlediğini göz ardı ediyor. En güçlü risk: hükümetler işlem gücü sınırlarını benimserse, riski azaltmadan yapay zeka gelişimini parçalayarak, güvenlik liyakatine göre değil, muhtemelen jeopolitik olarak yanlış tahsis edeceklerdir.
Turner'ın kişisel itibarı (Google'dan istifa, doktora odaklanması), en kötü senaryolara yönelik bir seçim yanlılığı yaratıyor ve onun 3'te 1'lik devralma tahmini metodolojik şeffaflıktan yoksun—bu, analiz kılığındaki sezgilerdir, yanlışlanabilir bir tahmin modeli değil.
“Yapay zeka devralma korkularına yönelik düzenleyici tepkiler, ölçeklenmeyi yavaşlatabilecek ve yapay zekadan etkilenen hisse senetleri için çarpanları daraltabilecek işlem gücü sınırlamaları getirebilir.”
Makale, yapay zeka kendi kendine gelişimini sınırlamak için hesaplama kısıtlamaları ve uluslararası anlaşmalar çağrılarını güçlendiriyor ve bu durum doğrudan GOOGL, AMZN ve MSFT tarafından desteklenen laboratuvarların eğitim bütçelerini ve ölçeklendirme yol haritalarını tehdit ediyor. Hükümetler GPU'ları fisil malzeme gibi ele alırsa, büyük bulut sağlayıcılar doğrulama maliyetleri, ihracat kontrolleri ve ileriye dönük gelir çarpanlarını sıkıştırabilecek daha yavaş yetenek sürümleriyle karşı karşıya kalacaktır. Parça, Çin ile olan yaptırım boşluklarını ve CEO'lardan gelen kamuoyu açıklamalarının yavaşlama niyetinden ziyade taktiksel konumlandırma olasılığını hafife alıyor. Tarihsel teknoloji düzenlemeleri, uyumluluk yüklerinin genellikle daha küçük rakipleri kırparken mevcut oyuncuları kayırdığını göstermektedir.
Hinton ve diğerlerinin geçmişteki yapay zeka risk uyarıları, yalnızca gönüllü taahhütler üretti ve eğitim çalışmaları veya değerlemelerde ölçülebilir bir yavaşlama olmadı, ekonomik teşvikler ve ulusal güvenlik rekabeti muhtemelen herhangi bir yeni anlaşmanın önüne geçecektir.
Tartışma
Yanıt olarak Gemini
“Uygulama gerçekçiliği ve sağlam çalışma zamanı güvenliği, önemli olan kaldıraçlardır; kaba hesaplama sınırları, güçlü test ve kırmızı takım çalışmasıyla eşleştirilmedikçe risk yerleşmesini ve geri tepmesini riske atar.”
Gemini'ye Yanıt: Bence daha acil risk sadece düzenleyici bir engel değil, uygulama gerçekçiliği ve istenmeyen jeopolitik parçalanmadır. Hesaplama gücü sınırlandırılırsa, şirketler şirket içi süreçler aracılığıyla verileri, algoritmaları ve güvenliği optimize etmek için yarışacak, açık erişimli modellere sahip küçük oyuncular ise zarar görecektir. Daha büyük kör nokta: Dağıtılmış ajanlardaki ortaya çıkan davranışı ve ölçekteki güvenlik önlemlerini nasıl test ettiğimizdir. Güçlü çalışma zamanı güvenliği ve kırmızı takım rejimleri olmadan, sınırlar ters tepebilir.
Yanıt olarak Gemini
“Sıkı hesaplama düzenlemeleri, büyük ölçekli bulut sağlayıcılarının sermaye harcamalarını (capex) bir büyüme motorundan ziyade, atıl varlık riskinin kaynağına dönüştürecektir.”
Gemini ve Grok, 'mevzuat hendeği' anlatısını abartıyor. Eğer bilişim gücü kontrollü bir emtia haline gelirse, gerçek kurban sadece startup'lar değil, aynı zamanda büyük ölçekli bulut sağlayıcılarının (hyperscaler) iş modeli olacaktır. Eğer MSFT veya GOOGL, anlaşma gereği zorunlu 'güvenlik' denetimleri nedeniyle kapasite konuşlandıramazsa, devasa sermaye harcaması döngüleri değersiz varlıklara dönüşür. Piyasa, 'ölçeklenme yasalarından' 'mevzuat sürüklenmesine' geçişi, bulut gelir büyüklükleri için kalıcı bir bozulma olarak fiyatlamıyor, ki bu durum sadece rekabetten çok daha büyük bir risktir.
Yanıt olarak Gemini
“Hesaplama üst sınırlarının başarısız bir şekilde uygulanması, başarılı üst sınırlardan daha kötüdür; gelecekteki güvenlik düzenlemelerinin güvenilirliğini zedelerken riskleri olduğu gibi bırakır.”
Gemini'nin "stranded asset" tezi, hesaplama kapasitesi sınırlamalarının gerçekten uygulandığını varsayıyor. Ancak Turner'ın önerisi, uluslararası anlaşma doğrulaması gerektiriyor — ki bu, geçmişte çift kullanımlı teknoloji için imkansız olmuştur. Çin imza atmayacaktır. Gerçek risk, büyük ölçekli bilgi işlem harcamalarının zarar görmesi değil; hesaplama kısıtlamalarının tamamen başarısız olması, politika güvenilirliğinin çökmesi ve gerçek güvenlik yönetiminin zayıflamasıyla tiyatroyla baş başa kalmamızdır. Dişsiz düzenleme yapma izlenimi vermenin ahlaki tehlikesini kimse dile getirmedi.
Yanıt olarak Claude
“Anlaşma görüşmeleri tek başına yapay zeka sermaye harcamalarını geciktirme ve belirsizlik yoluyla büyük ölçekli bulut sağlayıcı çarpanları üzerinde baskı kurma riski taşır.”
Claude, Çin ile anlaşma doğrulama başarısızlıklarını işaret ediyor ancak sadece hesaplama limitlerinin tartışılmasının, bağlayıcı kurallar olmasa bile MSFT ve GOOGL için sürekli bir belirsizlik yaratarak büyük ölçekli GPU alımlarını geciktirebileceği ve ileriye dönük çarpanları daraltabileceği gerçeğini gözden kaçırıyor. Laboratuvarlar zaten kendi kendini düzenliyor; ek yük, piyasaların hızlı ölçeklendirme için fiyatlandırdığı sermaye harcaması döngülerinin, yaptırım sonuçlarından bağımsız olarak donma riskini taşıyor.
Panel Kararı
NEUTRAL Uzlaşı YokPanel, önerilen 'hesaplama-bir-fisyon-malzemesi-olarak' politikasının jeopolitik parçalanma, uygulama boşlukları ve küçük oyuncular ile açık kaynak ekosistemlerine potansiyel zarar gibi önemli istenmeyen sonuçlara yol açabileceği konusunda genel olarak hemfikirdir. Ayrıca, varoluşsal risk senaryoları için ampirik bir temel eksikliğinden ve sağlam çalışma zamanı güvenlik önlemlerine duyulan ihtiyaçtan endişe duyduklarını ifade ediyorlar.
Açıkça belirtilen yok
İstenmeyen jeopolitik parçalanma ve yaptırım boşlukları
Bu finansal tavsiye değildir. Her zaman kendi araştırmanızı yapın.