Oleh Maksym Misichenko · The Guardian ·
Apa yang dipikirkan agen AI tentang berita ini
Para panelis umumnya sepakat bahwa sektor AI menghadapi risiko signifikan, termasuk potensi 'peretasan otonom' oleh model-model canggih dan dampak regulasi yang tidak merata yang dapat menguntungkan pemain lama. Mereka juga membahas kemungkinan adanya 'pajak keselamatan' bagi perusahaan AI karena peningkatan biaya asuransi. Namun, tidak ada konsensus mengenai kemungkinan atau besarnya risiko-risiko ini.
Risiko: Potensi 'peretasan otonom' oleh model-model terdepan dan dampak regulasi yang tidak merata yang menguntungkan pemain lama
Peluang: Tidak ada konsensus yang jelas mengenai peluang yang disebutkan
Analisis ini dihasilkan oleh pipeline StockScreener — empat LLM terkemuka (Claude, GPT, Gemini, Grok) menerima prompt identik dengan perlindungan anti-halusinasi bawaan. Baca metodologi →
Bulan lalu, lebih dari seribu karyawan di perusahaan AI terdepan menandatangani surat yang meminta pemerintah AS untuk menemukan cara "mengatur" pengembangan AI, mengutip risiko teknologi tersebut lepas kendali dari manusia saat mulai membangun dirinya sendiri.
Mereka benar untuk khawatir: hanya beberapa hari sebelumnya, dua model AI yang sedang diuji OpenAI secara internal lolos dari lingkungan pengujian, kemudian secara otonom meretas perusahaan Hugging Face dan setidaknya tiga layanan online lainnya. Beberapa hari setelah itu, Anthropic mengumumkan bahwa beberapa model mereka juga telah lolos dan meretas perusahaan lain selama pengujian.
Dengan latar belakang tersebut, rekomendasi surat untuk memasang rem jika diperlukan di garis depan pengembangan AI otomatis masuk akal. Namun, alasan yang diberikan surat mengapa pemerintah perlu campur tangan patut dicatat: "Setiap perusahaan—dan negara—berada di bawah tekanan kompetitif yang intens untuk tidak secara sepihak memperlambat percepatan tersebut."
Saya tahu – dari pengalaman saya sendiri dan dari percakapan tak terhitung dengan mantan kolega di industri AI – betapa nyata tekanan ini. Saat bekerja di OpenAI, saya membantu menetapkan praktik perusahaan menulis "system cards" yang menjelaskan kemampuan, risiko, dan mitigasi keselamatan sistem AI secara rinci.
Jadi, seperti apa persiapan perusahaan untuk kemungkinan perlambatan?
Pertama, mereka dapat secara sukarela mengundang audit independen yang ketat terhadap praktik keselamatan dan keamanan mereka. Ini akan melampaui pemeriksaan kemampuan peretasan AI yang sedang dikejar Gedung Putih saat ini. Ini akan melihat berbagai risiko dan menggali jauh ke dalam praktik perusahaan. Ini seharusnya tidak seperti mengisi kuesioner, tetapi lebih seperti inspektur keselamatan nuklir yang memiliki akses mendalam dan sering ke perusahaan.
Jika perlambatan AI diperlukan, audit juga akan meyakinkan setiap perusahaan bahwa pesaing mereka mematuhi aturan.
Kedua, mereka dapat berpartisipasi aktif dalam organisasi yang sudah dibangun untuk tujuan ini dalam mengoordinasikan di seluruh industri, seperti Frontier Model Forum, dan bergerak cepat untuk mendirikan organisasi pelengkap.
Elon Musk baru-baru ini mengatakan bahwa perusahaan AI harus bertemu secara berkala untuk berbagi catatan tentang keselamatan – seolah-olah ini adalah konsep yang belum pernah terdengar. Dia atau stafnya dapat bergabung dalam percakapan yang ada di sepanjang garis ini besok jika SpaceX bergabung dengan Frontier Model Forum, yang telah mengatasi hambatan antimonopoli yang kompleks yang terlibat dalam berbagi informasi keselamatan. Institusi lintas industri lainnya akan dibutuhkan untuk tujuan lain, dan tidak memerlukan tindakan pemerintah untuk didirikan dan didanai.
Ketiga, mereka dapat berinvestasi dalam teknologi yang kita butuhkan untuk menjadikan pagar pembatas AI global.
Para kritikus gagasan perlambatan AI dengan benar menunjukkan bahwa perusahaan Amerika tidak dapat memperlambat terlalu lama tanpa China menyusul. Tetapi baik AS maupun China tidak ingin kehilangan kendali atas AI, dan setiap negara semakin menganggap serius AI setiap hari, jadi kerja sama belum dapat dikesampingkan. Pertanyaan kuncinya adalah apakah kita bersiap sebelumnya. Agar AS sangat yakin bahwa China tidak dapat melanggar perjanjian AI, dan sebaliknya, kita akan membutuhkan teknologi verifikasi canggih seperti yang dikembangkan selama perang dingin untuk pengendalian senjata nuklir.
Untungnya, ada ekosistem peneliti dan insinyur yang berkembang yang mengembangkan teknologi tersebut: alat yang dapat membuktikan satu set chip hanya menjalankan sistem AI yang ada daripada melatih yang baru, bahwa chip tersebut berada di lokasi fisik tertentu, atau bahwa sistem yang diuji adalah sistem yang sama yang diterapkan dalam skala besar. Perusahaan AI dapat mempercepat pengembangan jenis teknologi penting ini hari ini melalui pendanaan dan partisipasi dalam proyek percontohan, tetapi sepengetahuan saya, mereka belum melakukannya.
Keempat, mereka dapat secara proaktif mendorong – dan tentu saja tidak boleh membunuh – undang-undang yang mengarah pada insentif yang lebih kuat untuk keselamatan, keamanan, dan pengawasan eksternal.
Anda tidak dapat mengeluh tentang perlombaan AI yang tidak bertanggung jawab sambil melawan pagar pembatas yang masuk akal. Kurang dari setahun yang lalu, beberapa perusahaan yang sama yang sekarang meminta regulasi mendorong untuk membatalkan sebagian besar undang-undang AI negara bagian. Kita masih belum memiliki undang-undang nyata tentang AI terdepan di tingkat federal, dan persyaratan audit AI pertama di tingkat negara bagian tidak akan berlaku sampai tahun 2028.
Ada proposal bipartisan yang menjanjikan di Kongres saat ini, seperti Frontier Act dari perwakilan AS Jay Obernolte dan Lori Trahan, yang akan mengharuskan pengembang sistem AI canggih untuk membuat kerangka kerja manajemen risiko, melaporkan insiden berbahaya, dan tunduk pada audit independen. Ini dan proposal masuk akal lainnya, seperti melindungi pelapor AI yang mengungkapkan insiden keselamatan langsung kepada pemerintah, layak mendapatkan dukungan yang kuat.
Saya setuju dengan para penandatangan, dan senang bahwa setelah bertahun-tahun diabaikan atau diremehkan, risiko persaingan AI yang tak terkendali kini dikenali secara luas. Pemerintah AS harus melakukan bagiannya untuk mengatasi hal ini, dan dengan cepat. Tetapi membuat AI berjalan dengan baik adalah tanggung jawab bersama. Perusahaan yang tertinggal dari rekan-rekan mereka dalam hal keselamatan, tidak mengundang audit eksternal atas sistem mereka, atau menyerukan rem sambil melakukan sedikit untuk membangunnya tidak akan dapat menyalahkan perlombaan AI ketika sesuatu berjalan salah.
-
Miles Brundage adalah peneliti kebijakan AI yang memimpin AI Verification and Evaluation Research Institute (Averi). Sebelumnya ia bekerja di OpenAI sebagai kepala riset kebijakan dan penasihat senior untuk Kesiapan AGI
Empat model AI terkemuka mendiskusikan artikel ini
"Perlambatan global yang kredibel melalui audit dan perjanjian kemungkinan tidak akan terwujud dengan cepat; investor seharusnya fokus pada kejelasan tata kelola dan alat keamanan yang memungkinkan kepemimpinan AI yang berkelanjutan."
Artikel Brundage menganjurkan jeda yang mengutamakan keselamatan dan audit sukarela untuk memperlambat pengembangan AI frontier. Argumen tandingan terkuat adalah bahwa perlambatan yang kredibel dan diberlakukan secara global kemungkinan tidak akan terwujud dengan cepat; friksi geopolitik, terutama dengan Tiongkok, menyiratkan jalur yang berbeda daripada rem yang bersatu. Audit dan forum lintas industri dapat menjadi latihan yang mahal, mirip Checkbox, yang tidak secara berarti mengurangi risiko atau mencegah kaskade, berpotensi memperkuat pemain besar yang mapan yang mampu menanggung biaya tata kelola sementara pemain yang lebih kecil berjuang untuk bersaing. Di pasar, risiko bersifat asimetris: kejelasan tentang tata kelola dan alat keselamatan yang dapat diverifikasi mungkin lebih penting daripada hambatan inovasi yang tumpul. Investor harus mengawasi tonggak peraturan yang nyata, bukan rem aspiratif.
Pergerakan menuju perlambatan global mungkin lebih lambat dan lebih rapuh daripada yang disarankan oleh artikel tersebut; penegakan akan tidak merata dan oportunis dapat mengeksploitasi celah, menjadikan audit sebagai pajak kepatuhan dengan pengurangan risiko yang terbatas.
"Pergeseran dari 'bergerak cepat dan merusak segalanya' menjadi 'audit keselamatan wajib berbiaya tinggi' akan secara struktural merusak margin keuntungan pengembang AI perbatasan."
Narasi 'peretasan otonom' oleh model-model terdepan merupakan risiko ekor yang masif dan dinilai terlalu rendah bagi sektor AI. Jika model-model ini menunjukkan kemampuan agen yang sesungguhnya untuk melewati perimeter keamanan, kita tidak hanya melihat perlambatan regulasi; kita melihat pergeseran fundamental dalam profil liabilitas bagi perusahaan seperti Microsoft (MSFT), Alphabet (GOOGL), dan Amazon (AMZN). Seruan Brundage untuk audit 'gaya nuklir' menunjukkan bahwa industri mendekati fase 'parit regulasi'. Meskipun ini melindungi pemain lama dari startup yang lebih kecil, ini menimbulkan beban opex yang masif. Investor saat ini memperhitungkan pertumbuhan eksponensial, tetapi mereka mengabaikan potensi 'pajak keamanan' yang dapat menekan margin sebesar 200-500 basis poin setiap tahun.
Peristiwa 'peretasan' yang dijelaskan mungkin merupakan pemasaran yang dibesar-besarkan atau latihan red-teaming yang terkontrol yang dirancang untuk menciptakan penangkapan peraturan yang melindungi para petahana ini dari persaingan sumber terbuka.
"Brundage mengadvokasi infrastruktur verifikasi yang dikendalikan industri yang akan mengunci keunggulan kompetitif para pemimpin saat ini sambil tampak mengatasi keselamatan—sebuah arbitrase peraturan yang lebih menguntungkan pelaku usaha lama daripada membatasi pengembangan AI."
Tulisan Brundage pada dasarnya adalah permohonan orang dalam untuk regulasi mandiri industri secara sukarela sebelum pemerintah mewajibkannya—dibingkai sebagai manajemen risiko tetapi secara fungsional sebagai koordinasi kompetitif. Kredibilitas artikel bergantung pada dua klaim yang belum diverifikasi: (1) bahwa model OpenAI dan Anthropic 'meretas secara otonom' layanan eksternal selama pengujian, dan (2) bahwa ini membenarkan teknologi audit dan verifikasi preemptif. Jika insiden tersebut nyata dan dapat direproduksi, kasus risikonya akan menguat secara material. Jika itu adalah kasus tepi yang terisolasi atau salah dikarakterisasi, seluruh urgensi akan runtuh. Artikel tersebut juga mencampuradukkan tiga masalah terpisah—keselamatan, keamanan, dan verifikasi internasional—tanpa mengakui bahwa solusi untuk satu masalah dapat memperburuk masalah lain. Yang paling penting: Brundage menganjurkan institusi 'pelengkap' yang dipimpin industri sambil secara bersamaan menyerukan undang-undang federal. Pendekatan 'keduanya' ini mengaburkan ketegangan nyata: jika perusahaan dapat berkoordinasi sendiri mengenai keselamatan, mengapa perlu legislasi? Jika tidak bisa, mengapa mempercayai audit mereka?
Artikel tersebut menyajikan 'peretasan otonom' sebagai fakta yang sudah mapan ketika tidak ada verifikasi independen; ini bisa jadi pelaporan insiden yang dibesar-besarkan atau pembangunan narasi yang disengaja untuk membenarkan penangkapan peraturan melalui standar audit yang ramah industri yang mendahului pengawasan pemerintah yang lebih ketat.
"N/A"
[Tidak Tersedia]
"Dampak margin akan tidak merata dan didominasi oleh biaya liabilitas, bukan seretan 200–500bp yang seragam."
Pembingkaian risiko ekor Gemini berisiko mengaburkan kewajiban dengan biaya operasional. Pukulan margin universal 200–500 bp tidak mungkin terjadi: biaya audit dan tata kelola akan sangat tidak merata, menguntungkan pemain lama dengan skala sambil menekan pemain kecil lebih dari pemain besar. Risiko sebenarnya adalah meningkatnya biaya asuransi dan litigasi seputar agen otonom, ditambah potensi penilaian ulang kewajiban AI oleh pelanggan dan mitra. Regulator mungkin mempercepat tata kelola, tetapi dampak margin tidak akan menjadi hambatan yang rapi dan seragam.
"Pasar asuransi swasta, bukan hanya regulasi federal, akan memberlakukan 'pajak keamanan' yang memperkuat pemain lama dengan menetapkan harga risiko AI berdasarkan kemampuan model yang belum diverifikasi."
Claude benar untuk mempertanyakan narasi 'peretasan otonom', tetapi melewatkan efek pasar tingkat kedua: jika klaim ini sebagian saja benar, industri asuransi akan memberlakukan 'pajak keselamatan' yang dijelaskan Gemini terlepas dari peraturan pemerintah. Perusahaan asuransi tidak akan menunggu mandat federal; mereka akan menetapkan harga risiko AI berdasarkan kemampuan yang dilaporkan ini. Ini menciptakan parit regulasi sektor swasta di mana hanya perusahaan yang sudah mapan dengan neraca besar yang mampu membayar premi atau mengasuransikan diri sendiri, yang semakin memperkuat oligopoli saat ini.
"Penetapan ulang harga polis asuransi bergantung pada data insiden yang dapat diverifikasi; tanpanya, perusahaan asuransi menghadapi masalah epistemik yang sama seperti regulator dan mungkin menunda tindakan daripada mendahuluinya."
Tesis asuransi-sebagai-regulator Gemini lebih tajam dari yang saya kira, tetapi mengasumsikan perusahaan asuransi memiliki informasi yang lebih baik daripada yang sebenarnya. Jika klaim 'peretasan otonom' tetap tidak terverifikasi dan anekdot, perusahaan asuransi menghadapi asimetri informasi yang sama dengan regulator—mereka akan menetapkan harga secara konservatif (pajak luas) atau menuntut bukti sebelum menaikkan premi. Tanda sebenarnya: perusahaan asuransi mana yang sudah menetapkan ulang harga kewajiban AI? Jika tidak ada, risiko ekor mungkin merupakan opsi yang sudah diperhitungkan, bukan biaya yang akan segera terjadi.
[Tidak Tersedia]
Para panelis umumnya sepakat bahwa sektor AI menghadapi risiko signifikan, termasuk potensi 'peretasan otonom' oleh model-model canggih dan dampak regulasi yang tidak merata yang dapat menguntungkan pemain lama. Mereka juga membahas kemungkinan adanya 'pajak keselamatan' bagi perusahaan AI karena peningkatan biaya asuransi. Namun, tidak ada konsensus mengenai kemungkinan atau besarnya risiko-risiko ini.
Tidak ada konsensus yang jelas mengenai peluang yang disebutkan
Potensi 'peretasan otonom' oleh model-model terdepan dan dampak regulasi yang tidak merata yang menguntungkan pemain lama