Perspektif: Permintaan AI dilebih-lebihkan, dan hanya Anthropic yang realistis

Sinyal permintaan utama untuk kecerdasan buatan terlihat meledak di atas kertas, tetapi mungkin dilebih-lebihkan secara signifikan. Anthropic, dengan mematok harga alat-alatnya untuk kenyataan itu, mungkin menjadi perusahaan AI yang paling siap jika terjadi koreksi.

Token adalah unit dasar penggunaan AI: kata-kata dan karakter yang membentuk baik kueri yang dikirim pengguna maupun keluaran model yang dihasilkan.

Mengobrol dengan AI mengonsumsi beberapa ratus token per paragraf. AI agen, di mana model menulis kode, menjelajahi web, dan mengeksekusi alur kerja multi-langkah, menghabiskan ribuan token lagi per sesi.

Menggunakan tarif model terbaru Anthropic, satu juta token masukan (prompt) membutuhkan biaya $5, dan satu juta token keluaran (respons model) membutuhkan biaya $25.

Perusahaan AI mengutip ledakan konsumsi token untuk membenarkan ratusan miliar dolar yang dihabiskan untuk infrastruktur untuk melayaninya.

Tetapi konsumsi token menjadi metrik yang terdistorsi.

Meta dan Shopify mengatakan mereka telah membuat papan peringkat internal yang melacak berapa banyak token yang digunakan karyawan. CEO Nvidia Jensen Huang mengatakan dia akan "sangat khawatir" jika seorang insinyur yang menghasilkan $500.000 setahun tidak menggunakan setidaknya $250.000 dalam komputasi — **mengukur apa yang dihabiskan seorang insinyur untuk AI daripada apa yang mereka hasilkan dengannya.**

Setelah perusahaan mulai mengukur adopsi AI berdasarkan volume, karyawan mengoptimalkan untuk metrik daripada hasil.

"Jika tujuan Anda hanyalah membakar banyak uang, ada cara mudah untuk melakukannya," kata Ali Ghodsi, CEO Databricks, yang memproses beban kerja AI untuk ribuan perusahaan. "Kirim ulang kueri ke sepuluh tempat. Pasang loop yang hanya melakukannya lagi dan lagi. Itu akan menghabiskan banyak uang dan tidak mengarah ke mana pun."

Jen Stave, direktur eksekutif Harvard Business School AI Institute, mendengar hal yang sama dari para pemimpin perusahaan.

"Saya telah berbicara dengan selusin CTO atau CIO yang semuanya mengatakan, 'Sebenarnya saya sangat kesulitan menemukan kerangka kerja ROI untuk ini,'" katanya.

Anthropic sedang merencanakan kemungkinan bahwa proyeksi permintaan itu salah.

CEO Dario Amodei telah menggambarkan apa yang disebutnya "kerucut ketidakpastian" – pusat data membutuhkan waktu satu hingga dua tahun untuk dibangun, jadi perusahaan berkomitmen miliaran sekarang untuk permintaan yang belum dapat mereka verifikasi. Beli terlalu sedikit dan kehilangan pelanggan ketika Anda tidak memiliki kapasitas yang cukup. Beli terlalu banyak dan pendapatan tidak tiba tepat waktu, matematika berhenti bekerja.

"Jika Anda salah beberapa tahun, itu bisa menjadi bencana," kata Amodei dalam podcast Dwarkesh Patel pada bulan Februari. "Saya punya kesan bahwa beberapa perusahaan lain belum menulis spreadsheet. Mereka hanya melakukan sesuatu karena terdengar keren."

Anthropic telah menanggapi dengan menjauh dari harga perusahaan flat-rate dan menuju penagihan per-token, sehingga pendapatan yang mereka kumpulkan mencerminkan penggunaan aktual. Ia juga telah memutus beberapa alat pihak ketiga yang merupakan konsumen besar token, sementara OpenAI telah membuat AI lebih murah dan lebih mudah dikonsumsi dalam skala besar.

Harga flat-rate telah mendominasi tahun-tahun awal adopsi AI, dengan biaya bulanan tetap untuk akses AI yang murah hati atau tidak terbatas. Model itu berhasil ketika orang-orang mengobrol dengan AI. Tetapi penggunaan agen mengubah apa yang menelan biaya ribuan token per sesi menjadi jutaan, dan merusak ekonomi.

Penawaran konsumen paling murah hati Anthropic, paket $200 per bulannya, menjadi studi kasus.

Pengembang telah mengarahkan langganan itu melalui alat agen pihak ketiga seperti OpenClaw, menjalankan agen AI sepanjang waktu pada paket yang dirancang untuk percakapan. Berdasarkan tarif yang dipublikasikan Anthropic untuk model terbarunya, pengguna berat Claude Code Max dapat membayar hanya $200 per bulan untuk penggunaan yang akan menelan biaya pengguna hingga $5.000 tanpa langganan.

Pada 4 April, Anthropic memutus alat-alat itu. Boris Cherny, kepala Claude Code, menulis di X bahwa langganan "tidak dibangun untuk pola penggunaan alat pihak ketiga ini."

Rekalibrasi yang sama terjadi di perusahaan.

Kontrak Anthropic yang lebih lama termasuk kursi standar dan premium — biaya bulanan tetap dengan alokasi penggunaan bawaan. Itu sekarang diberi label "jenis kursi warisan yang tidak lagi tersedia untuk kontrak Enterprise baru," menurut halaman dukungan perusahaan. Rencana perusahaan baru menagih per kursi, dengan konsumsi token ditagih dengan tarif API di atasnya.

Anthropic adalah yang pertama bergerak, tetapi tekanan meningkat di seluruh industri.

Nick Turley OpenAI, kepala ChatGPT, mengakui dalam podcast BG2 bahwa "mungkin di era saat ini, memiliki paket tidak terbatas seperti memiliki paket listrik tidak terbatas. Itu tidak masuk akal."

Jika setiap token sekarang memiliki harga, perusahaan dan konsumen yang menganggarkan AI dengan tarif flat-rate akan mulai bertanya apa yang sebenarnya mereka dapatkan untuk itu.

CEO Ramp Eric Glyman, yang baru-baru ini meluncurkan alat pelacakan token, melihat dinamika dari sisi keuangan.

Pengeluaran AI di seluruh basis pelanggan Ramp telah tumbuh 13x dalam setahun terakhir dan tidak ada yang tahu cara menganggarkannya. Dia menyoroti pendekatan Anthropic sebagai strategi jangka panjang yang lebih bijaksana, dan mengajukan pertanyaan yang harus mengkhawatirkan investor OpenAI: jika model bisnis Anda bergantung pada ekstraksi pengeluaran token maksimum, apakah Anda memiliki insentif untuk membantu pelanggan menggunakan AI lebih efisien?

Salesforce membuat taruhan serupa, meluncurkan metrik baru yang disebut "unit kerja agen" yang melacak pekerjaan yang diselesaikan AI daripada token yang dibakarnya.

Baik Anthropic maupun OpenAI diperkirakan akan mengejar IPO tahun ini. Ketika mereka melakukannya, pertanyaan tentang permintaan akan menjadi hal pertama yang dicoba dijawab oleh investor pasar publik.

Anthropic, dengan beralih ke penagihan per-token, akan memiliki data yang lebih bersih tentang apa yang sebenarnya dihargai oleh pelanggannya. OpenAI akan memiliki angka yang lebih besar tetapi lebih sulit untuk membuktikan seberapa banyak dari mereka yang nyata.

Jika bahkan sebagian kecil dari permintaan AI saat ini dilebih-lebihkan, perusahaan yang mematok untuk kenyataan akan menjadi satu-satunya yang masih bertahan ketika koreksi tiba.