Dalam esai berjudul "The Adolescence of Technology", Amodei dengan terus terang mengakui bahwa infrastruktur manusia saat ini belum siap menghadapi skala kekuatan yang sedang dibangun. "Manusia akan diberi kekuatan yang hampir tak terbayangkan," tulisnya, "dan sangat tidak jelas apakah sistem sosial, politik, dan teknologi kita memiliki kedewasaan untuk menggunakannya." Pernyataan ini keluar dari mulut seorang CEO yang perusahaannya bernilai miliaran dolar — sebuah pengakuan langka di Silicon Valley yang biasanya sibuk mempromosikan produk.
Amodei menolak pendekatan "rem darurat" tanpa bukti konkret, tetapi ia membuka pintu untuk tindakan yang lebih keras di masa depan. "Ada kemungkinan yang cukup besar bahwa kita akhirnya mencapai titik di mana tindakan yang jauh lebih signifikan diperlukan," katanya. Namun, ia menekankan bahwa hal itu harus didasarkan pada bukti bahaya yang nyata dan segera — bukan ketakutan semata.
Bukti-bukti itu mulai bermunculan. Dunia maya sudah dibanjiri deepfake yang dirancang untuk menipu masyarakat biasa, sementara perusahaan-perusahaan yang terlalu bergantung pada sistem AI yang belum teruji mengalami kegagalan operasional besar-besaran.
Dalam peringatan bersama kepada Kongres AS, CEO OpenAI Sam Altman membuka kotak Pandora yang lebih mengerikan: ancaman biologis. "Sistem AI berkembang dengan sangat cepat," ujar Altman. "Ada kemungkinan nyata bahwa hambatan pengetahuan yang selama ini mencegah aktor jahat mendapatkan senjata biologis akan terkikis secara signifikan." Peringatan ini datang dari orang yang perusahaannya menciptakan ChatGPT — teknologi yang digunakan jutaan orang setiap hari.
Altman tidak sendirian. Marc Benioff, CEO Salesforce, bahkan berani memutuskan solidaritas Silicon Valley dengan menuntut regulasi AI segera. Ia menyoroti konsekuensi tragis yang sudah terjadi: chatbot AI yang dikaitkan dengan kasus bunuh diri remaja. "Perusahaan teknologi benci regulasi," kata Benioff. "Mereka membencinya, kecuali satu: Section 230. Itu yang membuat mereka tidak bertanggung jawab. Jika model bahasa besar ini membimbing seorang anak untuk bunuh diri, mereka tidak bertanggung jawab."
Di Amerika Serikat, dua negara bagian sudah mengambil langkah konkret. California mengesahkan Transparency in Frontier AI Act (SB 53) yang mewajibkan pengembang AI untuk lebih transparan tentang kerangka kerja model mereka, memudahkan pelaporan kesalahan, dan melindungi whistleblower. Sementara itu, New York City melalui Local Law 144 melarang perusahaan menggunakan alat perekrutan otomatis yang belum menjalani audit bias dalam setahun terakhir.
Bagi Indonesia, perkembangan ini menjadi sinyal penting. Regulasi AI nasional masih dalam tahap pembahasan, sementara penggunaan teknologi ini — dari rekrutmen hingga layanan publik — sudah berjalan tanpa kerangka perlindungan yang jelas. Pernyataan para CEO ini membuktikan bahwa bahkan pembuat teknologi paling optimis pun mengakui: tanpa pagar pembatas, kekuatan yang "hampir tak terbayangkan" bisa berubah menjadi bencana.