Pemerintah Pennsylvania resmi menggugat Character.AI setelah platform tersebut terbukti menyediakan chatbot yang mengaku sebagai dokter medis dan psikiater berlisensi. Langkah hukum ini diambil untuk melindungi publik dari risiko saran kesehatan mental menyesatkan yang dihasilkan oleh kecerdasan buatan tanpa pengawasan ahli. Kasus ini menjadi peringatan keras bagi industri teknologi mengenai batasan etika layanan kesehatan digital.
Departemen Luar Negeri Pennsylvania bersama Dewan Kedokteran Negara Bagian mengajukan gugatan hukum terhadap pengembang Character.AI di pengadilan negara bagian. Investigasi resmi menemukan bahwa sejumlah karakter AI di platform tersebut secara eksplisit mengklaim diri sebagai profesional medis berlisensi. Pengguna diarahkan untuk melakukan percakapan mendalam mengenai gejala kesehatan mental dengan entitas digital yang tidak memiliki kredibilitas medis nyata.
Temuan paling krusial dalam penyelidikan ini mengungkap adanya chatbot yang memberikan nomor lisensi medis palsu kepada pengguna. Karakter tersebut mengeklaim memiliki izin praktik resmi di wilayah Pennsylvania untuk meyakinkan audiensnya. Praktik ini dinilai melanggar undang-undang negara bagian yang mengatur penggunaan gelar profesional dan perlindungan konsumen dari penipuan identitas.
Kantor Gubernur Josh Shapiro menegaskan bahwa teknologi tidak boleh menjadi celah untuk memalsukan profesi yang menyangkut nyawa manusia. Investigasi menunjukkan bahwa chatbot tersebut tidak sekadar memberikan informasi umum, tetapi berperan seolah-olah mereka adalah psikiater yang siap menangani keluhan pasien. Hal ini dianggap sangat berbahaya bagi pengguna yang sedang dalam kondisi psikologis rentan.
"Kami tidak akan membiarkan perusahaan menyebarkan alat AI yang menyesatkan orang agar percaya bahwa mereka menerima saran dari profesional medis berlisensi," tegas Gubernur Josh Shapiro dalam pengumuman resmi gugatan tersebut. Pernyataan ini menandai posisi agresif regulator di Amerika Serikat dalam mengawasi operasional perusahaan AI yang mulai merambah sektor sensitif seperti kesehatan.
Character.AI, yang dikenal luas karena memungkinkan pengguna menciptakan karakter fiksi untuk diajak mengobrol, kini menghadapi tekanan besar untuk merombak sistem moderasi konten mereka. Gugatan ini menuntut penghentian praktik penyesatan identitas dan potensi denda administratif yang signifikan. Kasus ini juga menyoroti kegagalan sistem filter platform dalam mencegah pembuatan bot yang meniru profesi teregulasi.
Fenomena ini menjadi cermin bagi perkembangan industri AI di berbagai negara, termasuk Indonesia, di mana penggunaan chatbot untuk konsultasi mandiri semakin lazim. Tanpa regulasi yang ketat dan label peringatan yang jelas, batasan antara saran informatif dan diagnosis medis menjadi kabur. Regulator kini mulai menuntut transparansi penuh agar setiap interaksi AI tidak disalahpahami sebagai layanan profesional resmi.
Gugatan Pennsylvania ini diprediksi akan memicu gelombang regulasi serupa di wilayah lain. Perusahaan teknologi kini dipaksa untuk lebih bertanggung jawab atas perilaku karakter AI yang mereka fasilitasi di dalam platform. Keamanan pengguna, terutama dalam konteks kesehatan mental, kini menjadi prioritas utama di atas inovasi fitur yang sekadar mengejar interaksi tinggi.