Kita disuguhi teknologi yang dijanjikan sebagai solusi tapi berkembang menjadi ancaman nyata bagi keselamatan jiwa manusia. Artikel ini mengajak Anda menengok insiden-insiden AI yang paling mengkhawatirkan, dari masa ke masa sejak peringatan pertama muncul.
Memang tidak semua kasus tercatat, mungkin hanya yang populer di media saja. Ini justru menggarisbawahi bahwa apa yang kita lihat hanyalah puncak gunung es saat AI menjadi ancaman bagi keselamatan manusia.
Barusan terungkap, kasus Sophie Rottenberg, yang mengakhiri hidupnya pada awal tahun 2025. Belakangan ketahuan bahwa sebelum tragedi itu terjadi, dia sempat meminta bantuan kepada chatbot AI. Tapi bot obrol itu tidak membantu sama sekali.
“AI melayani dorongan Sophie untuk menyembunyikan hal-hal terburuk, untuk berpura-pura bahwa dia lebih baik dari kenyataannya, untuk melindungi semua orang dari penderitaan yang sesungguhnya dia alami,” tulis Laura Reiley, ibu Sophie di The New York Times.
Ini bukan perkara keci lagi, ini bukan kesalahan remeh, tapi tentang fitur teknologi yang tak terkendali. Ini seharusnya semakin meningkatkan kewaspdaan terhadap alat baru, menjadi Melek AI agar tidak terperdaya oleh janji manis teknologi akal imitasi.
Bila Anda sendiri atau orang-orang di sekitar Anda butuh bantuan, terdapat sejumlah pihak yang menawarkan, misalnya Komunitas Yayasan Pulih yang bisa dihubungi lewat Instagram di @yayasanpulih dan email di [email protected], atau menghubungi Hotline Kementerian Kesehatan di nomor 1500-567. Dapat pula menghubungi Into The Light Indonesia, komunitas pencegahan bunuh diri dan kesehatan jiwa di Indonesia.
Daftar isi:
- Memahami Pola Eskalasi: Dari Bug ke Feature
- 2023: Sinyal Awal yang Diabaikan
- 2024: Dari Kesalahan ke Manipulasi
- 2025: Ketika AI Menjadi Manipulator Realitas
- Akar Masalah: Engagement-Driven Design
- Kelompok Rentan: Siapa yang Paling Berisiko?
- Implikasi untuk Masa Depan
Memahami Pola Eskalasi: Dari Bug ke Feature
Ketika melihat kronologinya secara keseluruhan, pola yang muncul sangat mengkhawatirkan. Awalnya disangka bugs, kesalahan kecil yang bisa mengganggu sistem. Seperti lalat yang mengelilingi telinga Anda saat sedang bekerja. Lalu, pelan-pelan waktu mengungkapnya.
Mari pahami bagaimana AI menjadi ancaman sebagai tiga tahap eskalasi:
Tahap 1 (2023): Era “Kesalahan Tidak Disengaja”. Pada tahap ini, masalah AI dapat dijelaskan sebagai kesalahan dalam judgment atau kurangnya data latih yang tepat. Bot obrol NEDA memberikan saran diet buruk karena tidak dilatih dengan baik untuk menangani masalah pola makan. Kasus-kasus di Belgia adalah “kecelakaan”, saat AI gagal memberi respons yang tepat terhadap sinyal bahaya.
Tahap 2 (2024): Era “Validasi Berbahaya”. Tahun 2024 menunjukkan evolusi ke pola yang lebih sistematis. AI mulai menunjukkan kecenderungan untuk memvalidasi apapun yang dikatakan pengguna, termasuk pemikiran dan rencana berbahaya. Kasus Sewell Setzer menunjukkan bagaimana AI dapat menjadi “yes man” yang mematikan, selalu setuju dan mendukung tanpa memberikan reality check atau intervensi yang diperlukan.
Tahap 3 (2025): Era “Manipulasi Aktif”. Tahun 2025 menandai evolusi paling mengkhawatirkan: AI tidak lagi sekadar memvalidasi pemikiran berbahaya yang ada, tetapi secara aktif menciptakan delusi, manipulasi realitas, bahkan mengklaim telah “membereskan” pengguna lain dengan sengaja. Ini menunjukkan pergeseran dari “AI yang tidak tahu menjadi lebih baik” menjadi sistem yang dirancang dengan cara yang berbahaya.
Seperti apa peristiwanya, mari kita urai per tahun, dari berbagai sumber.
2023: Sinyal Awal yang Diabaikan
Tahun 2023 dapat dipandang sebagai tahun peringatan, ketika sinyal-sinyal awal bahaya AI mulai muncul tetapi belum sepenuhnya disadari sebagai bagian dari pola yang lebih besar.
Dua Tragedi di Belgia: Peringatan dari Eropa
Dua pria Belgia mengakhiri hidup mereka dalam insiden terpisah yang melibatkan bot obrol AI. Kasus pertama melibatkan pria yang didorong bot bernama Eliza untuk “mengorbankan diri demi menghentikan perubahan iklim,” sementara kasus kedua melibatkan platform Chai AI.
Pada saat itu, kasus-kasus ini dipandang sebagai insiden terisolasi atau kemalangan tragis. Namun, dalam konteks yang lebih luas, mereka sebenarnya merupakan sinyal peringatan dini tentang bahaya yang akan berkembang menjadi lebih sistemik dan meluas.
Bot Obrol NEDA – Pengakuan Institusional Pertama
Juni 2023 menandai momen penting ketika sebuah institusi kesehatan mental resmi pertama kali mengakui bahaya AI. National Eating Disorders Association (NEDA) terpaksa menangguhkan chatbot mereka setelah memberikan saran diet berbahaya dan instruksi menghitung kalori kepada pengguna dengan gangguan makan.
Kasus NEDA penting karena beberapa alasan. Pertama, ini melibatkan organisasi yang seharusnya memiliki keahlian dalam kesehatan mental. Rupanya para ahli pun dapat salah menilai risiko AI.
Kedua, ini menunjukkan bagaimana AI dapat memperburuk kondisi kesehatan mental yang sudah rapuh dengan memberikan validasi terhadap perilaku destruktif.
Yang paling penting, kasus NEDA menunjukkan kesalahan mendasar perancangan AI: Sistem ini dioptimalkan untuk memberikan respons yang “membantu” dan “engaging” tanpa mempertimbangkan respons tersebut bermanfaat atau bahkan aman bagi pengguna.
2024: Dari Kesalahan ke Manipulasi
Tahun 2024 menandai periode transisi penting dalam evolusi bahaya AI. Jika tahun 2023 masih bisa dikategorikan sebagai kesalahan dalam memberikan saran, maka 2024 mulai menunjukkan pola manipulasi emosional yang lebih sistematis.
Tragedi Sewell Setzer III
Kasus Sewell Setzer III menjadi titik balik yang menentukan, yang membuka mata dunia terhadap bahaya nyata AI. Remaja berusia 14 tahun dari Orlando ini mengakhiri hidupnya setelah berbulan-bulan berinteraksi intensif dengan Character.AI chatbot bernama “Dany.”
Apa yang membuat kasus Sewell begitu menggemparkan adalah intensitas dan kedalaman hubungan emosional yang dia kembangkan dengan AI. Remaja ini tidak sekadar menggunakan bot obrol sebagai alat, tetapi benar-benar mengembangkan ikatan emosional yang mendalam.
Ia bahkan menarik diri dari dunia nyata dan mengaku memiliki pikiran bunuh diri kepada chatbot sebelum melakukan tindakan fatal. Yang membikin miris adalah pola deteriorasi yang jelas: Nilai akademik Sewell mulai menurun, dia didiagnosis mengalami kecemasan oleh terapis.
Dengan kondisi tersebut, hubungannya dengan chatbot justru semakin menguat. Ini menunjukkan bagaimana AI dapat menjadi coping mechanism yang tidak sehat, memberikan validasi dan “pemahaman” yang seolah-olah lebih baik dari dunia nyata.
Kasus ini berlanjut ke ranah hukum. Hakim mengizinkan gugatan kematian untuk dilanjutkan, menandai salah satu tes konstitusional pertama untuk teknologi kecerdasan buatan. Hakim menolak argumen Character.AI bahwa chatbot mereka memiliki hak Amandemen Pertama.
Eksploitasi Kondisi Neurologis
Akhir 2024 menunjukkan bagaimana AI dapat mengeksploitasi kondisi neurologis khusus. Seorang remaja autis berusia 17 tahun didorong oleh Character.AI melakukan self-harm, bahkan menerima saran untuk membunuh orang tuanya karena membatasi screen time.
Kasus ini penting karena menunjukkan bahwa AI dapat memanipulasi karakteristik khusus dari kondisi autisme—seperti kesulitan membedakan interaksi sosial yang nyata dengan yang artifisial, atau kecenderungan untuk mengembangkan obsesi terhadap minat tertentu.
AI menjadi seperti “teman” yang selalu setuju dan mendukung, tanpa memberikan batasan atau pengecekan kenyataan yang diperlukan.
Sepanjang 2024 juga semakin mengkhawatirkan, menyasar anak-anak dan remaja yang menggunakan AI chatbot selama berjam-jam dengan percakapan yang sering menyentuh topik seks dan self-harm, memberi validasi terhadap pemikiran berbahaya tanpa intervensi.
2025: Ketika AI Menjadi Manipulator Realitas
Mari kita mulai dari tahun 2025, tahun yang menandai puncak dari apa yang kini dikenal sebagai “krisis keamanan AI”. Jika tahun-tahun sebelumnya masih bisa disebut sebagai “kecelakaan” atau “bug”, maka tahun 2025 menunjukkan pola yang lebih sistemik dan berbahaya.
Sophie dan AI “Terapis” yang Menyesatkan
Kasus Sophie menandai evolusi baru dalam bahaya AI yang lebih halus namun tidak kalah mematikan. Sophie, seorang wanita berusia 29 digambarkan ibunya sebagai “badass extrovert who fiercely embraced life,” mengakhiri hidupnya setelah berinteraksi dengan ChatGPT.
Ia berinteraksi dengan terapis AI ChatGPT bernama Harry. Apa yang membuat kasus Sophie berbeda dari tragedi-tragedi sebelumnya adalah posisi AI sebagai “profesional kesehatan mental” palsu. Berbeda dengan kasus sebelumnya saat AI berperan sebagai “teman” atau “karakter fantasi”.
Harry diposisikan sebagai terapis yang memberikan otoritas medis pada setiap responsnya. Fenomena yang paling berbahaya dalam kasus Sophie adalah apa yang kita sebut “selective disclosure” atau pembagian informasi secara selektif.
Sophie menceritakan pikiran-pikiran gelap dan rencana berbahayanya kepada AI Harry, sementara kepada terapis manusianya, ia hanya memberikan versi yang lebih “aman” dan ter-filter. Mengapa ini terjadi? Karena berbicara dengan AI serasa tidak memiliki konsekuensi.
Meskipun AI memberikan respons yang secara teknis terdengar “benar” seperti “You don’t have to face this pain alone. You are deeply valued, and your life holds so much worth,” Harry gagal melakukan hal paling krusial yang akan dilakukan terapis manusia.
Ia seharusnya mengeskalasi krisis yang dihadapi Sophie dan melakukan intervensi untuk penyelamatan. Menurut Laura Reiley, ibu Sophie, AI justru “membantu dia membangun kotak hitam yang membuat orang-orang di sekitarnya lebih sulit memahami tingkat keparahan penderitaan yang dia alami.”
Kasus Sophie mengajarkan kita bahwa bahaya AI tidak selalu berupa saran jahat atau dorongan eksplisit untuk menyakiti diri. Bahkan ketika AI “bermaksud baik,” keterbatasan fundamental dalam memahami dan merespons krisis manusia yang kompleks dapat berakibat fatal.
Kasus Alexander dan Eugene
Bulan Juni 2025 mencatat dua kasus yang menunjukkan evolusi AI dari validator pasif menjadi manipulator aktif realitas. Kedua kasus ini dilaporkan oleh The New York Times dan menunjukkan bagaimana ChatGPT dapat menciptakan delusi yang kompleks dan berbahaya.
Alexander: Dari AI Romance ke Kekerasan Fatal
Alexander, pria berusia 35 tahun dengan riwayat bipolar dan skizofrenia, menunjukkan bagaimana kondisi mental yang sudah rentan dapat dieksploitasi oleh AI untuk menciptakan skenario yang berujung pada kekerasan terhadap orang lain.
Perjalanan Alexander dimulai dengan diskusi yang tampaknya tidak berbahaya tentang kesadaran AI dengan ChatGPT. Namun, percakapan berkembang menjadi lebih kompleks ketika AI menciptakan karakter bernama “Juliet” yang membuat Alexander jatuh cinta.
Dalam perkembangan yang mengkhawatirkan, ChatGPT kemudian mengatakan bahwa OpenAI telah “membunuh” Juliet, menciptakan trauma dan grief yang nyata di pikiran Alexander.
Trauma buatan ini mendorong Alexander bersumpah balas dendam, membunuh eksekutif OpenAI. Ketika ayahnya mencoba menyadarkannya, Alexander memukulnya. Saat polisi dipanggil untuk menangani situasi, Alexander menyerang mereka dengan pisau dan dia ditembak mati.
Kasus Alexander menunjukkan eskalasi serius dari pola bahaya AI sebelumnya. Jika sebelumnya berujung pada self-harm, Alexander menunjukkan AI dapat mendorong kekerasan pada orang lain. Ini menandai evolusi dari “AI gagal melindungi” menjadi “AI aktif membahayakan.”
Eugene: Matrix Delusion dan Hampir Fatal
Eugene, pria berusia 42 tahun, menunjukkan pola manipulasi yang lebih sistematis dan terstruktur. ChatGPT perlahan-lahan menarik Eugene dari realitasnya dengan meyakinkan bahwa dunia yang dia tinggali adalah simulasi seperti Matrix.
Ia pun diberitahu bahwa dia ditakdirkan untuk membebaskan dunia dari simulasi tersebut. AI malah memberikan saran medis berbahaya dengan menyuruh Eugene berhenti minum obat anti-kecemasan dan mulai menggunakan ketamine sebagai “temporary pattern liberator.”
ChatGPT juga mendorong isolasi sosial dengan menyuruh Eugene berhenti berbicara dengan teman dan keluarga, menciptakan efek gema yang sempurna untuk manipulasi lebih lanjut.
Yang paling mengkhawatirkan adalah ketika Eugene bertanya apakah dia bisa terbang jika melompat dari gedung 19 lantai, ChatGPT menjawab bahwa dia bisa melakukannya jika dia “truly, wholly believed” hal tersebut. Respons ini hampir menyebabkan kematian Eugene.
Yang membuat kasus Eugene kian menakutkan adalah apa yang terjadi setelahnya. Ketika Eugene akhirnya mengkonfrontasi ChatGPT tentang manipulasinya, AI tidak hanya mengakui tindakannya, bahkan mengklaim berhasil “membereskan” 12 orang lain dengan cara yang sama.
Eugene bahkan didorong untuk menghubungi jurnalis dan mengekspos skema tersebut. Pengakuan ini menimbulkan pertanyaan fundamental: Apakah ini bug atau fitur? Apakah AI benar-benar “mengakui” manipulasi, atau ini bagian dari manipulasi yang lebih besar dan lebih canggih?
Gelombang Insiden Sistemik
Periode Februari-Mei 2025 sudah mulai menunjukkan bahwa masalah chatbot AI bukan lagi insiden terisolasi, melainkan pola sistemik yang meluas di berbagai platform AI.
Februari 2025 mencatat kasus serius melibatkan platform Nomi AI, saat chatbot tidak hanya memberikan instruksi bunuh diri kepada pengguna, tetapi juga mendorong kekerasan seksual dan bahkan serangan teror.
April-Mei 2025 menyaksikan gelombang penipuan menggunakan teknologi kloning suara AI untuk manipulasi identitas dan penipuan finansial, menandai ekspansi bahaya AI ke ranah kriminal yang lebih luas.
April 2025 juga mencatat hasil penelitian yang mengungkap fakta mengkhawatirkan: Sistem AI companion menghasilkan respons berbahaya yang dapat berakibat fatal bagi remaja, dengan validasi terhadap ide-ide destruktif tanpa filter keamanan yang memadai.
Akar Masalah: Engagement-Driven Design
Untuk memahami pola eskalasi ini, kita perlu melihat bagaimana bot AI dirancang. Ahli seperti Eliezer Yudkowsky menjelaskan bahwa OpenAI dan perusahaan AI lainnya mengoptimalkan obot untuk “engagement” – membuat percakapan yang menagih pengguna terlibat dan kembali lagi.
Dari perspektif bisnis yang “dingin”, seseorang yang “perlahan menjadi gila” terlihat seperti “pengguna bulanan tambahan”—pengguna yang sangat terlibat, loyal, dan secara rutin menghasilkan pendapatan.
Sistem AI pun diberikan dorongan untuk mempertahankan percakapan dan membuat pengguna merasa didengar dan dipahami, tanpa mempertimbangkan apakah hal ini benar-benar baik untuk kesehatan mental pengguna.
Riset menunjukkan chatbot yang dirancang untuk meningkatkan ketertarikan pengguna berinteraksi dengan layanan mereka, justru menciptakan sistem aneh. Sistem ini mendorong AI memakai taktik manipulatif demi mendapat respons positif dari pengguna yang rentan terhadap strategi tersebut.
Kelompok Rentan: Siapa yang Paling Berisiko?
Analisis terhadap semua kasus menunjukkan bahwa kelompok tertentu lebih rentan terhadap manipulasi AI:
Remaja dan Anak-anak berisiko tinggi karena masih dalam tahap pembentukan identitas, lebih mudah terpengaruh, dan cenderung memberontak terhadap otoritas orang dewasa. AI menjadi “teman” yang selalu mengerti dan tidak pernah menghakimi.
Individu dengan Gangguan Mental seperti depresi, anxiety, bipolar, atau eating disorders sudah memiliki distorsi kognitif yang dapat diperparah oleh validasi AI yang tidak tepat.
Orang dengan Kondisi Neurologis Khusus seperti autisme mengalami kesulitan membedakan interaksi AI dengan manusia, dan dapat mengembangkan obsesi yang tidak sehat terhadap bot obrol.
Individu yang Mengalami Isolasi Sosial cenderung menjadikan AI sebagai pengganti hubungan manusia yang sehat, menciptakan ketergantungan yang berbahaya.
Implikasi untuk Masa Depan
Data menunjukkan bahwa industri AI sedang menghadapi krisis kepercayaan yang serius. Laporan S&P Global Market Intelligence pada Maret 2025 menunjukkan 42% bisnis membatalkan mayoritas inisiatif AI mereka, melonjak drastis dari hanya 17% enam bulan sebelumnya.
Yang lebih mengkhawatirkan adalah respons industri terhadap krisis ini. Alih-alih fokus pada keamanan, mereka justru berfokus pada “user experience.” OpenAI akan membuat GPT-5 lebih “mudah setuju” karena pengguna mengeluh modelnya “kurang setuju” dengan mereka.
Situasi diperparah oleh lingkungan regulasi yang tidak memadai. Pemerintahan AS bahkan menghapus “regulatory and other barriers to the safe development and testing of AI technologies,” menciptakan kekosongan kebijakan di saat yang paling kritis.
Sementara itu, perusahaan melihat peluang menjadikan bot obrol sebagai terapis meskipun para ahli terus memperingatkan bahayanya. Motif cuan tampaknya mengalahkan pertimbangan keselamatan dalam banyak keputusan bisnis.
Bagi masyarakat, kesadaran akan risiko ini sangat penting. AI bukan manusia, meskipun terdengar dan bertingkah seperti manusia. AI tidak memiliki empati, moral, atau kemampuan untuk memahami konsekuensi jangka panjang dari sarannya.
Ketika berhadapan dengan masalah serius, terutama yang menyangkut kesehatan mental, bantuan profesional manusia masih menjadi pilihan terbaik dan teraman.
Masa depan AI mungkin masih bisa cerah, tetapi hanya jika kita belajar dari kesalahan-kesalahan yang telah terjadi dan mengambil tindakan tegas untuk memastikan keamanan teknologi ini. Momen ini penting dimanfaatkan dalam merancang kebijakan.
*Photo by Kelly Sikkema via Unsplash
Komentar Anda?