Kematian Molly Russell, remaja 14 tahun asal Harrow, London, Inggris, pada November 2017 mengejutkan banyak pihak. Molly mengakhiri hidupnya setelah berbulan-bulan terpapar konten depresi, bunuh diri, dan melukai diri sendiri di Instagram dan Pinterest.
Sosok yang dikenal ceria dan berprestasi, diam-diam berjuang melawan depresi. Layanan medsos tersebut tidak hanya menyajikan, juga aktif merekomendasikan konten berbahaya kepadanya melalui algoritma.
Penyelidikan koroner mengungkap Molly terpapar ribuan postingan yang “mendorong” tindakan melukai diri sendiri dan bunuh diri. Dari 16.300 konten di Instagram dalam enam bulan terakhir hidupnya, 2.100 di antaranya terkait depresi, melukai diri sendiri, atau bunuh diri.
Konten-konten ini seolah meromantisasi tindakan melukai diri sendiri, menormalisasi depresinya, dan mencegahnya mencari bantuan. Algoritma platform, yang memaksimalkan keterlibatan pengguna, justru merekomendasikan konten mengerikan kepada Molly.
Ini menciptakan paparan intens terhadap gambar, video, dan teks yang sebagian besar disajikan tanpa diminta. Konten ini, yang seharusnya tidak diakses anak seusianya, berkontribusi negatif dan signifikan terhadapnya.
Koroner Senior Andrew Walker menyimpulkan konten yang dilihat Molly “berkontribusi lebih dari sekadar minimal” terhadap kematiannya. Kemudian, Meta (saat itu Facebook) dan Pinterest meminta maaf.
Perdebatan seputar moderasi dan privasi di media sosial pun berlanjut. Seiring akal imitasi (AI) yang makin canggih, tekanan akan terus meningkat bagi perusahaan teknologi dan pemerintah agar teknologi ini digunakan secara etis dan bertanggung jawab.
Kekhawatiran terhadap akurasi moderasi dengan AI diperkuat insiden baru-baru ini. Meta mengakui telah salah menangguhkan ribuan Grup Facebook dan akun Instagram. Meskipun, mereka menyatakan ini adalah “kesalahan teknis” dan menyangkal adanya masalah yang lebih luas.
Meta makin intens menggunakan AI untuk menganalisis pengguna dan memoderasi konten. Laporan NPR dan The Guardian menyoroti rencana Meta mengintegrasikan AI lebih dalam ke Facebook dan Instagram—yang menyebabkan protes karena salah penangguhan.
Insiden ini menyoroti minimnya dukungan manusia bagi pengguna yang akunnya dinonaktifkan secara tidak adil. Petisi daring “Meta wrongfully disabling accounts” telah mengumpulkan puluhan ribu tanda tangan, menunjukkan skala frustrasi pengguna.
Keamanan dan keselamatan pengguna lebih penting
Menurut laporan NPR, Meta meningkatkan penggunaan AI untuk personalisasi umpan berita (feeds) hingga identifikasi konten yang melanggar. Meski AI dapat membantu moderasi konten berbahaya, publik belum yakin sejauh mana AI menganalisis data pribadi pengguna.
Ini termasuk analisis postingan, interaksi, dan pola perilaku—untuk tujuan yang tidak transparan. Kritikus menyatakan pengumpulan data secara luas ini, yang diumpankan ke mesin AI, dapat menghasilkan profil pengguna sangat rinci, berpotensi digunakan untuk pengawasan atau manipulasi.
The Guardian dalam laporannya mengutip pegiat kampanye yang mendesak regulator komunikasi Inggris, Ofcom, membatasi penggunaan AI. Kasus Molly Russell seharusnya menjadi contoh nyata kegagalan sistem pemeriksaan risiko yang ada.
Kasus Molly telah memicu gerakan keselamatan daring secara global, melahirkan Molly Rose Foundation, yang fokus pada pencegahan bahaya online dan akuntabilitas platform. Yayasan ini kembali tampil saat Meta tengah kebijakan baru terkait penggunaan AI.
Kelompok pegiat khawatir ketergantungan pada AI untuk menilai risiko dan privasi dapat menghasilkan keputusan bias atau tidak akurat, terutama jika algoritma tidak terlatih baik atau mencerminkan bias data pelatihan.
Otomatisasi yang dapat mengurangi pengawasan manusia dan tingkat akuntabilitasnya, menyulitkan pengguna memahami alasan di balik keputusan terkait akun atau konten mereka.
Algoritma tidak mampu secara efektif mengidentifikasi dan mencegah paparan konten berbahaya. Meskipun Meta berencana menggunakan AI untuk menilai risiko, kasus Molly menunjukkan sistem otomatis masih memiliki celah besar dalam melindungi pengguna, terutama yang rentan.
Kekhawatiran ini sudah ada sejak perubahan kebijakan moderasi konten Meta pada Januari 2025. Kebijakan ini, yang diumumkan oleh CEO Mark Zuckerberg dan Chief Global Affairs Officer Joel Kaplan, awalnya bertujuan “menyederhanakan” aturan moderasi konten.
Dengan alasan meningkatkan kebebasan berekspresi dan mengurangi “penyensoran”, perubahan ini memenuhi ambisi Meta untuk memanfaatkan AI secara lebih luas dalam proses penilaian risiko dan privasi. Kini Meta berencana mempercayakan hingga 90 persen penilaian risiko kepada AI.
Sistem AI akan memberikan “keputusan instan” setelah tim produk mengisi kuesioner. Meskipun Meta menyatakan keahlian manusia akan tetap digunakan untuk “masalah baru dan kompleks,” keputusan “berisiko rendah” akan diotomatisasi sepenuhnya.
Molly Rose Foundation pernah mengingatkan perubahan moderasi ini bisa jadi bencana. Kebijakan baru Meta berisiko mengembalikan media sosial ke kondisi saat Molly meninggal, saat konten berbahaya dan berakibat fatal mudah diakses atau direkomendasikan algoritma.
Perubahan kali ini dikhawatirkan mengabaikan penyebaran konten ujaran kebencian yang menarget kelompok rentan, seperti komunitas LGBTQ+ dan minoritas etnis, serta mempromosikan bunuh diri dan melukai diri sendiri.
Para pegiat mendesak regulator mengambil tindakan tegas. Mereka menyerukan aturan ketat untuk pengembangan dan penerapan AI di media sosial. Termasuk persyaratan transparansi algoritma, audit independen, dan hak pengguna untuk memahami serta menentang keputusan AI.
Ada juga desakan untuk memperkuat undang-undang keselamatan online, seperti Online Safety Bill di Inggris, agar perusahaan media sosial tidak dapat membuat perubahan kebijakan yang membahayakan pengguna.
