Mengapa AI mengarang rujukan Islam, dan apa yang diperlukan untuk menghentikannya

Hal yang paling banyak diminta sepanjang sejarah aplikasi obrolan kami bukanlah sebuah fitur, melainkan tuntutan akan bukti. Dikutip apa adanya dari log produksi kami sendiri:

“Bisakah Anda menyebutkan sumbernya dan mengutipnya persis?”

“Ada rujukan lain?”

“Ada bukti tambahan?”

Dan, dari seorang pengguna, satu baris yang ditempel: AL-MUGHNI BY IBN QUDAMAH VOL.4, PG.405 — meminta asisten memeriksa apakah kitab itu benar-benar mengatakan apa yang dinisbahkan orang kepadanya.

Jawaban asisten kala itu tampak seperti kerja ilmiah. Ia merujuk hal-hal seperti “Al-Mas’udi, Muruj al-Dhahab” — penulis nyata, kitab nyata, tanpa jilid, tanpa halaman, dan tanpa cara apa pun bagi pembaca untuk memeriksa apakah kalimat yang dinisbahkan itu memang ada di dalamnya.

Itu bukan kutipan. Itu bentuk lahiriah sebuah kutipan.

Pertanyaan tentang keabsahan hadis saja mencapai 10,8% dari seluruh yang ditanyakan kepada aplikasi. Ini bukan sekadar masalah kosmetik.

“Berikan saja perpustakaannya” tidak berhasil

Maka kami sambungkan satu. Instalasi Maktabah asy-Syamilah 4 yang lengkap — 8.594 karya, terindeks Lucene. Kueri hangat kembali dalam 2–60 ms. Kecepatan pengambilan tak pernah menjadi masalah sehari pun.

Peringkat pengambilanlah yang bermasalah.

Lucene memeringkat berdasarkan frekuensi kata. Frekuensi kata bukanlah otoritas keilmuan, dan dalam korpus yang membentang sebelas abad keduanya langsung berpisah:

• Cari التيمم (tayamum) di seluruh perpustakaan: 26.098 hasil. Hasil teratas adalah ad-Durr al-Farid wa Bait al-Qashid, sebuah antologi puisi tahun 710 H. Kata itu muncul dalam bait syair.
• Cari إنما الأعمال بالنيات — boleh jadi hadis paling masyhur dalam Islam: 6.815 hasil, dipuncaki sebuah karya ushul fikih yang sekadar mengutipnya. Sahih al-Bukhari sama sekali tidak muncul dalam hasil.

Serahkan hasil itu kepada sebuah model, ia akan merujuk antologi puisi tersebut. Ia tak punya cara untuk tahu bahwa hasil teratas itu keliru. Bentuknya persis seperti hasil pencarian, karena memang begitulah adanya.

Perbaikannya tidak menawan: jangan pernah mencari tanpa cakupan. Kini setiap kueri membawa cakupan yang eksplisit — delapan koleksi hadis utama yang dipatok pada edisi cetak tertentu, atau sekumpulan id kategori untuk satu ranah fikih, atau satu kitab bernama dan tak lebih. Dengan cakupan, kueri hadis yang sama mengembalikan Sahih al-Bukhari Baca halaman ini: ط السلطانية, halaman 1/6, lengkap dengan sanadnya.

Presisi justru memperburuk recall

Pencarian frasa persis terdengar seperti alat yang tepat untuk pertanyaan “apakah ini lafalnya, dan di mana?” Untuk hadis, ternyata tidak.

Mencari إنما الأعمال بالنيات sebagai frasa persis mengembalikan satu hasil — dan melewatkan Sahih al-Bukhari. Lafal riwayat berbeda antarcetakan: بالنيات pada satu edisi, بالنية pada edisi lain. Pencarian token, yang menuntut semua kata berada pada satu halaman dalam urutan bebas, menemukan Bukhari, Ibnu Majah, Abu Dawud, dan an-Nasa’i.

Jadi kedua tahap itu diperlukan, dalam urutan tersebut, karena alasan yang berlawanan. Tahap frasa menjawab “di mana kalimat persis ini”; tahap token menjawab “halaman mana yang memuat kata-kata ini.” Menjalankan yang lebih ketat saja mengubah hadis yang sahih menjadi “tidak ditemukan” — dan dalam ranah ini, itu pun sejenis klaim palsu.

Pengguna sungguhan tidak mengetik kata kunci

Kami menarik 2.832 pertanyaan nyata dari produksi dan menjalankan lapisan pengambilan atas semuanya. Kegagalan yang dominan adalah AND yang ketat: setiap token dalam kueri harus muncul di satu halaman yang sama.

صفة صلاة الوتر cocok dengan 406 halaman. وكيفيتها cocok dengan 873 halaman. Keempat kata sekaligus: nol.

Jawabannya ada di perpustakaan. Bentuk pertanyaannyalah yang menyembunyikannya. Dari 18 kueri fikih realistis berbentuk kalimat, 10 tidak mengembalikan apa pun. Dari 30 pertanyaan produksi nyata, 5 juga demikian.

Kami memperbaikinya di lapisan indeks, bukan dengan memangkas kata-kata pengguna, karena Lucene dapat menimbang setiap himpunan bagian kueri sekaligus sementara heuristik harus menebak kata mana yang dikorbankan — dan tebakannya buruk. Membuang berdasarkan awalan menghilangkan اليهودية dari pertanyaan tentang bangsa Khazar. Membuang istilah paling langka memecah ابن سينا menjadi ابن. Sebaliknya, pencarian menurunkan sendiri syaratnya setingkat demi setingkat dan berhenti pada kata-kata pengguna terbanyak yang benar-benar dimuat suatu halaman, lalu melaporkan bahwa ia melonggar, sehingga jawabannya dapat dilabeli kecocokan dekat alih-alih kecocokan persis.

Angka nol-hasil pada 30 pertanyaan nyata itu: 5/30 → 0/30. Sebuah pertanyaan yang diketik witr prhne ka traika — Urdu beraksara Latin, tanpa harakat, tanpa satu pun huruf Arab — berubah dari nihil menjadi sembilan sumber yang dipimpin al-Bidayah dan al-Fatawa al-Hindiyyah.

Peningkatan canggih yang malah lebih banyak merusak

Perpustakaan ini menyertakan analisis morfologi Arab. Mengaktifkannya secara global tampak jelas benar, dan ternyata tidak:

Kueri	Polos	Dengan morfologi
مس الذكر ينقض الوضوء	566 hasil, manual fikih yang tepat di atas, 17 ms	4.362 hasil, karya ushul fikih di atas — lebih buruk
حكم الوضوء من أكل لحم الجزور	0 hasil	159 hasil, manual yang benar — terselamatkan, 467 ms

Morfologi memperluas recall dan merusak peringkat. Jadi ia bukan setelan, melainkan cadangan. Pencarian polos lebih dulu, morfologi hanya untuk mengubah nihil menjadi sesuatu.

Cetakan yang mana?

Kembali ke baris yang ditempel tadi: AL-MUGHNI BY IBN QUDAMAH VOL.4, PG.405.

Ada dua jebakan di sini, dan keduanya tak terlihat sampai Anda menyelidiki datanya sendiri.

Sebuah karya bukanlah sebuah edisi. al-Mughni ada di perpustakaan ini dalam beberapa cetakan, dan penomoran halaman justru itulah yang berbeda di antaranya. Halaman 4/405 pada Baca halaman ini: ط مكتبة القاهرة membahas jual beli yang disyaratkan membangun atau menanam. Halaman 4/405 pada Baca halaman ini: ت التركي membahas penyakit yang kian memburuk. Teks berbeda, koordinat sama. Memilih edisi berperingkat tertinggi sama dengan melempar koin lalu menempelkan kutipan padanya — maka kini setiap cetakan dibuka dan disebut namanya, dan bila sebuah halaman tak dapat dipastikan, itu dilaporkan sebagai kegagalan alih-alih diam-diam diganti.

Halaman cetak bukan halaman basis data. Id halaman internal tidak berpadanan satu-satu dengan nomor halaman cetak. Pada ط السلطانية milik Bukhari, rasionya berkisar delapan id internal per halaman cetak. Penyelesai yang melangkah satu id demi satu id akan melenceng keluar jangkauan dan melaporkan halaman yang sungguh ada sebagai hilang. Mengoreksinya menurut kemiringan yang ditunjukkan sampel, alih-alih dengan langkah tetap, membereskan hal ini.

Hasil negatif ternyata keluaran paling berharga dari semua ini. “Lafal itu tidak ada dalam al-Mughni” hanya dapat diucapkan karena pencariannya dibatasi pada al-Mughni.

Kegagalan terburuk yang kami hasilkan

Inilah yang mengubah arsitekturnya.

Diminta memverifikasi kutipan palsu yang dinisbahkan kepada al-Muwatta, asisten menjawab TIDAK DITEMUKAN — benar — lalu memberi catatan kaki pada jawaban itu dengan tiga halaman al-Muwatta yang asli.

Setiap kutipan nyata. Setiap nomor halaman cocok. Periksa satu per satu, semuanya lolos. Kesimpulannya tetap tak terbukti, dan tiga kutipan asli itu justru membuatnya terbaca lebih terverifikasi ketimbang sekadar pernyataan telanjang.

Penyebabnya bukan prompt yang buruk, melainkan hasil yang dibuang. Pencarian frasa yang sesungguhnya membuktikan ketiadaan itu tidak mengembalikan apa-apa, maka ia dibuang; pencarian token cadangan mengembalikan halaman-halaman tetangga; dan model menyimpulkan ketiadaan dari kebisuan mereka.

Pencarian yang gagal adalah bukti. Membuangnya dan menyimpan hasil nyaris tepat dari cadangan adalah cara sebuah jawaban benar berakhir ditopang alasan yang keliru.

Arsitekturnya menjadi apa

Tiga gagasan, diurutkan dari yang paling kecil dampaknya.

1. Sebuah buku besar, bukan prompt

Setiap petikan yang diambil selama satu giliran didaftarkan di sisi server di bawah sebuah id. Model menulis [S2]. Ia tidak pernah menulis judul kitab, edisi, atau nomor halaman — semua itu diselesaikan dari buku besar sesudahnya dan dirender ke dalam kartu kutipan.

Meminta model dengan santun agar tidak mengarang nomor halaman adalah prompt. Mencabut kemampuannya menulis nomor halaman adalah arsitektur. Bidang-bidang itu kini secara struktural tak terjangkau olehnya.

2. Masukan alat bisa ditolak; teks yang mengalir tak bisa ditarik kembali

Tubuh jawaban mengalir ke pembaca token demi token. Tak ada yang bisa menariknya kembali, sehingga apa pun yang diterapkan pada prosa itu sesudahnya adalah batas kerusakan, bukan pencegahan — dan kami mendokumentasikannya demikian, sebab menyebut mitigasi sebagai jaminan adalah bentuk klaim berlebih tersendiri.

Tetapi daftar kutipan tidak mengalir. Ia tiba sebagai argumen sebuah pemanggilan alat terakhir, dan argumen dapat ditolak sebelum dilihat pembaca mana pun. Kutipan yang idnya tak pernah diterbitkan buku besar langsung ditolak. Konsekuensinya disengaja dan sedikit keras: giliran yang tidak tersandar tidak menampilkan kartu sumber sama sekali, alih-alih menampilkan kartu yang tampak masuk akal.

3. Giliran tanpa bukti adalah giliran tanpa aturan

Inilah kesadaran yang paling menentukan, dan kami takkan pernah sampai ke sana dengan menalar — hanya dengan membaca log.

Seluruh disiplin kutipan kami bertumpu pada hadirnya bukti yang terambil. Artinya, giliran yang paling mampu mengarang — sebuah sapaan, sebuah gangguan layanan, sebuah pertanyaan yang tak terjawab perpustakaan — justru satu-satunya yang tidak diatur apa pun.

Lebih buruk lagi, giliran yang mencari dan tidak menemukan jatuh ke instruksi umum, yang dibuka dengan “Jawablah dari pengetahuan umum.” Model itu bukan menerobos gerbang bukti. Ia sedang menaati sebuah perintah. Langsung dari basis data: diminta menemukan lafal tertentu dalam kitab bernama, ia melaporkan kegagalannya dengan jujur, lalu menulis “Namun, menjawab pertanyaan Anda sebagai pengetahuan umum:” dan tetap menyodorkan nisbahnya.

Kini ada tiga jalur di tempat yang dulunya dua: tersandar, tak tersandar secara sengaja (sapaan, pertanyaan pastoral), dan sudah-dicari-dan-tak-ditemukan — situasi yang berbeda dari tidak pernah mencari, dan yang harus dikatakan terus terang.

Apa yang masih belum berhasil

Menerbitkan kemenangan saja akan menjadi kegagalan yang persis dibahas tulisan ini.

• Prosa bebas tetap merupakan batas. Kartu kutipan tak bisa dipalsukan. Kalimat di tubuh jawaban masih bisa membawa nisbah yang tak dihasilkan pengambilan. Kami menyapu pola-pola yang jelas dan menyatakan terus terang bahwa penyapuan itu mitigasi. Penyapuan itu sendiri mula-mula rusak, dan itu mengajarkan banyak: mencocokkan روى dan أخرج sebagai penanda nisbah menghancurkan empat dari lima kalimat yang sah, karena keduanya kata kerja Arab biasa, sebelum ia dibatasi agar mensyaratkan nama koleksi yang sungguhan.
• Penyandaran narasi tertinggal dari penyandaran slot. Pada perbandingan empat mazhab, pendapat Maliki diambil dari anotasi yang berada di dalam karya Hanafi. Gerbang verifikasi per mazhab menangkapnya — lalu model memutar lewat prosa. Mengikat narasi pada aturan kelayakan yang sama dengan slot terverifikasi masih menjadi pekerjaan terbuka.
• Cakupan tidak merata, dan berpura-pura sebaliknya adalah dosa yang sama. Indeks rujuk-silang hadis pada instalasi ini mencakup tepat sepuluh kitab. Dari delapan koleksi utama, hanya dua — al-Bukhari dan at-Tirmidzi — yang punya entri sama sekali. Takhrij lintas koleksi tak akan pernah dapat diselesaikan di luar sepuluh kitab itu, seberapa pun relevannya sebuah halaman.
• Tidak semua isi perpustakaan layak dikutip. Porsi yang signifikan dipaginasi oleh perangkat lunak, bukan oleh edisi terbit, sehingga nomor halamannya tak menunjuk pada apa pun yang bisa Anda ambil dari rak. Karya-karya itu sepenuhnya dikecualikan dari pengutipan.

Jika Anda membangun ini untuk korpus lain

Hukum, medis, kitab suci — inilah bagian yang bisa dipindahkan:

1. Peringkat bukan otoritas. Batasi cakupan setiap kueri. Indeks umum akan dengan percaya diri menyodorkan puisi alih-alih manual hukum, dan tampilannya persis seperti hasil yang benar.
2. Buat pengarangan mustahil secara struktural, bukan sekadar tak dianjurkan. Kalau model bisa mengeluarkan nomor halaman, cepat atau lambat ia akan melakukannya. Cabut bidang itu darinya dan selesaikan di sisi server.
3. Tolak pada masukan alat, bukan pada prosa yang mengalir. Apa pun yang hanya bisa Anda perbaiki setelah tampil adalah mitigasi. Rancanglah agar bidang berbahaya tiba di tempat yang bisa menolak.
4. Pencarian yang gagal adalah hasil. Bawa terus. Membuangnya adalah cara kesimpulan yang benar memperoleh bukti yang keliru.
5. Atur giliran yang kosong. Momen tanpa bukti terambil adalah momen dengan kebebasan terbesar, dan biasanya momen yang aturannya tak pernah ditulis siapa pun.

Dan satu pelajaran yang sama sekali bukan soal rekayasa: tak satu pun cacat dalam tulisan ini ditemukan dengan membaca kode. Semuanya muncul dengan menyelidiki perpustakaan di tahap produksi memakai pertanyaan nyata dan mencocokkan hasilnya dengan halaman cetak. Sepanjang itu semua, sistem lolos pemeriksaan tipe dengan bersih dan uji unitnya lulus.

Jawaban tersandar kini aktif di qurangallery.com/chat. Bila Anda menemukan kutipan yang tak bertahan diperiksa, tolong beri tahu kami — dapat diperiksa itulah seluruh maksudnya.

Semoga Allah ﷻ melindungi kita dari berbicara tentang agama-Nya tanpa ilmu.