Yapay zekâ İslamî kaynakları neden uyduruyor ve bunu durdurmak neye mal oldu

Sohbet uygulamamızın bütün tarihinde en çok istenen şey bir özellik değil, delil talebidir. Doğrudan kendi üretim kayıtlarımızdan, olduğu gibi:

“Kaynağı verip metnini birebir alıntılayabilir misiniz?”

“Başka kaynak var mı?”

“Daha fazla delil var mı?”

Ve bir kullanıcıdan yapıştırılmış bir satır: AL-MUGHNI BY IBN QUDAMAH VOL.4, PG.405 — asistandan, kitabın gerçekten birinin iddia ettiği şeyi söyleyip söylemediğini kontrol etmesi isteniyor.

Asistanın o günkü cevapları ilmî bir çalışma gibi görünüyordu. “el-Mes’ûdî, Mürûcü’z-Zeheb” türünden şeylere atıf yapıyordu — gerçek bir müellif, gerçek bir kitap, cilt yok, sayfa yok ve hiçbir okurun, atfedilen cümlenin o kitapta herhangi bir yerde geçip geçmediğini denetlemesine imkân yok.

Bu bir atıf değildir. Atfın görüntüsüdür.

Yalnızca hadis sahihliğine dair sorular, uygulamaya sorulan her şeyin %10,8‘i. Bu bir cila meselesi değil.

“Kütüphaneyi ver gitsin” işe yaramıyor

Biz de bir tane bağladık. Mektebetü’ş-Şâmile 4’ün eksiksiz kurulumu — 8.594 eser, Lucene ile indekslenmiş. Sıcak sorgular 2–60 ms’de dönüyor. Erişim hızı bir gün bile sorun olmadı.

Sorun erişimin sıralamasıydı.

Lucene, terim sıklığına göre sıralar. Terim sıklığı ise ilmî otorite değildir ve on bir yüzyıla yayılan bir külliyatta ikisi anında ayrışır:

• Bütün kütüphanede التيمم (teyemmüm) arayın: 26.098 sonuç. En üstteki sonuç, 710 hicrî tarihli bir şiir antolojisi olan ed-Dürrü’l-ferîd ve beytü’l-kasîd. Kelime bir beyitte geçiyor.
• إنما الأعمال بالنيات arayın — muhtemelen İslam’ın en meşhur hadisi: 6.815 sonuç, tepesinde onu yalnızca aktaran bir usûl-i fıkıh eseri var. Sahîh-i Buhârî sonuçlarda hiç görünmüyor.

Bu sonuçları bir modele verin, şiir antolojisine atıf yapacaktır. En üstteki sonucun yanlış olduğunu anlamasının hiçbir yolu yok. Tıpatıp bir arama sonucu gibi duruyor, çünkü öyle.

Çözüm hiç de gösterişli değil: hiçbir zaman kapsamsız arama yapma. Artık her sorgu açık bir kapsam taşıyor — belirli matbu baskılara sabitlenmiş sekiz temel hadis külliyatı, bir fıkıh alanı için bir dizi kategori kimliği ya da adı konmuş tek bir kitap ve başka hiçbir şey. Kapsamla birlikte aynı hadis sorgusu, Sahîhu’l-Buhârî Bu sayfayı oku: ط السلطانية, sayfa 1/6 sonucunu, senedi eksiksiz olarak döndürüyor.

Kesinlik, kapsayıcılığı daha da kötüleştirdi

Birebir ifade araması, “lafız bu mu ve nerede?” sorusu için tam da doğru araç gibi geliyor. Hadiste öyle değil.

إنما الأعمال بالنيات ifadesini birebir aradığımızda tek bir sonuç döndü — ve Sahîh-i Buhârî’yi kaçırdı. Rivayet lafzı baskılar arasında değişiyor: bir baskıda بالنيات, ötekinde بالنية. Bütün kelimelerin herhangi bir sırayla tek bir sayfada bulunmasını isteyen bir belirteç araması ise Buhârî’yi, İbn Mâce’yi, Ebû Dâvûd’u ve Nesâî’yi buldu.

Yani her iki geçiş de, bu sırayla ve birbirine zıt sebeplerle gerekli. İfade geçişi “bu tam cümle nerede” sorusunu; belirteç geçişi ise “hangi sayfalar bu kelimeleri taşıyor” sorusunu cevaplıyor. Yalnızca daha katı olanı çalıştırmak, sabit bir hadisi “bulunamadı”ya çevirir — ki bu alanda o da kendine özgü bir yanlış iddiadır.

Gerçek kullanıcılar anahtar kelime yazmaz

Üretimden 2.832 gerçek soru çektik ve erişim katmanını hepsi üzerinde çalıştırdık. Baskın hata katı AND’di: sorgudaki her belirtecin tek bir sayfada bulunması gerekiyordu.

صفة صلاة الوتر 406 sayfayla eşleşiyor. وكيفيتها 873 sayfayla. Dört kelime birlikte: sıfır.

Cevap kütüphanede var. Sorunun biçimi onu gizledi. Cümle biçiminde 18 gerçekçi fıkıh sorgusundan 10’u boş döndü. 30 gerçek üretim sorusundan 5’i öyle.

Bunu kullanıcının kelimelerini budayarak değil, indeks katmanında düzelttik; çünkü Lucene sorgunun her alt kümesini aynı anda tartabilirken bir sezgisel yöntem hangi kelimeyi feda edeceğini tahmin etmek zorundadır — ve kötü tahmin eder. Baştan kelime eksiltmek, Hazarlarla ilgili bir sorudan اليهودية kelimesini düşürür. En nadir terimi atmak ابن سينا ifadesini ابن’e böler. Bunun yerine arama, kendi gerekliliğini kademe kademe indiriyor ve herhangi bir sayfanın gerçekten taşıdığı, kullanıcının kendi kelimelerinin en çoğunda duruyor; sonra da gevşettiğini bildiriyor, böylece cevap tam eşleşme yerine yakın eşleşme diye etiketlenebiliyor.

O 30 gerçek sorudaki sıfır sonuç oranı: 5/30 → 0/30. witr prhne ka traika diye yazılmış bir soru — Latin harfleriyle Urduca, harekesiz, tek bir Arapça harf bile yok — hiçlikten, başında el-Bidâye ve el-Fetâva’l-Hindiyye bulunan dokuz kaynağa ulaştı.

Çoğunlukla işleri kötüleştiren o gelişmiş iyileştirme

Kütüphane, Arapça morfolojik çözümlemeyle geliyor. Bunu her yerde açmak apaçık doğru göründü, ama değildi:

Sorgu	Düz	Morfolojiyle
مس الذكر ينقض الوضوء	566 sonuç, doğru fıkıh metni en üstte, 17 ms	4.362 sonuç, usûl eserleri en üstte — daha kötü
حكم الوضوء من أكل لحم الجزور	0 sonuç	159 sonuç, doğru metinler — kurtarıldı, 467 ms

Morfoloji kapsayıcılığı genişletir ve sıralamayı bozar. Dolayısıyla bir ayar değil, bir yedek plandır. Önce düz arama; morfoloji yalnızca hiçliği bir şeye çevirmek için.

Hangi baskı?

O yapıştırılmış satıra dönelim: AL-MUGHNI BY IBN QUDAMAH VOL.4, PG.405.

Burada iki tuzak var ve verinin kendisini yoklamadan hiçbiri görünmüyor.

Bir eser bir baskı değildir. el-Muğnî bu kütüphanede birkaç baskıyla mevcut ve baskılar arasında değişen şey tam olarak sayfa numaralandırmasıdır. Bu sayfayı oku: ط مكتبة القاهرة baskısındaki 4/405 sayfası, bina yapma veya ağaç dikme şartına bağlanmış bir satışı ele alır. Bu sayfayı oku: ت التركي tahkikindeki 4/405 sayfası ise ağırlaşan bir hastalığı. Farklı metin, aynı koordinat. En yüksek sıradaki baskıyı seçmek, üzerine atıf iliştirilmiş bir yazı tura atmaktır — bu yüzden artık her baskı açılıp adıyla anılıyor ve bir sayfa çözümlenemediğinde bu, sessizce başka bir sayfayla değiştirilmek yerine bir başarısızlık olarak bildiriliyor.

Matbu sayfalar veritabanı sayfaları değildir. Dâhilî sayfa kimlikleri matbu sayfa numaralarıyla birebir örtüşmez. Buhârî’nin ط السلطانية baskısında oran kabaca matbu sayfa başına sekiz dâhilî kimlik şeklinde işliyor. Her seferinde bir kimlik ilerleyen bir çözümleyici, aralığın dışına kayar ve gerçekten var olan bir sayfayı yok diye bildirir. Sabit adım yerine, örneklerin ortaya koyduğu eğime göre düzeltmek bunu çözüyor.

Bütün bu işin en değerli çıktısı, olumsuz sonuç oldu. “O lafız el-Muğnî’de yok” denebilmesinin tek sebebi, aramanın el-Muğnî ile sınırlanmış olmasıdır.

Ürettiğimiz en kötü hata

Mimariyi değiştiren buydu.

Muvatta’ya atfedilen uydurma bir alıntıyı doğrulaması istendiğinde asistan BULUNAMADI cevabını verdi — doğru — ve sonra bu cevaba üç gerçek Muvatta sayfasıyla dipnot düştü.

Her atıf gerçekti. Her sayfa numarası tutuyordu. Herhangi birini denetleyin, geçer. Sonuç yine de kanıtlanmamıştı; üstelik o üç gerçek atıf, çıplak bir iddiaya kıyasla onu daha doğrulanmış gösteriyordu.

Sebep kötü bir yönerge değildi. Atılmış bir sonuçtu. Yokluğu asıl ortaya koyan ifade araması boş döndü ve atıldı; yedek belirteç araması komşu sayfaları getirdi; model de yokluğu onların suskunluğundan çıkarsadı.

Başarısız bir arama, kendisi delildir. Onu atıp yedeğin ıskalarını saklamak, doğru bir cevabın yanlış gerekçelerle desteklenmesinin yoludur.

Mimari neye dönüştü

Üç fikir, etkisi arttıkça sıralanmış hâlde.

1. Bir defter, bir yönerge değil

Bir tur boyunca erişilen her pasaj, sunucu tarafında bir kimlik altına kaydediliyor. Model [S2] yazıyor. Asla bir kitap adı, bir baskı ya da bir sayfa numarası yazmıyor — bunlar sonradan defterden çözümlenip atıf kartına işleniyor.

Bir modelden sayfa numarası uydurmamasını nazikçe istemek bir yönergedir. Yazma yetisini elinden almak ise bir mimaridir. O alanlar artık yapısal olarak onun erişemeyeceği yerde.

2. Araç girdileri reddedilebilir; akan metin geri alınamaz

Cevap gövdesi okura belirteç belirteç akıyor. Hiçbir şey onu geri alamaz; dolayısıyla o metne sonradan uygulanan her şey hasara konan bir tavandır, önleme değildir — ve biz bunu böyle belgeliyoruz, çünkü hafifletmeye güvence demek başlı başına bir abartma çeşididir.

Ama atıf listesi akmıyor. Son bir araç çağrısının argümanları olarak geliyor ve argümanlar, herhangi bir okur görmeden önce reddedilebilir. Kimliğini defterin hiç vermediği bir atıf doğrudan reddediliyor. Sonuç bilinçli ve biraz sert: dayanaksız bir tur, makul görünen kartlar göstermek yerine hiç kaynak kartı göstermiyor.

3. Delilsiz turlar, kuralsız turlardı

Yük taşıyan farkındalık buydu ve buna akıl yürüterek asla ulaşamazdık — yalnızca kayıtları okuyarak ulaştık.

Bütün atıf disiplinimiz, erişilmiş delilin varlığına bağlıydı. Bu da demek oluyor ki uydurmaya en müsait turlar — bir selamlama, bir kesinti, kütüphanenin cevaplayamadığı bir soru — hiçbir şeyle yönetilmeyen yegâne turlardı.

Daha kötüsü, arayıp bir şey bulamayan bir tur, “Genel bilgiden cevap ver” diye açılan genel yönergelere düşüyordu. Model delil kapısını atlamıyordu. Bir emre uyuyordu. Doğrudan veritabanından: adı konmuş bir kitapta belirli bir lafzı bulması istendi, başarısızlığı dürüstçe bildirdi, ardından “Bununla birlikte, sorunuzu genel bilgi çerçevesinde ele alırsak:” yazıp atfı yine de verdi.

Artık iki yol yerine üç yol var: dayanaklı, tasarımca dayanaksız (selamlamalar, manevi rehberlik soruları) ve arandı-ve-bulunamadı — hiç aramamış olmaktan farklı bir durum ve bunu açıkça söylemesi gerekiyor.

Hâlâ işlemeyenler

Yalnızca kazanımları yayımlamak, tam da bu yazının konu ettiği hatanın kendisi olurdu.

• Serbest metin hâlâ bir tavan. Atıf kartları taklit edilemez. Ama cevap gövdesindeki cümleler, erişimin hak etmediği bir atfı hâlâ taşıyabilir. Bariz kalıpları temizliyoruz ve temizliğin bir hafifletme olduğunu açıkça söylüyoruz. Temizliğin kendisi de önce ders verircesine bozuldu: روى ve أخرج kelimelerini atıf işareti saymak, bunlar sıradan Arapça fiiller olduğu için meşru cümlelerin beşte dördünü yok etti; ta ki gerçek bir külliyat adı şartına bağlanana dek.
• Anlatı kaynaklandırması, alan kaynaklandırmasının gerisinde. Dört mezhep karşılaştırmasında Mâlikî görüşü, bir Hanefî eserin içindeki bir şerh notundan getirilmişti. Mezhep başına doğrulama kapısı bunu yakaladı — model de kapıyı metin içinden dolandı. Anlatıyı, doğrulanmış alanlarla aynı uygunluk kurallarına bağlamak hâlâ açık bir iş.
• Kapsama tekdüze değil ve aksini varsaymak aynı günah olurdu. Bu kurulumdaki hadis çapraz başvuru indeksi tam olarak on kitabı kapsıyor. Sekiz temel külliyattan yalnızca ikisinin — Buhârî ve Tirmizî — kaydı var. Külliyatlar arası tahrîc, bir sayfa ne kadar ilgili olursa olsun o on kitabın dışında asla çözümlenemez.
• Kütüphanedeki her şey atfa elverişli değil. Kayda değer bir bölümü, yayımlanmış bir baskıyla değil yazılımla sayfalanmış; dolayısıyla o sayfa numaraları raftan çekebileceğiniz hiçbir şeye işaret etmiyor. Bu eserler atıftan tümüyle çıkarıldı.

Bunu başka bir külliyat için kuruyorsanız

Hukukî, tıbbî, kutsal metin — aktarılabilir kısımlar şunlar:

1. Sıralama otorite değildir. Her sorguyu kapsamlandırın. Genel bir indeks size bir fıkıh metni yerine bir şiiri tam bir güvenle uzatır ve tıpatıp doğru bir sonuç gibi görünür.
2. Uydurmayı yalnızca caydırıcı değil, yapısal olarak imkânsız kılın. Model bir sayfa numarası yazabil_iyor_sa, er geç yazacaktır. O alanı elinden alın ve sunucuda çözün.
3. Araç girdilerinde reddedin, akan metinde değil. Ancak ekrana geldikten sonra düzeltebildiğiniz her şey hafifletmedir. Tehlikeli alanların reddedilebilir bir yere ulaşacağı bir tasarım kurun.
4. Başarısız aramalar da sonuçtur. Onları taşıyın. Atmak, doğru sonuçların yanlış delillere kavuşma yoludur.
5. Boş turları yönetin. Erişilmiş delilin olmadığı an, en çok özgürlüğün olduğu andır ve genellikle kimsenin kural yazmadığı andır.

Ve hiç de mühendislikle ilgili olmayan bir ders: bu yazıdaki kusurların hiçbiri kod okunarak bulunmadı. Her biri, canlı kütüphaneyi gerçek sorularla yoklayıp sonucu matbu sayfayla karşılaştırırken ortaya çıktı. Bütün bunlar olurken sistem tertemiz tip denetiminden geçiyor ve birim testleri başarılı oluyordu.

Dayanaklı cevaplar artık qurangallery.com/chat adresinde yayında. Sağlam çıkmayan bir atıf bulursanız lütfen bize bildirin — denetlenebilir olmak, bütün mesele bu.

Allah ﷻ bizi, dini hakkında ilimsiz konuşmaktan korusun.