Yapay zekânın verdiği kaynak gerçekten var mı?

AI görünürlüğünde herkes “kaç kere anıldım” sorusunu soruyor. Sorulmayan soru şu: anıldığım yerde gösterilen kaynak gerçekten var mı?

Atıf, doğruluk demek değil

Üretken arama motorlarının doğrulanabilirliğini ölçen çalışma, üretilen cümlelerin yalnızca %51,5’inin gösterilen atıfla tam olarak desteklendiğini, atıfların %74,5’inin doğru olduğunu buldu[2]. Yani cevabın altındaki kaynak listesi, cevabın doğruluğunun garantisi değil — çoğu zaman dekoratif bir güven işareti.

“Makul serap” deseni

100 kuruluş üzerinde, iki büyük model ve 2.062 doğrulanabilir kaynakla yürütülen bir ölçüm, uydurulan kaynakların nasıl göründüğünü inceledi. Sonuç, tespit etmeyi neden zorlaştırdığını açıklıyor: uydurmaların %68,5’i gerçek bir alan adına, var olmayan bir yola işaret ediyordu[1].

Alan adı tanıdık, bağlantı makul görünüyor, sayfa yok. Bir insanın gözden kaçırması çok kolay; otomatik doğrulamanın yakalaması çok kolay.

Tanınırlık paradoksu

Sezgiye aykırı bulgu şu: model, tanıdığı kuruluşlar hakkında daha çok uyduruyor.

Model bir kuruluş hakkında cümle kurmaya yetecek kadar güven duyduğunda, o cümleyi destekleyecek kaynağı da üretiyor. Küçük ve bilinmeyen kuruluşlarda sorun görünmezlik; büyük ve tanınmış olanlarda sorun yanlış atıf.

Düzenleyici sorular riski büyütüyor

Aynı ölçümde soru çerçevesinin etkisi ayrıca incelendi. Düzenleyici/mevzuat çerçeveli sorularda uydurma oranı %37,6’dan %56,8’e çıktı — 19,2 puanlık bir artış, modele hiçbir erişim gerektirmeden, yalnızca sorunun sorulma biçiminden[1].

Sigorta, bankacılık, ödeme sistemleri ve sağlık gibi düzenlemeye tabi sektörler için bu doğrudan bir uyarı: müşterilerinizin yapay zekâya sorduğu sorular tam olarak bu çerçevede ve riskin en yüksek olduğu bant burası.

Ölçülebilir bir koruma var

Aynı çalışmanın en pratik bulgusu: İngilizce Wikipedia’da varlık, uydurma olasılığını %63 düşürüyor (OR=0,37, p<0,001). Makine tarafından okunabilir, yapılandırılmış ve bağlanabilir bir varlık kaydı, modelin uydurma ihtiyacını azaltıyor. Bilgi grafiği varlığı, yapılandırılmış veri ve tutarlı varlık adlandırması burada dekoratif değil koruyucu.

Ham bahis “recall”, doğrulanmış bahis “precision”

Bir marka için “%40 görünürlük” aynı anda iki çok farklı şey anlamına gelebilir: cevapların çoğu doğru ve kaynaklı olabilir, ya da çoğu uydurma kaynağa dayanıyor olabilir. Tek bir toplam sayı bu iki durumu ayırt etmiyor[1].

Yapılması gereken teknik olarak basit: motorun verdiği her kaynak bağlantısını HTTP ile doğrulamak, kanonikleştirmek ve motor başına “erişilemeyen kaynak oranı”nı raporlamak. Ham bahis oranının yanına doğrulanmış bahis oranını koymak.