Yapay Zekâ Tespit Araçları Nasıl Çalışır?

Üretken yapay zekâ araçlarının yaygınlaşmasıyla birlikte pek çok kurum benzerlik raporunun yanında bir de “yapay zekâ raporu”na bakmaya başladı. Ancak bu iki rapor tamamen farklı mantıkla çalışır. Benzerlik raporu “bu metin şu kaynakla aynı” diyebilir ve kaynağı gösterir; yapay zekâ tespit aracı ise yalnızca “bu metin, yapay zekâ metinlerine istatistiksel olarak benziyor olabilir” der ve gösterebileceği bir kaynak yoktur. Bu fark, AI skorlarını nasıl yorumlaman gerektiğini belirler.

Temel kavramlar

Perplexity (şaşkınlık / öngörülemezlik)

Bir dil modelinin, metindeki bir sonraki kelimeyi tahmin ederken ne kadar “şaşırdığının” ölçüsü. Yapay zekâ modelleri genellikle olasılığı yüksek, öngörülebilir kelimeleri seçtiği için ürettikleri metnin perplexity değeri düşük olma eğilimindedir. Düşük perplexity bazı araçlarda “yapay zekâ olabilir” sinyali sayılır.

Burstiness (patlamalılık / değişkenlik)

Cümle uzunluğu, yapısı ve karmaşıklığındaki çeşitlilik. İnsanlar kısa ve uzun cümleleri, basit ve karmaşık yapıları düzensizce karıştırma eğilimindedir; yapay zekâ metni daha tekdüze olabilir. Düşük değişkenlik bazı araçlarda yapay zekâ sinyali olarak yorumlanır.

Sınıflandırıcı model (classifier)

Çok sayıda insan ve yapay zekâ metniyle eğitilmiş, yeni bir metnin hangi gruba daha çok benzediğine dair olasılık veren bir makine öğrenmesi modeli. Ticari araçların çoğu perplexity ve burstiness gibi sinyalleri bu tür modellerle birleştirir.

Yanlış pozitif (false positive)

İnsanın yazdığı metnin yapay zekâ tarafından üretilmiş olarak işaretlenmesi. Akademik bağlamda en zararlı hata türüdür, çünkü masum bir öğrenciyi şüpheli konuma düşürebilir.

Buradan kritik bir sonuç çıkar: Akademik yazı zaten öngörülebilir ve kalıplı olmaya eğilimlidir. “Bu araştırmanın amacı ... incelemektir”, “Bulgular literatürle tutarlıdır” gibi cümleler düşük perplexity üretir. Yani iyi düzenlenmiş, standart bir akademik metin, tamamen insan elinden çıkmış olsa bile yapay zekâ metnine benzetilebilir.

Başlıca araçlar

Olasılık, kanıt değil

Bir araç “%60 yapay zekâ” dediğinde bu, “metnin %60’ını kesin olarak yapay zekâ yazdı” anlamına gelmez. Araca göre değişmekle birlikte genellikle ya metnin belirli bir kısmının yapay zekâ metnine benzediğine dair bir tahmin, ya da belgenin bütünü için bir olasılık skorudur. Araç üreticilerinin kendileri de bu skorların tek başına disiplin kararına dayanak yapılmaması gerektiğini, öğretim elemanının değerlendirmesiyle birlikte kullanılması gerektiğini vurgular.

Yanlış pozitifler: Kimler risk altında?

• Akademik kalıp dil kullananlar: Standart yöntem cümleleri, resmî ve düzenli üslup düşük perplexity üretir.
• Ana dili İngilizce olmayan yazarlar: Liang ve arkadaşlarının 2023’te Patterns dergisinde yayımladığı çalışma, yedi yaygın tespit aracının ana dili İngilizce olmayan öğrencilerin yazdığı TOEFL kompozisyonlarının ortalamada yarısından fazlasını yanlışlıkla yapay zekâ ürünü olarak işaretlediğini bildirmiştir. Sınırlı kelime dağarcığı ve basit cümle yapıları “öngörülebilir” görünür. (Turnitin, kendi aracı için yaptığı araştırmada bu yönde anlamlı bir yanlılık bulmadığını açıklamıştır; araçlar arasında bu açıdan da fark olabilir.)
• Düzeltme araçları kullananlar: Grammarly gibi dil bilgisi ve üslup araçları, özellikle cümleleri yeniden yazan özellikleri kullanıldığında metni daha düzgün ve tekdüze hâle getirerek AI skorunu yükseltebilir. Çeviri araçları (Google Çeviri, DeepL) ile çevrilmiş metinler de işaretlenebilir.
• Kısa metinler ve listeler: Kısa paragraflar, maddeler ve tablolar araçların güvenilir tahmin yapması için yeterli bağlam sağlamaz.
• Çok iyi düzenlenmiş metinler: Defalarca gözden geçirilmiş, editörden geçmiş metinler tekdüzeleşebilir.