Kader, algoritmanın kendisinden çok kurumun puanı tartışmasızlaştırmasıyla oluşur. Puan açıklanabilir ve reddedilebilir kaldığında araçtır; tartışılmaz kabul edildiğinde kader olur.
Tutuklama, tahliye, ceza, denetimli serbestlik ve sosyal destek kararlarında risk puanları giderek daha fazla kullanılıyor. Sistem yaş, geçmiş kayıt, iş, konut, ilişki ve anket cevaplarını birleştirip tekrar suç veya kaçma ihtimali üretebilir. Aynı tür dosyalarda tutarlılık ve kaynak planı sağlayacağı düşünülür. Fakat puan geleceğin gerçeği değil, belirli veriden belirli hedefle çıkarılan olasılıktır. Hâkim veya görevli sayıya aşırı güvenirse insanın değişimi, yanlış kayıt ve yaşam bağlamı görünmez olur. Kader, algoritmanın kendisinden çok kurumun puanı tartışmasızlaştırmasıyla oluşur.
Puan neyi tahmin ediyor?
“Yüksek risk” ifadesi açık değildir: yeniden tutuklanma mı, mahkûmiyet mi, belirli ağır suç mu? Tutuklanma polis denetimi ve mahalleye göre değişir; gerçek davranışın kusursuz ölçüsü değildir. Hedef sonuç, zaman aralığı ve başarı ölçüsü açıklanmalıdır. Farklı zararları tek puanda birleştirmek karar verene yanlış kesinlik verir.
Grup düzeyinde olasılık bireyin ne yapacağını söylemez. Benzer özellikteki yüz kişinin bir bölümü olay işleyebilir; model hangisi olduğunu bilemez. Yüksek puan kişiyi kaçınılmaz fail yapmaz, düşük puan da güvenlik garantisi değildir. Karar dili olasılığı korumalı, puanı ahlaki karaktere çevirmemelidir.
Geçmiş eşitsizlik değişkene dönüşünce
Sabıka ve tutuklama verisi geçmiş polis ve yargı seçimlerini taşır. İşsizlik, konut istikrarsızlığı ve mahalle gibi değişkenler kişinin sorumluluğundan çok eşitsizliği ölçebilir. Sistem yoksulluğu risk diye ağırlaştırdığında daha fazla özgürlük kısıtı uygular; bu kısıt iş ve konutu daha da bozarak puanı doğrular.
Hassas kimliği çıkarmak yeterli değildir; posta kodu, okul ve aile ağı dolaylı temsil edebilir. Gruplara göre hata oranı, yanlış pozitif ve karar etkisi test edilmelidir. “Model kimlik görmüyor” tarafsızlık kanıtı değildir. Eşitlik için bazen hassas veriyi güvenli denetim amacıyla kullanmak gerekir; karar girdisiyle denetim verisi ayrılmalıdır.
İtiraz edilemeyen matematik
Kişi puanını, kullanılan kaydı ve düzeltebileceği hatayı bilmelidir. Ticari sır veya sistem güvenliği gerekçesi tüm açıklamayı kapatamaz. Tam kod yerine etkili değişken, kişiye özgü veri, puan aralığı ve kararın puana ne kadar dayandığı açıklanabilir. Savunma bağımsız uzman incelemesi isteyebilmelidir.
Anket cevapları kültür ve dil farkından etkilenebilir. “Otoriteye yaklaşım” gibi öznel soru eleştirel düşünceyi risk sayabilir. Görüşmeci değerlendirmesi önyargı taşır. Tercüme, standart eğitim ve cevap vermeme hakkının sonucu açık olmalıdır. Kişi programa erişmek için kendini suçlayıcı bilgi vermeye zorlanmamalıdır.
İnsan denetimi gerçek mi?
Hâkim puandan ayrıldığında uzun gerekçe yazmak, uyduğunda tek satırla yetinmek zorundaysa sistem uyumu teşvik eder. Her iki yönde de karar dosyanın somut olgularını açıklamalıdır. Puan tek başına özgürlük kısıtlaması yaratmamalı; güncel destek, sağlık ve bakım bilgisi değerlendirilmelidir. İnsan incelemesi yetki, zaman ve bilgi gerektirir.
Karar verene modelin sınırları öğretilmelidir. Ekranda yüzde vermek, bilimsel kesinlik algısını artırır; belirsizlik aralığı ve benzer gruptaki hata daha dürüst olabilir. Arayüz renkleri bile kararı etkiler. Kullanıcı tasarımı hukuki denetimin parçasıdır. Sistem önerisini sorgulayan kararlar kalite incelemesinde cezalandırılmamalıdır.
Puanı kader olmaktan çıkarmak
Risk değerlendirmesi ceza ağırlaştırmak yerine gönüllü destek sunmak için kullanılabilir; yine de etiket ve veri güvenliği riski vardır. Konut ihtiyacını “yüksek risk” diye değil doğrudan ihtiyaç olarak görmek daha insancıldır. Kaynak kıtlığı puanı yardım kapısında rekabete çevirebilir. Destek reddedildiğinde kişi cezalandırılmamalıdır.
Model devreye girmeden temel hak etki değerlendirmesi, bağımsız doğrulama ve saha pilotu gerekir. Sürüm, nüfus ve yasa değiştikçe performans kayar; düzenli yeniden test yapılmalıdır. Hangi kararların etkilendiği kaydedilmeli, ciddi hata bulunursa eski dosyalar gözden geçirilmelidir. Satın alma sözleşmesi denetim ve çıkış hakkını güvenceye almalıdır.
Avrupa Birliği Yapay Zekâ Tüzüğü bazı suç riski tahminlerini yasaklıyor ve adalet alanındaki yüksek riskli sistemler için ağır yükümlülükler kuruyor. Bu yönelim, matematiksel araçların hukuk dışı olmadığını ama temel hakka etkileri nedeniyle sıradan yazılım gibi alınamayacağını gösterir. Yerel hukuk daha düşük güvenceye razı olmak zorunda değildir.
Puanın saklama süresi ve başka kuruma aktarımı sınırlı olmalıdır. Ceza adaletindeki tahmin işveren, okul veya konut sağlayıcının gizli kara listesine dönüşmemelidir. Kişi risk sınıfından ne zaman çıktığını ve verinin silindiğini öğrenebilmelidir. Değişim ihtimalini kabul etmeyen kalıcı kayıt, rehabilitasyon fikrini bozar.
Algoritmik puan bazı örüntüleri insandan daha tutarlı görebilir; insan önyargısını otomatik olarak ortadan kaldırmaz. Doğru yeri, özgürlüğün yerine hüküm vermek değil sınırlı ve sorgulanabilir bilgi sunmaktır. Kararın muhatabı bir veri satırı değil geçmişi ve geleceği açık bir insandır. Puan açıklanabilir, düzeltilebilir ve reddedilebilir kaldığında araçtır; tartışılmaz kabul edildiğinde kader olur.
Risk aracının insanlar üzerinde davranışsal etkisi de izlenmelidir. Kişi her görüşmede puanlandığını düşünürse danışmanına dürüst konuşmayabilir; ruh sağlığı ve bağımlılık bilgisini saklayabilir. Destek ilişkisi gözetim ilişkisine dönüşür. Hangi bilginin tedavi, hangisinin karar için kullanılacağı ayrılmalı; profesyonel gizliliğin sınırı açıkça anlatılmalıdır.
Modelin farklı bölgede kullanılabilmesi yeniden doğrulama gerektirir. Bir ülkedeki iş, aile ve polis verisi başka toplumda aynı anlamı taşımaz. Satıcının “uluslararası başarı” iddiası yerel hukuk ve nüfus için kanıt değildir. Küçük örneklemde nadir gruplar hakkında güvenilir sonuç üretilemiyorsa sistem o kişiler için kullanılmamalı, belirsizlik saklanmamalıdır.
Karar sonrası puanın doğruluğu, yalnız yeniden tutuklanma ile ölçülmemelidir. Kişi daha yoğun izlendiği için küçük ihlal kayda girmiş olabilir. Destek alan ile almayanın koşulu, denetim sıklığı ve gerçek zarar birlikte incelenmelidir. Aksi halde sistem kendi müdahalesinin yarattığı sonucu başarı verisi sayar.