Bir kararın arkasında tanınabilir bir yüz olduğunda en azından öfkenin yönü bellidir. Müdür işe alır ya da çıkarır, memur dosyayı reddeder, editör yazıyı yayımlamaz, banka görevlisi talebi kabul etmez.
Bir kararın arkasında tanınabilir bir yüz olduğunda en azından öfkenin yönü bellidir. Müdür işe alır ya da çıkarır, memur dosyayı reddeder, editör yazıyı yayımlamaz, banka görevlisi talebi kabul etmez. Bu kararlar keyfî, haksız ya da önyargılı olabilir; fakat karşımızda konuşabileceğimiz biri vardır. Bugün ise hayatımızı etkileyen pek çok kararın karşısında giderek daha sık aynı cümleyi duyuyoruz: “Sistem böyle değerlendirdi.”
Kredi talebi reddediliyor, iş başvurusu otomatik elemeden geçemiyor, platform hesabının erişimi düşüyor, sigorta primi risk puanına göre yükseliyor. Sonuç son derece somut. Gelir azalıyor, iş bulunamıyor, görünürlük kayboluyor. Fakat kararın sahibi sorulduğunda ortada insan kalmıyor. Bir model, prosedür, şirket politikası, topluluk standardı ya da “otomatik güvenlik sistemi” konuşuyor.
Anonim iktidarın tuhaflığı tam burada. Gücü var, fakat kendisini güç sahibi olarak göstermiyor.
“Ben karar vermedim”
Büyük kurumlarda sorumluluk zaten uzun zamandır parçalara bölünüyordu. İnsan kaynakları yönetimi, yönetim bütçeyi, bütçe piyasa koşullarını, danışmanlar verimlilik hedeflerini işaret edebiliyordu. Herkes karar zincirinin küçük bir halkasıydı. Algoritmik sistemler bu eski anonimliği daha da ileri taşıdı.
Bir görevli ekrandaki sonucu değiştiremiyorsa gerçekten son karar verici değildir. Ama sistemi tasarlayan kişi de tek tek insanları tanımaz. Yöneticiler yalnız hedefleri belirlemiş olabilir. Veri ekibi modeli kurmuş, hukuk birimi kural metnini hazırlamış, yazılım ekibi uygulamış, saha çalışanı yalnızca sonucu iletmiş olabilir. Sonunda herkes haklı olarak “Ben tek başıma karar vermedim” diyebilir.
Sorun tam da bu haklılıkta büyüyor. Kimsenin tek başına karar vermediği bir yerde, kararın bütünü kime ait?
Bu tür yapılarda iktidarın ortadan kaybolduğunu sanmak kolay. Oysa sonuçları yaşayan kişi için güç son derece gerçek. Hesabı kapanıyor, kredi alamıyor, iş bulamıyor. İktidar yalnız failini kaybetmiş oluyor.
Tarafsız görünen model
Algoritmaların çekiciliği anlaşılır. İnsan kayırabilir, yorulabilir, öfkelenebilir. Makine ise aynı kurala herkese uygulayacakmış gibi görünür. Fakat algoritma neyin başarı, risk, şüphe veya uygunluk sayılacağına kendi başına karar vermiyor.
Bir işe alım sistemi geçmişte başarılı kabul edilen çalışanların verisinden öğreniyorsa, geçmişteki kurumsal tercihleri de geleceğin ölçüsüne çevirebilir. Bir kredi modeli kişinin yaşadığı bölgeyi, gelir düzenini ve tüketim alışkanlıklarını değerlendirirken sınıfsal eşitsizlikleri “risk” adı altında yeniden üretebilir. Hiçbir satırda açık ayrımcılık yazmasa da model, eşitsiz dünyanın izlerini tarafsız veri gibi taşıyabilir.
Burada mesele her algoritmanın haksız olması değil. İnsanlardan daha tutarlı sonuç üreten sistemler de olabilir. Asıl mesele, matematiksel biçimin kararı tartışılmaz hale getirmesi. “Yüzde 78 risk” ifadesi, “bence güvenilir değil” cümlesinden daha bilimsel görünür. Oysa yüzdeyi üreten ölçütlerin hangi değer tercihlerine dayandığı çoğu kullanıcı için görünmezdir.
İtiraz edecek kapı kalmadığında
Bir kararın haksızlığını bazen sonucundan önce itiraz yolunda anlıyoruz. Sosyal medya hesabı kapatılan kişi standart bir form dolduruyor, birkaç saniye sonra “karar yeniden incelendi” mesajı geliyor. İş başvurusu elenen aday neden elendiğini öğrenemiyor. Kurye düşük puan nedeniyle daha az iş alıyor, fakat puanın hangi değerlendirmelerden oluştuğunu göremiyor.
İtirazın varlığı ile etkili olması aynı şey değil. Bir form bulunabilir, ama o form sonucu değiştirebilecek birine ulaşmıyorsa yalnızca kurumsal bir dekor görevi görür. Kullanıcı konuşmuş olur; sistem dinlemiş gibi görünür.
Daha rahatsız edici olan, kayıt ile yaşanmış deneyim çatıştığında kaydın çoğu zaman üstün çıkması. Sistem teslimatın geciktiğini gösterir, yolun kapalı olduğunu bilmez. Konum kaydı kişiyi başka yerde gösterir, kişi orada olduğunu anlatır. Kurum açısından veri saklanabilir ve raporlanabilir; insanın anlatısı “öznel” kalır.
Kişi bu noktada yalnız bir karara değil, kendi gerçekliğinin hangi sürümünün geçerli sayılacağına karşı mücadele ediyor.
İnsan denetimi her zaman insan kararı değildir
Otomatik sistemlere yönelik eleştiriye sık verilen cevaplardan biri “son kararı zaten insan veriyor.” Fakat insanın ekrandaki sonucu değiştirme bedeli yüksekse bu güvence kâğıt üzerinde kalabilir.
Bir banka çalışanı modelin riskli bulduğu kişiye kredi verirse sorumluluk almış olur. Modeli izlerse olumsuz sonuç sistemin kararı sayılabilir. Bir moderatör algoritmik uyarıyı onaylamadığında açıklama yazmak zorunda, onayladığında tek tık yeterli olabilir. Kurumun iş akışı insanı sürekli sistemle aynı fikirde olmaya teşvik eder.
Böylece insanın varlığı, kararın gerçekten insani değerlendirmeye açık olduğu anlamına gelmez. Görevli yalnızca otomatik sonuca resmî onay veren son halka olabilir.
Kimse yönetmiyorsa kim hesap verecek?
Anonim iktidar bazen kişisel zorbalıktan daha dayanıklı görünüyor. Bir patronu eleştirebilirsiniz. Bir yöneticinin görevden alınmasını isteyebilirsiniz. Ama “piyasa koşulları”, “risk modeli”, “topluluk standartları” ya da “sistem gereksinimi” konuşan bir kişi değildir. Onlara kızmak bile tuhaf görünür.
Tam da bu nedenle, kararın teknikleşmesi sorumluluğu azaltmak yerine daha önemli hale getiriyor. Hedefi kimin koyduğu, veriyi kimin seçtiği, yanlış sonucun bedelini kimin ödediği ve kararı gerçekten kimin değiştirebildiği görünür değilse, “sistem” sözcüğü büyük bir gölge yaratıyor.
Bugünün iktidarı her zaman kürsüye çıkmıyor. Bazen bildirim olarak geliyor. Ses tonu yok, yüz ifadesi yok, tartışma yok. Yalnızca sonuç var.
Belki anonim iktidarın en güçlü anı da bu: Kimse “Ben seni yönetiyorum” demediği için, yönetilmekte olduğumuzu fark etmek daha zor.