Karar var, karar veren yok: “Talebiniz uygun bulunmamıştır.” Anonim iktidar yüzünü kaybetmiş bir iktidar değil, yüzünü göstermemeyi öğrenmiş bir iktidardır.
Eskiden bir kararın arkasında en azından tanınabilir bir yüz olduğunu düşünürdük. Müdür işe alır ya da çıkarır, banka görevlisi kredi başvurusunu değerlendirir, editör hangi yazının yayımlanacağına karar verir, devlet memuru önündeki dosyayı incelerdi. Bu kararlar adil olmayabilirdi; kararı veren kişi önyargılı, çıkarcı ya da keyfî davranabilirdi. Fakat hiç değilse karşımızda konuşabileceğimiz, soru sorabileceğimiz, itiraz edebileceğimiz biri vardı. Bugün ise hayatımızı etkileyen pek çok kararın karşısında bir insan bulamıyoruz. Kredi başvurumuz “sistem” tarafından reddediliyor, iş başvurumuz otomatik değerlendirmede eleniyor, sosyal medya hesabımız belirsiz bir kural ihlali nedeniyle kapatılıyor, sigorta primimiz risk puanımıza göre yükseliyor. Karar verilmiş oluyor ama kararı kimin verdiği sorulduğunda ortada kimse kalmıyor.
Bu yeni iktidar biçimi bağırmıyor, kürsüye çıkmıyor, emir cümleleri kurmuyor. Üniforması, makam odası ya da herkesin tanıdığı bir lideri yok. Bize çoğu zaman yalnızca bir bildirim gönderiyor: “Talebiniz uygun bulunmamıştır.” “İçeriğiniz topluluk standartlarını ihlal etmektedir.” “Başvurunuz değerlendirme ölçütlerini karşılamamıştır.” “Hesabınız güvenlik nedeniyle sınırlandırılmıştır.” Cümlelerin ortak özelliği, kararın kesin fakat failin belirsiz olmasıdır. Bir sonuç vardır, fakat o sonucun sorumluluğunu üstlenecek özne yoktur. İşte anonim iktidar tam da burada ortaya çıkar: İnsanların hayatını yönetebilen ama kendisini yöneten olarak göstermeyen bir güç.
Karar Var, Karar Veren Yok
Anonim iktidar yalnızca algoritmalardan ibaret değil. Onun daha eski biçimlerini bürokraside, büyük şirketlerde ve karmaşık hiyerarşilerde zaten tanıyorduk. Bir çalışan neden işten çıkarıldığını sorduğunda yöneticisi “Şirket politikası” diyebilir. Bir memur, açıkça haksız olduğunu gördüğü işlemi “Mevzuat böyle” diyerek uygulayabilir. Bir banka görevlisi, müşterinin durumunu anladığını fakat sistemin izin vermediğini söyleyebilir. Bu cümleleri kuran insanların hepsi yalan söylüyor olmayabilir. Gerçekten de karar verme yetkileri sınırlıdır. Fakat sorun tam olarak burada başlar: Herkesin yalnızca küçük bir işlemi yaptığı, hiç kimsenin bütünün sorumluluğunu taşımadığı bir düzende ortaya çıkan sonuçtan kim hesap verecektir?
Bir şirket yüzlerce çalışanını işten çıkarır. İnsan kaynakları birimi kararın yönetimden geldiğini söyler. Yönetim, ekonomik koşulları gerekçe gösterir. Ekonomi yöneticileri piyasanın gereklerini anlatır. Hissedarlar yatırımlarının değerini korumak istediklerini söyler. Danışmanlık şirketi verimlilik raporuna işaret eder. Raporu hazırlayanlar yalnızca verileri analiz ettiklerini belirtir. Sonunda yüzlerce insan işsiz kalmıştır ama kimse “Bu kararı ben verdim ve sonuçlarından ben sorumluyum” demez. Herkes kendisinden büyük bir zorunluluğun küçük uygulayıcısıdır. İktidar, kişiler arasında parçalandıkça ortadan kaybolmaz; tersine, itiraz edilmesi çok daha zor bir hale gelir.
Çünkü tanınabilir bir yöneticiye karşı çıkabilirsiniz. Onun kararını eleştirebilir, görevden alınmasını isteyebilir ya da yetkisinin sınırlandırılması için mücadele edebilirsiniz. Fakat “piyasa”, “prosedür”, “verimlilik”, “risk modeli” veya “sistem gereksinimi” ile nasıl tartışılır? Bunlar konuşan birer özne değildir ama insanlardan daha kesin hükümler verebilir. Üstelik kendilerini tercih değil zorunluluk olarak sunarlar. Yönetici “Ben böyle istiyorum” dediğinde kararın keyfîliği görünürdür. “Veriler bunu gösteriyor” dediğinde ise aynı karar sanki kişisel iradeden arınmış, bilimsel ve kaçınılmaz bir sonuçmuş gibi görünür.
Böyle bir yönetimde kimsenin kötü niyetli olması bile gerekmez. Herkes görevini düzgün yaptığını düşünürken ortaya son derece adaletsiz bir sonuç çıkabilir. İnsanların küçük sorumluluk parçalarına ayrıldığı sistem, büyük sonuçların sorumluluğunu sahipsiz bırakır. Kararın üretildiği zincirin her halkasında biri vardır; fakat zincirin tamamına baktığımızda kimse yoktur. Anonim iktidarın gücü de buradan gelir: Her yerde iş görür, hiçbir yerde kendisini bütünüyle ele vermez.
Algoritma Tarafsız Bir Hakem Değildir
Algoritmik kararlar bu anonimliği daha da güçlendirdi. Çünkü algoritma, insan önyargılarından arınmış tarafsız bir hakem gibi sunuluyor. İnsan kayırabilir, yorulabilir, duygularına kapılabilir; makine ise yalnızca veriye bakar. İlk bakışta bu oldukça ikna edici görünüyor. Hepimiz tanıdıkların, kişisel ilişkilerin ve keyfî kararların belirleyici olmadığı bir düzen isteyebiliriz. Fakat algoritmanın insanlardan bağımsız, kendi başına karar veren nötr bir akıl olduğunu düşündüğümüz anda önemli bir gerçeği gözden kaçırıyoruz: Algoritma hangi veriye bakacağına, neyi başarı, risk, güvenilirlik ya da tehdit sayacağına kendisi karar vermiyor.
Bir işe alım sistemi geçmişte şirkette başarılı kabul edilen çalışanların özelliklerini inceliyorsa, şirketin geçmişteki tercihlerini geleceğin ölçütüne dönüştürebilir. Geçmişte yöneticilik görevlerine belirli toplumsal gruplardan insanlar getirilmişse sistem bunu bir eşitsizlik olarak değil, başarıyla ilişkili bir veri örüntüsü olarak okuyabilir. Hiçbir yazılı kural “Bu gruptan insanları ele” demese de geçmişteki ayrımcılık matematiksel bir tahmine dönüşerek yaşamaya devam eder. Algoritma önyargıyı ortadan kaldırmak yerine ona kişisiz ve teknik bir görünüm kazandırabilir.
Benzer bir durum kredi değerlendirmesinde de yaşanabilir. Sistem doğrudan kişinin kimliğine bakmadığını söyler; fakat yaşadığı semt, alışveriş alışkanlıkları, eğitim geçmişi, gelir düzeni, telefon kullanımı ve sosyal çevresi gibi yüzlerce dolaylı veri üzerinden karar verir. Böylece sınıfsal eşitsizlikler “risk” adı verilen sayısal bir puana çevrilir. Yoksul olduğu için daha kırılgan koşullarda yaşayan kişi daha riskli kabul edilir; daha riskli kabul edildiği için daha pahalı krediye ulaşır; pahalı kredi kırılganlığını daha da artırır. Sistem daha sonra bu sonucu yeni bir veri olarak kaydeder ve ilk kararının doğru olduğunu düşünür. Eşitsizlik yalnızca ölçülmemiş, kendi kendisini doğrulayan bir döngüye dönüştürülmüştür.
Buradaki mesele algoritmaların daima kötü karar vermesi değildir. Bazı durumlarda insanlardan daha tutarlı, hızlı ve isabetli sonuçlar üretebilirler. Sorun, bu sonuçların nasıl üretildiğinin görünmezleşmesi ve matematiksel bir işlemden geçtiği için tartışılmaz hale gelmesidir. Sayılar, kararın arkasındaki değer yargılarını saklar. “Bu kişi yüzde 74 oranında risklidir” cümlesi bilimsel bir kesinlik taşıyormuş gibi görünür; oysa riskin nasıl tanımlandığı, hangi verilerin kullanıldığı ve yanlış kararın bedelini kimin ödeyeceği bütünüyle toplumsal tercihlere dayanır.
Algoritma yalnızca dünyayı ölçmez; neyin ölçülmeye değer olduğuna ilişkin bir dünya görüşünü de taşır. Bir çalışanın başarısını gönderdiği e-posta sayısıyla, klavye hareketleriyle ya da çevrim içi kaldığı süreyle ölçtüğümüzde çalışmanın ne olduğuna dair belirli bir karar vermiş oluruz. Düşünmeye ayrılan zaman, çalışma arkadaşına verilen destek, deneyimle kazanılmış sezgi veya görünmeyen bakım emeği ölçümün dışında kalabilir. Sonra ölçemediğimiz şeyleri değersiz, ölçebildiklerimizi ise gerçek sanmaya başlarız. İnsanlar da işlerini iyi yapmaya değil, sistemin başarı olarak tanıdığı işaretleri üretmeye yönelir.
İtiraz Edecek Bir Kapı Bulamamak
Bir kararın adaleti yalnızca doğru sonuç vermesine bağlı değildir. Karardan etkilenen kişinin kendisini anlatabilmesi, gerekçeyi öğrenebilmesi ve yanlışlık varsa düzeltilmesini isteyebilmesi de gerekir. Oysa anonim iktidarın en belirgin özelliği, itirazın yöneltileceği kapıyı ortadan kaldırmasıdır. Sosyal medya hesabınız kapatıldığında karşınıza çoğu zaman standart bir form çıkar. Formu doldurursunuz ve birkaç saniye sonra talebinizin yeniden incelendiğini bildiren başka bir otomatik mesaj alırsınız. Bu kadar kısa sürede gerçekten bir insanın dosyanıza bakıp bakmadığını bilemezsiniz. İlk kararı veren sistem ile itirazınızı değerlendiren sistem aynı olabilir.
Dijital platformlarda bunun sayısız gündelik örneğiyle karşılaşıyoruz. Bir satıcı hesabı “şüpheli etkinlik” nedeniyle dondurulabilir; geçimini o platformdan sağlayan kişi haftalarca gerçek bir yetkiliye ulaşamayabilir. Bir içerik üreticisinin yıllardır biriktirdiği izleyici kitlesi, hangi ifadenin ihlal oluşturduğu açıkça belirtilmeden elinden alınabilir. Kurye, sürücü ya da geçici çalışan, düşük bir puan nedeniyle iş alamaz hale gelebilir ama o puanın hangi değerlendirmelerden oluştuğunu öğrenemez. Müşteri haksız bir şikâyette bulunmuş olabilir, konum sistemi yanlış çalışmış olabilir, teslim süresini çalışanın iradesi dışındaki trafik koşulları uzatmış olabilir. Fakat sistem bunları yaşayan insanın anlatısına değil, kaydettiği birkaç sayıya bakar.
İnsan kendi hayatıyla ilgili bir karara karşı kendisini savunamaz hale geldiğinde yalnızca hakkını kaybetmez; aynı zamanda gerçekliğini anlatma yetkisini de kaybeder. “Orada değildin” der sistem, oysa oradadır. “Teslimatı geciktirdin” der, oysa yol kapalıdır. “Şüpheli davranış gösterdin” der, oysa yalnızca alışılmışın dışında ama tümüyle meşru bir işlem yapmıştır. Sistem kaydı ile insanın yaşadığı deneyim çatıştığında çoğu zaman kayıt üstün gelir. Çünkü kayıt ölçülebilir, saklanabilir ve raporlanabilir görünür; insanın sözü ise öznel kabul edilir.
Bu durum kamu hizmetlerine taşındığında daha da ağır sonuçlar doğurabilir. Sosyal yardım, sağlık hizmeti, eğitim desteği ya da güvenlik değerlendirmesi gibi alanlarda kullanılan otomatik sistemlerin verdiği yanlış karar, yalnızca bir uygulamaya erişememek anlamına gelmez. İnsan barınma desteğini, tedavi imkânını veya özgürlüğünü kaybedebilir. Buna rağmen sistem ticari sır, güvenlik gerekçesi ya da teknik karmaşıklık nedeniyle açıklanmadığında kişi neden cezalandırıldığını bile öğrenemez. Kendisini görünmez bir suçlamaya karşı savunmak zorunda kalır.
İtiraz hakkının yalnızca bir formun varlığına indirgenmesi bu nedenle yeterli değildir. İtirazın gerçek olabilmesi için kararı değiştirme yetkisine sahip birine ulaşmak gerekir. Kararın hangi gerekçeyle verildiği anlaşılır biçimde açıklanmalı, kullanılan veriler görülebilmeli ve yanlış veriler düzeltilebilmelidir. Aksi halde itiraz mekanizması, kararın adil görünmesini sağlayan bir dekor haline gelir. Sistem bizi dinliyormuş gibi yapar ama söylediklerimizin sonucu değiştirebileceği hiçbir alan bırakmaz.
İnsan Denetimi Bazen Yalnızca Bir Dekordur
Algoritmik kararlar eleştirildiğinde sık verilen cevaplardan biri, son kararın zaten bir insan tarafından verildiğidir. Ekranın arkasında bir görevlinin bulunduğu, algoritmanın yalnızca öneride bulunduğu söylenir. Kâğıt üzerinde bu güven verici görünür. Fakat o görevlinin algoritmik öneriyi gerçekten sorgulama imkânı yoksa insanın süreçte bulunması tek başına pek bir şey değiştirmez. Önünde yüzlerce dosya, dar bir zaman aralığı ve sistemin ürettiği kesin görünümlü bir puan varsa çoğu görevli öneriyi onaylamaya yönelir. Çünkü sisteme karşı çıkmak ek açıklama, sorumluluk ve risk gerektirir; sisteme uymak ise güvenlidir.
Bir banka çalışanını düşünelim. Sistem kredi başvurusunu yüksek riskli olarak işaretlemiş olsun. Görevli bu kararı onaylarsa ileride yaşanacak sorun “modelin öngörüsü” olarak görülebilir. Fakat sisteme karşı çıkarak krediyi onaylar ve müşteri ödeme güçlüğü yaşarsa kararın kişisel sorumluluğu ona yüklenebilir. Böyle bir düzende insanın son sözü söylemesi biçimsel bir yetkiden ibarettir. Gerçekte sistemin kararını değiştirmemenin ödüllendirildiği, değiştirmenin ise cezalandırıldığı bir yapı kurulmuştur.
Zamanla çalışanlar kendi yargılarına güvenmemeyi öğrenir. Öğretmen öğrenciyi tanır ama performans tablosuna bakar; doktor hastayı dinler ama risk ekranının önerisini izler; yönetici çalışanının çabasını görür ama puanlama sisteminin sonucunu esas alır. Kimse makinenin her zaman haklı olduğunu açıkça söylemez. Yine de kurumun bütün teşvikleri, kayıtları ve sorumluluk düzeni insanları makineye uymaya iter. Böylece algoritma resmen karar verici olmadığı halde fiilen karar verici haline gelir.
Üstelik otomatik sistemlerin yaygınlaşmasıyla birlikte yöneticiler de aldıkları kararları algoritmaya yükleme fırsatı bulur. İş yükünü artırmak, çalışan sayısını azaltmak, ücretleri değiştirmek ya da belirli müşterileri dışarıda bırakmak gibi yönetim tercihleri “veriye dayalı optimizasyon” adıyla sunulabilir. Oysa hangi hedefin optimize edileceğini yine insanlar belirlemiştir. Şirket daha fazla kârı, daha az maliyeti veya daha hızlı teslimatı seçmiş; çalışanların sağlığını, müşterilerin özel koşullarını ya da toplumsal etkileri ikinci plana atmıştır. Algoritma burada kararın sahibi değil, kararın arkasına saklanılan perdedir.
Bu yüzden “Kararı insan mı verdi, makine mi?” sorusu tek başına yeterli değildir. Daha önemli olan, hedefi kimin belirlediği, sistemi kimin kurduğu, veriyi kimin seçtiği, yanlış kararın bedelini kimin ödediği ve sonucu değiştirme yetkisinin kimde olduğudur. Bazen ekrandaki düğmeye bir insan basar ama karar çok daha önce, sistem tasarlanırken verilmiştir. Görevli yalnızca önceden kurulmuş tercihi kişisel dosyalara uygular.
Görünmeyen İktidarı Yeniden Görünür Kılmak
Anonim iktidarla mücadele etmek için teknolojiyi bütünüyle reddetmek gerekmiyor. Zaten mesele birkaç bilgisayar programını kapatınca çözülebilecek kadar basit değil. Algoritmalar kaldırıldığında onların yerini her zaman daha adil insanlar almayabilir. Keyfî yöneticiler, kişisel önyargılar ve tanıdık ilişkileri de ciddi haksızlıklar üretir. Asıl sorun, iktidarın teknik bir zorunluluk gibi sunularak siyasal tartışmanın dışına çıkarılmasıdır. Bir sistem insanların hayatını etkiliyorsa, o sistemin nasıl çalışacağı da ortak bir mesele olmalıdır.
Önce basit ama rahatsız edici soruları geri getirmek gerekiyor: Bu karardan kim yararlanıyor? Yanlış kararın bedelini kim ödüyor? Hangi veriler toplandı ve hangileri görmezden gelindi? Başarı ya da risk hangi değerler üzerinden tanımlandı? Sistemin yanıldığını düşünen kişi gerçekten kime ulaşabilir? Kararı değiştirme yetkisi olan biri var mı? Bu sorular teknik ayrıntılar gibi görünse de aslında iktidarın en eski meselesine dokunur: Kim, kimin adına ve hangi hakla karar veriyor?
Hesap verebilirlik, her algoritmanın kaynak kodunu herkese göstermekten ibaret değildir. Çoğu insan binlerce satırlık kodu inceleyemez; kod açık olsa bile kullanılan veriler, kurumsal hedefler ve uygulama biçimi görünmez kalabilir. İnsanların ihtiyaç duyduğu şey, kararın anlaşılır gerekçesini öğrenmek, kendileri hakkında kullanılan bilgiye erişmek, yanlışları düzeltebilmek ve karşılarında gerçek bir sorumlu bulabilmektir. “Sistem böyle karar verdi” cümlesi hiçbir kurum için son cevap olmamalıdır. Çünkü sistem kendisini kurmadı, hedeflerini seçmedi ve hangi hataların kabul edilebilir olduğuna karar vermedi.
Belki de anonim iktidarın en büyük başarısı, yöneten kimse kalmadığına bizi inandırmasıdır. Piyasa istiyor, veriler gösteriyor, algoritma belirliyor, prosedür gerektiriyor, sistem izin vermiyor… Bu cümleler tekrarlandıkça insan eliyle kurulmuş düzenler doğa yasalarına benzemeye başlıyor. Oysa her prosedür birileri tarafından yazıldı, her ölçüt birileri tarafından seçildi, her yazılım belirli hedeflere göre tasarlandı. Bunların hepsi değiştirilebilir. Değiştirilemez görünmeleri, gerçekten değiştirilemez olduklarından değil, onları değiştirme yetkisinin kimde olduğunun saklanmasından kaynaklanıyor.
İktidarın görünür olduğu dönemlerde en azından öfkenin yöneltileceği bir adres vardı. Bugünün adsız yönetiminde ise insan kendisini boşlukla tartışırken buluyor. Çağrı merkezindeki görevli yetkisiz, yönetici sisteme bağlı, sistemi kuran şirket sözleşmeyle korunuyor, şirket de piyasanın gereklerine işaret ediyor. Böylece sorumluluk sürekli bir sonraki halkaya aktarılıyor ve sonunda yeniden bize dönüyor: Kredi alamadıysak riskliyiz, işe alınmadıysak yeterli değiliz, içeriğimiz görünmüyorsa ilgi çekici değildir, hesabımız kapandıysa mutlaka yanlış bir şey yapmışızdır. Sistem kendisini sorgulatmak yerine bize kendimizden şüphe ettiriyor.
Belki ilk itiraz tam da burada başlamalıdır: Her otomatik sonucun kişisel kaderimiz olduğunu kabul etmemekte. Bize verilen puanın bizi bütünüyle tanımlamadığını, verinin hayatımızın kendisi olmadığını ve hesaplanabilir olmayan yanlarımızın değersiz sayılamayacağını hatırlamakta. Ardından kararın failini aramakta ısrar etmek gerekir. “Sistem” dediğimiz şeyin arkasındaki kurumları, çıkarları ve tercihleri yeniden görünür kılmadan hesap sormamız mümkün değildir.
Çünkü kimsenin yönetmediği söylenen bir yerde çoğu zaman gerçekten kimse yönetmiyor değildir. Birileri hedefleri belirliyor, birileri kazanç sağlıyor, birileri sonuçlardan korunuyor; yalnızca bu ilişkiler karar ekranının arkasında görünmez hale geliyor. Anonim iktidar yüzünü kaybetmiş bir iktidar değil, yüzünü göstermemeyi öğrenmiş bir iktidardır.
Özgürlük ise yalnızca bir kararın insan tarafından verilmesini istemek değildir. Karardan etkilenen insanların o kararın nasıl üretildiğine katılabilmesi, gerekçesini sorgulayabilmesi ve gerektiğinde onu değiştirebilmesidir. Aksi halde yöneticinin yerini kod, emrin yerini puan, cezanın yerini erişim engeli alır; fakat yönetilme ilişkisi olduğu gibi kalır.
Belki de çağımızın en önemli sorularından biri artık “Bizi kim yönetiyor?” değil, “Bizi yöneten neden kendisini kimseymiş gibi gösteriyor?” sorusudur. Çünkü sorumluluğun olmadığı yerde iktidar ortadan kalkmaz. Yalnızca daha güvenli, daha sessiz ve itiraz edilmesi daha zor bir yere çekilir.