Algoritmaya öfke

Yapay Zekânın Politik İnşası serimizin bu bölümünde, Lois Parshley’in The Lever’da yayımlanan ayrıntılı araştırmasını, Diyar Saraçoğlu’nun çevirisiyle sizlere sunuyoruz. Çocuk refahı araçlarından sigorta başvurularına, kamusal eğitim gözetiminden göçmenlik politikalarına kadar pek çok alanda karşımıza çıkan (ve önümüzdeki zamanda muhtemelen daha çok çıkacak) yapay zekâ destekli algoritmalar, karar alma süreçlerini hızlandırırken aynı anda ciddi hatalara da zemin hazırlayabiliyor.

Metin, yaygınlaşan otomatik karar sistemlerinin özellikle sosyal yardım ve sağlık hizmetleri gibi alanlarda nasıl beklenmedik sorunlara yol açtığını dikkatlice ele alıyor. Yanlış kodlamalar veya eksik ve önyargılı veri setleri nedeniyle, birçok insanın hak kazandıkları yardımlardan mahrum kalışı, bu sistemlerin toplumsal yaşam üzerindeki sonuçlarına ışık tutuyor.

Yapay Zekânın Politik İnşası

13 Ocak 2025

Eski bir hukuki yardım avukatı olan Kevin De Liban, Başkan Donald Trump’ın yapay zekâyı daha da ileriye taşıma planının ne kadar büyük riskler barındırdığını çok iyi biliyor. Defalarca, otomatikleştirilmiş kararların insanların yaşamını nasıl altüst edebildiğine tanık oldu.

2022 Noel’inden hemen önce, örneğin, Robert Austin ve kızı Teksas’ın El Paso kentinde arabasında yaşıyordu. Bekâr bir baba olarak, ikisini de kabul edecek bir barınak bulmakta zorlanıyordu.

Gıda kuponu ve geçici yardım başvurusunda bulunan Austin, devletin sağladığı sağlık sigortasından yararlanabilmesi için kızını Medicaid’e[1] kaydettirmeye çalıştı. Gerekli şartları taşımalarına rağmen yardım talepleri reddedildi. Austin tekrar denedi; bu kez sağlık ve insani hizmetler yardım hattı, yüklediği evrakların reddedildiğini ve baştan başvuru yapması gerektiğini söyledi. “Aynı belgeleri tekrar tekrar istediler,” diyor Austin. Hangi numarayı ararsa arasın, “her seferinde, başladığım noktaya geri dönüyordum” diye ekliyor.

Sonunda Austin, Texas RioGrande Legal Aid’deki avukatlara ulaştı. Avukatlar, uluslararası danışmanlık şirketi Deloitte tarafından geliştirilen Teksas’ın otomatik doğrulama sisteminin kapsamlı ve tekrarlayan hatalar yaptığını ortaya çıkardı. Sistem, yanlış bilgilendirme metinleri gönderiyor, haksız yere başvuruları reddediyor ve evrakları kaybediyordu.

İki yıl boyunca, Austin, geçici barınma imkânları arasında gidip gelirken Teksas’ın sosyal yardım programlarına yeniden başvurmaya devam etti ve sonunda arabasını da kaybetti. Kızı hareketli bir ufaklığa dönüşürken, o da sokaktaki yabancıların güvenilmez nezaketine sığındı. “Kızımın bezlerini, çocuk bakımını karşılayabilmek için insanlardan para dilenmek zorunda kaldım, böylece [tıbbi] randevulara gidebiliyordum,” diyor.

De Liban, Austin’in davasında doğrudan yer almasa da, algoritmik hataların mağduru olmuş benzer durumda onlarca insanla çalıştı. Ona göre, bu tür sistemsel zararlar ABD’de insanların yaşamlarının her aşamasını etkilemeye başlamış durumda. “Mevcut hukuki mekanizmalarımız, bu teknolojilerin yol açabileceği zararların boyutu ve kapsamıyla baş etmede kesinlikle yeterli değil,” diyor.

De Liban, yapay zekâ sistemleri nedeniyle tıbbi bakım veya diğer yardımları reddedilen insanlar için Arkansas’ta ardı ardına davalar kazandı. Ancak her zafer, asıl sorunu gözler önüne seriyordu: Basit kodlama veya makine öğrenmesi yoluyla insan kararlarını taklit eden makineler tarafından alınan devlet kararlarının devasa ölçeği, bireysel hukuki zaferlerin yetersiz kalmasına neden oluyordu.

Bu nedenle De Liban, insanlara mücadelelerinde yardımcı olmak için kısa süre önce TechTonic Justice adlı kâr amacı gütmeyen bir kuruluş kurdu. De Liban, etkilenen toplulukların bu yüzsüz, kişiliksiz sistemleri sorumlu tutabilmesi için kaynaklar oluşturuyor; The Hill ve NPR gibi yayın organlarında bu sorunu gündeme taşıyor. Amacı, avukatlara eğitim vermek, savunucuları bilinçlendirmek ve sağlık hizmetleri ya da sosyal güvenlik gibi yardımlardan mahrum bırakılan insanları politika tartışmalarına katılmaya teşvik etmek.

Ancak bu çalışmanın önemi yakın zamanda daha da arttı. Trump, göreve döndüğü ilk gün, federal kurumların yapay zekâ kullanımına dair mevcut güvenceleri kaldırdı.

OpenAI CEO’su Sam Altman’ın Trump’ın göreve başlama fonuna yaptığı 1 milyon dolarlık bağışın hemen ardından şirket, nükleer silah güvenliği gibi son derece hassas konular da dâhil olmak üzere hükümet kurumları için popüler yapay zekâ platformu ChatGPT’nin bir sürümünü geliştireceğini duyurdu. Bu anlaşma, Trump’ın OpenAI, Oracle ve SoftBank ortak girişimine 500 milyar dolarlık yeni veri merkezleri kurma taahhüdünün ardından geldi.

Öte yandan, Elon Musk’ın yeni kurduğu Hükümet Verimliliği Departmanı (DOGE), Medicare ve Medicaid Hizmetleri Merkezi ile Eğitim Bakanlığı’ndaki programları yapay zekâ kullanarak “sahtekâr” veya “israf” olarak işaretliyor ve bunu ödemeleri dondurmak veya geri almak için bir gerekçe olarak kullanıyor.

Büyük dil modellerinin kanıtlanmış şekilde uydurma bilgiler üretme alışkanlığı göz önüne alındığında, De Liban endişeli. “Hareket ettiğiniz bilginin doğru olduğundan emin olmalısınız, yoksa kamuya zarar verecek kararlar alabilirsiniz,” diyor.

ABD’de federal kurumların neredeyse yarısı hâlihazırda yapay zekâ kullanıyor veya kullanmayı planlıyor, ancak hükümetin bu teknolojiyi kullanımı büyük ölçüde denetimsiz. De Liban ve diğer savunucular, bu sistemlerin şeffaflık eksikliği ve teknik karmaşıklığı nedeniyle, algoritmalar önyargıları pekiştirip temel hizmetlere erişimi kısıtladığında bile hükümeti veya yüklenicilerini sorumlu tutmanın zor olduğunu söylüyor.

Hükümet yetkilileri de düzenleme eksikliği konusunda endişeli. Tüketici Finansal Koruma Bürosu’ndan bir yetkili, “Tüm bu otomatik tahminler ve bunların hataları ya da ayrımcı sonuçları nasıl yaygınlaştırdığı konusunda kaygılıyız,” dedi. Bu büro, tüketicileri korumakla görevli bir devlet kurumu olsa da, Trump kısa süre önce başkanını görevden aldı ve 1.500 çalışanı daha işten çıkarmaya çalıştı.

De Liban’ın yakın tarihli bir raporunda, Trump yönetiminin genişleme hamlesinden önce bile yapay zekâ ve ilgili teknolojilerin, insanların nasıl yaşadığı, çalıştığı, öğrendiği ve ailelerine baktığını şekillendirerek 92 milyon düşük gelirli Amerikalının neredeyse tamamının temel yaşam kararlarını etkilediği ortaya çıktı. Üstelik bu teknolojiler çoğu zaman insanlara zarar veren sonuçlara ulaşıyordu.

“Her seferinde aynı şekilde yanlış yapıyorlar,” diye açıklıyor De Liban. Örneğin, Teksas’ta Austin yardıma muhtaç duruma düşmeden çok önce Deloitte uygunluk belirleme sistemlerinin hatalı olduğunu zaten biliyordu; zira şirketin yazılımı daha önce Kentucky, Tennessee, New Mexico, Arkansas ve Rhode Island’da da başarısız olmuştu.

“Hükümetin varlığı, ortak bir refahı sağlamak için olmalı,” diyor De Liban. “Ama şu anda bu görevini yerine getiremiyor.”

“Perdenin arkasında gerçekten ne var?”

2016 yılında, De Liban, Arkansas Hukuki Yardım Merkezi’nde çalışıyor ve düşük gelirli insanlara ücretsiz hukuki hizmet veriyordu. O sırada, banyoya gitmek veya ilaç almak gibi temel ihtiyaçlar için Medicaid muafiyet programına güvenen engelli ve yaşlı Arkansas sakinlerine, evde bakım hizmetlerinin büyük ölçüde azaltılacağı ya da tamamen kesileceği aniden bildirildi. De Liban’ın telefonu, yardımlarını neden kaybettiklerini anlayamayan insanların aramalarıyla çalmaya başladı. Birçoğu ona, “Bunu bilgisayar yaptı,” diyordu.

Ayrıntıları ortaya çıkarmak için biraz araştırma yapması gerekti: Maliyetleri düşürmeye çalışan eyalet, hemşireler tarafından yürütülen büyük ölçüde kâğıda dayalı süreci terk ederek, en az 25 eyaletin sağlık departmanlarına lisanslanan kodu geliştiren InterRAI adlı bir koalisyonun kurucularından biri tarafından oluşturulmuş standartlaştırılmış bir bakım tahsis algoritmasına geçmişti.

Algoritma, evde tıbbi bakıma ihtiyaç duyan insanları kategorilere ayırarak, programın uygulanmasını sağlayan başka bir yazılım şirketi tarafından kullanılan hesaplamalar oluşturuyordu. Ancak, tıbbi gereksinimler geçmişi gibi önemli faktörleri göz ardı ediyordu. De Liban, ortaya çıkan “algoritmik saçmalıklar”ın listesini tutmaya başladı; örneğin, ayağı kesildiği için “ayak sorunu yok” olarak işaretlenen bir müvekkili vardı.

De Liban, aylarını çaresiz çağrılara yanıt vererek ve federal mahkemede açılacak bir dava için delil toplayarak geçirdi. Bu, yalnız ve yorucu bir işti; sabahlara kadar çalışmayı ve uzun hafta sonlarını gerektiriyordu. Shannon Brumley’ninki gibi, geniş ve bakımsız tarım arazilerinin ortasında küçük kalan çiftlik evlerine yanaşırdı. 44 yaşında, bir motosiklet kazası sonucu dört uzvu felçli kalan Brumley’nin bakım süresi, algoritma tarafından yakın zamanda yarıya indirilmişti. Brumley, bir bakımevine gitmeye zorlanmaktan ve ergenlik çağındaki oğlunu ortada bırakmaktan korkuyordu.

“Bu kuralları kim belirliyorsa,” diye seslendi De Liban’a, özel olarak düzenlenmiş tekerlekli sandalyesinden, “eğer sadece bir hafta boyunca engelli olsalar ve benim yaşadıklarımı yaşasalar fikirlerini değiştirirlerdi.”

De Liban, eyalet genelinde mutfaklarda ve oturma odalarında insanları dinledikçe, hikâyelerin ağırlığı da arttı. “Bu kişinin ihtiyacı olanı alıp almaması arasındaki fark sensin,” diyordu kendi kendine. Gün içinde daha fazla zaman bulabilmek için arabasında telefon görüşmeleri ayarlıyor, kırsal yollarda çekim kaybolana kadar konuşuyordu. Sonra eski model Hyundai’sinin hoparlörlerini sonuna kadar açıp hip-hop dinliyordu.

Kaliforniya, Fremont’ta büyürken Tupac Shakur ve Public Enemy gibi sanatçıları dinlemek, onda adalet duygusunu pekiştirmiş, ona mısralarla şekillenen bir siyasi eğitim sunmuştu. Kırmızı çakıllı yollarda ilerlerken ritimler hem bir mola hem de bir hatırlatma işlevi görüyordu. Deltron 3030’un sözlerine eşlik ederek, “Siber savaş ağaları iğrençlikleri harekete geçiriyor,” diye mırıldanıyordu. “Bir milleti nefretle silahlandırmak mı? Biz bunda yokuz.”

De Liban’ın “Plunge Into Sunshine” şarkısına ait bir video

Sonunda De Liban, Arkansas’ta kullanılan algoritmanın olması gerektiği gibi bile çalışmadığını keşfetti. Üçüncü taraf bir yazılım sağlayıcısı olan Bilgi Yönetim Merkezi’nin kullandığı sürümde, diyabet veya beyin felci gibi sağlık durumlarını hesaba katmayan kodlama hataları vardı ve en az 152 kişinin ihtiyaç duyduğu bakım haksız yere reddedilmişti. Karşı çapraz sorgulamada eyalet yetkilileri, bu hatayı fark edemediklerini çünkü sorunu tespit edebilecek kapasiteye bile sahip olmadıklarını itiraf etti.

“Yıllarca, eyaletin algoritmanın nasıl çalıştığını en genel hatlarıyla bile açıklayabilecek tek bir personeli bile olmadı,” diyor De Liban.

Hukuki Yardım Kurumu’na göre, bunun sonucunda eyaletin Medicaid programının neredeyse yarısı olumsuz etkilendi. Arkansas hükümeti, yardım alan kişilerin nasıl etkilendiğini ölçmedi ve daha sonra mahkemede, aracı eğitmek için kullanılan verileri kaybettiklerini söyledi.

Teksas sakini Brooke Wilson’ın deneyimlediği gibi, eyaletlerin bu algoritmik hataları önleyememesi veya önlemeyi reddetmesi artık insanların en erken yaşam evrelerini bile etkiliyor. Kızı Harper, üç ay prematüre doğdu ve hâlâ sindirim ve akciğer rahatsızlıkları için mesleki ve fiziksel terapiye, ayrıca düzenli olarak eve gelip bakımına yardımcı olan bir görevliye ihtiyaç duyuyor.

2023 yılında, Wilson ailesi Harper’ın Medicaid kapsamının sona ereceğini bildiren bir mektup aldı. Sistem, ailenin vergi bilgilerini sunmadığını iddia ediyordu, oysa Harper’ın sigortası uzun vadeli engellilik durumu nedeniyle sağlanıyordu ve ailenin gelir durumuyla hiçbir ilgisi yoktu.

Harper, Teksas’ta geçen yıl eyaletin sigorta programından çıkarılan 1,8 milyon çocuktan sadece biri -bu, neredeyse Houston’ın tüm nüfusuna eşit. Bu çocukların yüzde 68’i, uygun bulunmadıkları için değil, Wilson ailesinin yaşadığı gibi kaybolan belgeler veya yerine getirilmesi imkânsız olabilecek son tarihler gibi idari aksaklıklar nedeniyle kapsam dışı kaldı.

Austin gibi, Wilson ailesi de Deloitte’un otomatik uygunluk doğrulama sistemiyle ilgili sorunlar yaşadı. Federal Ticaret Komisyonu’ndaki tüketici koruma yetkililerine sunulan bir şikâyet, “yüz binlerce insanın, sistemin ilgili uygunluk kurallarını doğru şekilde otomatikleştirememesi nedeniyle zarar gördüğünü ve görmeye devam ettiğini” iddia ediyor.

“Bu sigorta kapsamından çıkarılmaları sadece bir sayıya indirgemek, gerçek insani bedeli gizliyor,” diyor Teksas Engelli Hakları Örgütü’nden avukat Maureen O’Connell. “Medicaid’ini kaybettiği için yaşamı altüst olan birinin telefonuna yanıt veren kişilerden biriyim,” diye ekliyor.

Wilson ailesi itiraz sürecindeyken, Harper’ın sağlığı kötüleşti. Ardından bu kez Harper’ın 18 yaşını geçtiği ve artık engelli olmadığı gibi tamamen hatalı bir iddiayla ikinci bir bildirim aldılar. Austin’in yaşadıklarıyla benzer şekilde, Brooke eyalet yardım hattını aradığında, yönlendirildiği uzmanlar bile bu kararın nedenini açıklayamadı. “211 hattı tam bir Oz Büyücüsü gibi,” diyor O’Connell. “Perdenin arkasında gerçekten ne var?”

2023’te, Teksas Sağlık ve İnsani Hizmetler Komisyonu’ndan bilgi sızdıran bir kişi, tek bir sistem hatasının en az 24.000 çocuğun gereksiz yere sigortasını kaybetmesine yol açtığını ortaya çıkardı. Aynı kişi Teksas Temsilcisi Lloyd Doggett’a gönderdiği e-postalarda, bir kodlama hatasının eyaletin 100 milyon dolarlık federal fondan mahrum kalmasına da neden olduğunu ve binlerce insanın hamilelik sırasında ve sonrasında kritik hizmetlere erişiminin engellendiğini açıkladı. İçeriden gelen bu bilgilere göre, bu tür teknik hatalar, alıcılar olumsuz etkilenmeden önce sorunları etkili bir şekilde tespit edip önleyemeyen otomatik bir sistem yaratmıştı.

Bir avukatın bu sonbaharda Wilson ailesinin sigorta sorununu çözmesine yardımcı olmasının ardından, Medicaid’in Noel’de yeniden onlarla iletişime geçerek Harper’ın kalıcı engelliliğine dair kanıt talep etmesi aileyi şaşırttı. Bu kanıtı sunmaya çalıştıklarında, sistem uzun tıbbi kayıtlarını elektronik olarak yüklemelerine izin vermedi. Wilson ailesi yeniden avukatlarına danışmak ve başka bir duruşma tarihi almak zorunda kaldı, bu sırada Harper’ın bakım süreci belirsizliğini koruyor. “Eğer bu kadar inatçı biri olmasaydım, çoktan pes ederdim,” diyor Brooke, “ve bence zaten tam da bunu umuyorlar.”

Yapay zekâ özelleştirilmiş ve parçalı bir sisteme kontrolsüz şekilde entegre edildiğinde, mevcut eşitsizlikleri daha da derinleştiriyor. Çoğu zaman birden fazla hizmet sağlayıcının kullanılması nedeniyle, “eyalette kimse bu sistemlerin birbiriyle nasıl ilişkilendiğini tam olarak göremiyor,” diye açıklıyor De Liban. Daha iyi bir düzenleme olmadan, yapay zekânın yol açtığı zararlar kimsenin tam anlamıyla kavrayamayacağı şekilde birikebilir -ta ki iş işten geçene kadar.

“Bunlar çocuk, laboratuvar faresi değil”

Kamu sistemlerini verimli hâle getirmeyi amaçlayan algoritmalar genellikle son derece kişisel ve etik açıdan tartışmalı alanlara giriyor; bunun en çarpıcı örneklerinden biri ise çocuk istismarını önleme çabaları.

2012 yılında, Yeni Zelandalı araştırmacılar yeni doğan bir bebeğin istismara uğrama riskini tahmin edebilecek bir algoritma geliştirmeye koyuldu. Mevcut çocuk refahı programları, ne zaman müdahale edilmesi gerektiğini belirlemekte sık sık zorlanıyor ve istismara uğrayan çocukları gözden kaçırıyordu. Araştırmacılar, daha erken müdahale edebilmenin bir yolunu bulmayı umuyordu.

Yeni Zelanda Sosyal Kalkınma Bakanlığı, araştırma grubu Sosyal Veri Analitiği Merkezi’ne veri tabanına erişim izni verdi. Ekip, istismarı öngörebileceğini düşündükleri 132 değişken belirledi -bunlar arasında annenin işsiz olup olmadığı, evli olup olmadığı ve ebeveynlerin sabıka kaydına sahip olup olmadığı gibi faktörler yer alıyordu. Araştırmacılar, aracı kullanarak bir grup bebeği taramayı ve yüksek riskli olarak belirlenenlerin gerçekten istismara uğrayıp uğramadığını izlemeyi amaçlayan bir gözlemsel çalışma yapmayı planladı.

Pratikte, böyle bir algoritma tarafından riskli olarak işaretlenmek, çocuk refahı hizmetleri tarafından daha yakından incelenmeye yol açabilir ve aileden koparma gibi soruşturmaları veya müdahaleleri tetikleyebilir.

Eleştirmenler, ortaya çıkan modelin doğru sonuçlar vermediğini ve çocukları orantısız şekilde devlet korumasına alınan Māori ailelerine yönelik önyargıları pekiştirebileceğini belirtti. Kamuoyundan gelen tepkiler üzerine, yeni atanan Sosyal Kalkınma Bakanı Anne Tolley programı durdurdu ve “Ben görevdeyken asla! Bunlar çocuk, laboratuvar faresi değil,” diye yazdı.

Bu sırada, Pensilvanya’daki Allegheny County yetkilileri, aynı araştırmacıları ABD’de benzer bir programı hayata geçirmek üzere işe aldı. 2016’dan beri Pittsburgh’daki sosyal hizmet uzmanları, çocuk refahı raporlarını değerlendirmek için bu aile tarama aracını kullanarak sağlık, adalet ve sosyal yardım kayıtlarından elde edilen verileri analiz ediyor ve çocuklara risk puanları atıyor. Algoritma, sosyal hizmet görevlilerine hangi vakaların daha fazla soruşturulması gerektiğine dair rehberlik ediyor -bu tür incelemeler, ebeveynlerin yasal haklarını kaybetmelerine yol açabiliyor. Ertesi yıl, Douglas County yetkilileri de modeli Colorado’da uygulamak üzere Sosyal Veri Analitiği Merkezi ile anlaştı.

Diğer eyaletler de benzer programları değerlendirmeye başladıkça, Amerikan Sivil Özgürlükler Birliği’nin (ACLU) Kadın Hakları Projesi’nde kıdemli avukat olarak çalışmış olan Anjana Samant, algoritmaların tasarımında yapılan seçimleri incelemeye başladı. Ona göre, algoritmaların temel varsayımları aslında “politika kararları işlevi görüyor.” Ekibi, kısa sürede algoritmaların eğitildiği verilerin çoğunlukla önyargılı olduğunu tespit etti.

Örneğin, Allegheny Aile Tarama Aracı’nın dikkate aldığı değişkenlerden biri, ebeveynin ruh sağlığı veya davranışsal sağlık hizmeti alıp almadığıdır. Ancak sistem, yalnızca kamu sigortası üzerinden alınan bakımı hesaba kattığı için, özel sigortaya sahip daha yüksek gelirli kişileri dışarıda bırakıyor. Bu, neden-sonuç ilişkisini incelemeden, ırksal ve toplumsal faktörleri yansıtan birçok kriterden sadece biridir.

Algoritmanın doğruluğu, temel aldığı verilerin güvenilirliğine bağlıdır. Colorado’daki Douglas County’de kullanılan sosyal yardım tahmin aracı, hatalarla dolu bir yardım yönetim sistemine dayanıyor ve bu sistem, Teksas’taki sorunlu yardım programını da işleten Deloitte tarafından yönetiliyor. 2023’te yapılan bir denetimde, Douglas County Medicaid programı kapsamında alıcılara gönderilen bildirimlerin yüzde 90’ında yanlış bilgiler tespit edildi -bunlar arasında hatalı engellilik durumu kayıtları ve yanlış posta adresleri de vardı.

Eğitim verilerinin doğruluğu, kâr amaçlı şirketler kendi çocuk istismarı tarama algoritmalarını geliştirdikçe daha da büyük bir sorun hâline gelebilir. 2016’da Illinois eyaleti, yüksek riskli çocukları belirlediğini iddia eden Hızlı Güvenlik Geri Bildirimi algoritmasını işletmesi için özel sektöre ait bir koruyucu hizmet danışmanlık şirketi olan Eckerd Connects’i seçti. Bu sözleşme, Eckerd’in dış ilişkiler direktörünün eyaletin Çocuk ve Aile Hizmetleri Departmanı’nda üst düzey bir göreve atanmasının hemen ardından verildi.

“Bir şirket, bir ailenin soruşturulup soruşturulmayacağına dair önerilerde bulunan bir araç tasarlıyor ve ardından, soruşturma altındaki ailelere hizmet sağlamak için çocuk refahı kurumu ile sözleşme yaparak para kazanıyor,” diyor Samant. Eckerd’in programı şu anda yedi farklı eyalette kullanılıyor olsa da, Illinois eyaleti, sistemin tespit edemediği istismar vakalarında birçok çocuğun yaşamını kaybetmesinin ardından 2017’de şirketle olan sözleşmesini sonlandırdı.

Stetson Üniversitesi Hukuk Fakültesi’nde profesör olan Robyn Powell, bu araçların dikkate aldığı bazı kriterlerin, normalde yasadışı olacak kararlarla sonuçlandığını söylüyor. Örneğin, özel eğitim alıp almadığı gibi değişkenler, kişinin engelli olup olmadığını belirlemeye yönelik ipuçları taşıyor. Daha fazla sağlık hizmeti almak ise genellikle daha yüksek bir risk puanına yol açıyor, bu da sağlık ihtiyaçları daha fazla olan engelli ebeveynleri haksız şekilde dezavantajlı duruma düşürüyor. Powell, “Bu tahmin sistemleri, engelliliği bir tür eleme kriteri olarak kullanıyor ve orantısız şekilde engelli bireyleri hedef alıyor. Oysa bu yasaya aykırı,” diye vurguluyor.

2023 yılında, Adalet Bakanlığı, engelli bireylere yönelik ayrımcılıkla ilgili çok sayıda sivil haklar şikâyetinin ardından Allegheny Aile Tarama Aracı hakkında bir soruşturma başlattı. (Powell ve meslektaşları ayrıca aracın ırksal önyargılar içerdiğini de tespit etti.) Geçtiğimiz baharda, federal Sağlık ve İnsani Hizmetler Bakanlığı, engelliliğe dayalı ayrımcılık yasağının “alıcıların algoritmalar, otomatik karar verme sistemleri ve yapay zekâ kullanımı yoluyla ayrımcılığa maruz kalmasını da kapsadığını” açıkça belirtti. Powell’a göre asıl sorun, mevcut yasaların uygulanmıyor olması.

Bu arada, bu araçlar herkesin mahremiyetini aşındırıyor. Kişisel verilerinizin bu tür algoritmalara dahil edilmesini engellemenin çoğu zaman bir yolu yok, diye açıklıyor Samant. Şu anda şirketlerin hastane ve tıbbi kayıtları tarayarak elde ettikleri bilgileri -örneğin Medicaid kullanan birinin terapiste gittiğini- potansiyel çocuk istismarcısı olarak işaretlemek için kullanmasını engelleyen herhangi bir düzenleme bulunmuyor.

Benzer şekilde, özel sektörde de kamuya ait veri tabanları, kiracıları değerlendirmek, mortgage faiz oranlarını belirlemek, işyerindeki performansı izlemek ve polis gözetimi yapmak için kullanılan yapay zekâ programlarını eğitmek amacıyla kullanılıyor.

De Liban bu tür tarama araçlarını araştırdıkça, karar alma süreçlerinin büyük bir kısmının görünmez olduğunu fark etti. Otomatik sistemlerin ne zaman kullanıldığını, hangi bilgileri topladığını veya hangi verilerden yararlandığını bilmek genellikle zor. “İnsanlar çoğu zaman yardımlarının neden reddedildiğinin farkında bile olmuyor,” diyor De Liban. “Bu aslında yapay zekânın bir kusuru değil, bir özelliği.” Dahası, her zaman etkili bir itiraz yolu da yok. Aile tarama aracı gibi algoritmalar, insanların değiştiremeyeceği kriterlere dayanıyor ve geçmişlerinden kaçış imkânı tanımıyor. Üstelik, çoğu zaman yaşayacak bir yer bulmak veya doktora gitmek için gerçek bir alternatif de bulunmuyor.

“Bu zararların bir insanın yaşamı boyunca nasıl kesişeceğini yeni yeni görmeye başlıyoruz,” diyor De Liban. “Bence insanlar, bu yapay zekâ sistemlerinin ne kadar yaygın olduğunu tam olarak kavrayamıyor.”

“Önemli bir gözetim aygıtı”

Hukuki zaferler her zaman bu gizli sistemlerin insan yaşamını yeniden şekillendirmesini engelleyemiyor. De Liban bunu 2016 yılında, tedirgin bir şekilde Arkansas Doğu Bölgesi Mahkemesi’ndeki kürsüye yaklaşırken öğrendi; saçları özenle taranmıştı. Bu, onun ilk federal davasıydı. Sonraki üç gün boyunca, Arkansas İnsan Hizmetleri Departmanı’nın evde bakım uygunluk algoritmasını kamu denetiminden sakladığını öne sürdü.

Hâkim, De Liban’la aynı fikirdeydi ve eyaletin, kararlarını açıklayana kadar algoritmayı kullanamayacağına hükmetti. Ancak kurum, algoritmanın yol açtığı zararları giderecek değişiklikler yapmayı reddetti. Bunun üzerine De Liban, ertesi yıl bir kez daha dava açtı ve ikinci kez kazandı; hâkim, Arkansas eyaletinin kamuoyunu yeterince bilgilendirmediğini bir kez daha vurguladı.

Ardından, 2019’da Arkansas, farklı bir algoritmaya dayanan yeni bir uygunluk sistemi devreye soktu -bu kez sistem, eyalet programına kayıtlı kişilerin yüzde 30’unun evde bakım almaya uygun olmadığını anında belirledi. Sürekli aynı döngüde sıkışıp kalmış gibi hissettiren bu durum, De Liban için artık fazlasıyla tanıdıktı. “Yoksul insanlar için doğru olanı yapmak hiçbir zaman sistemin çıkarlarıyla örtüşmüyor,” diye açıklıyor De Liban, hayal kırıklığı içinde.

Temel ihtiyaçlarını, örneğin banyoya gitmeyi bile zorlaştıran yardım kesintilerine maruz kalan üç kişi adına bir federal dava daha açtı. Bu durumda olan biri eyalete karşı dava kazansa bile, genellikle yaşadığı mağduriyet, kaybettiği para veya bakım için bir tazminat alamıyor. Bu da, “Eyaletin hatalarını düzeltmek için gerçek bir mali teşviki olmadığı” anlamına geliyor, diyor De Liban. Üstelik yasa dışı hareket eden devlet yetkilileri de çoğu zaman bireysel olarak sorumlu tutulamıyor.

Müvekkillerinin yeterli bilgilendirme hakkı olduğunu ve eyalet yetkililerinin bu politika değişikliğinde doğrudan rol oynadığını savunarak, De Liban bu korunaklı dokunulmazlığı aşmayı başardı. Sonunda, eyalet 2023 yılında müvekkilleriyle uzlaşmaya vardı.

Bu deneyim, onu daha kapsamlı düzenleyici çözümler üzerinde çalışmaya kararlı hâle getirdi. “Bireysel düzeyde yapabileceklerinizin bir sınırı var,” diyor. “Bir noktadan sonra, dönüştürücü hukuki ve politik çözümleri nasıl geliştireceğimizi gerçekten tartışmamız gerekiyor.”

De Liban şimdi teknoloji uzmanları, sivil haklar savunucuları ve yoksullukla mücadele eden eylemciler arasında bir koalisyon inşa ediyor. Nihai hedefi, “yapay zekâ tarafından göz ardı edilen insanlar ve topluluklar arasında uzun vadeli bir güç oluşturmak.” Bunun ilk adımı, yapay zekâdan kaç kişinin etkilendiğini niceliksel olarak ortaya koymaktı. Araştırmalar, ülke nüfusunun neredeyse üçte birinin yaşamının bir yönünün algoritmalar tarafından belirlendiğini ve bunun genellikle kritik bir kamu hizmetini etkilediğini gösteriyor.

Bu sayının daha da artması muhtemel. Başkan Joe Biden, 2021 yılında federal kurumların yapay zekâ kullanımına ilişkin yönergeler geliştirmesini öngören bir başkanlık kararnamesi yayımladı. Ancak Donald Trump, göreve gelir gelmez ilk gününde bu kararı iptal etti. Seçim kampanyası sırasında, bunun “yapay zekâ inovasyonunu engellediğini ve bu teknolojinin gelişimine radikal sol görüşleri dayattığını” öne sürmüştü.

De Liban, birçok uzman gibi, Biden’ın belirli otomasyon türlerini kapsam dışında bırakan başkanlık kararının zaten yeterince ileri gitmediğini söylüyor. “Federal kurumlar, bu seviyede bir denetimi üstlenmeye istekli olduklarını göstermedi,” diyor. Şimdi, İç Güvenlik Bakanlığı ve ABD Göçmenlik ve Gümrük Muhafaza Dairesi gibi devlet kurumlarının yapay zekâ kullanımını hızla genişleteceğini öngörüyor.

“Toplu sınır dışı edilmekten bahsediyorlar,” diyor De Liban ve bunun muhtemelen “insanları tespit etmek, izlemek ve işlemden geçirmek için önemli bir gözetim aygıtını” gerektireceğini belirtiyor.

Siber koridor gözetmenleri

Ülke genelindeki okullarda algoritmalar, geniş çaplı gözetimi mümkün kılarak çocukları büyürken izliyor ve tıpkı çocuk refahı araçlarında olduğu gibi, bu verileri onların geleceğine dair tahminler yapmak için kullanıyor.

2022 yılında Teksas, Uvalde’de bir ilkokulda meydana gelen silahlı saldırıda on dokuz öğrencinin yaşamını kaybetmesinden birkaç ay sonra, Atlanta Devlet Okulları bölgesi yöneticileri, gözetim şirketi Fusus ile bir sözleşme imzaladı. Şirket, yapay zekâ destekli görüntü tanıma teknolojisini kullanarak gerçek zamanlı bir suç izleme ağı oluşturan bulut tabanlı bir kamera platformu satıyor.

Çok yıllık bu sözleşmenin ilk yılında okul bölgesine maliyeti 125.000 dolar oldu. Atlanta genelindeki okul binalarına kameralar eklenirken, şirket aynı zamanda çalışanlar ve öğrenciler hakkında geniş kapsamlı verilere erişim kazandı. Bu veriler arasında eğitim kayıtları, adresler, telefon numaraları, e-postalar, disiplin cezaları, sınav sonuçları, evsizlik veya koruyucu aile bilgileri, çocuk ve yetişkin sabıka kayıtları, tıbbi kayıtlar, biyometrik veriler, engellilik durumu, sosyoekonomik bilgiler, yemek satın alma geçmişi, siyasi ve dini bilgiler, kısa mesajlar, internet arama geçmişi ve konum verileri bulunuyor.

Bu tür kişisel bilgilere erişim, birçok durumda normalde bir mahkeme izni gerektirirdi. Bu verilerin nasıl kullanılacağı belli değil, ancak şirketin bunları satma veya yeni yapay zekâ ürünlerini eğitmek için kullanma ihtimali bulunuyor.

Fusus, bu tür gözetimden kâr sağlayan birçok şirketten yalnızca biri -bazıları öğrencileri evdeyken bile izliyor. Georgetown Hukuk Merkezi Gizlilik ve Teknoloji Bölümü kıdemli avukatı Clarence Okoh, “Teknoloji satıcıları bu sistemleri okullara pazarlamak konusunda son derece agresif davrandı,” diyor. Örneğin, öğrencilerin çevrimiçi faaliyetlerini izleyen Gaggle adlı şirketin reklamları, çevrimiçi güvenlik politikaları olmayan okulların indirimli internet tarifelerinden mahrum kalabileceği konusunda uyarıyor. Okoh’a göre bu “tam anlamıyla bir kaosa” yol açtı.

2023 yılında yapılan bir anket, öğretmenlerin yüzde 38’inin okullarının hassas öğrenci verilerini kolluk kuvvetleriyle paylaştığını, yüzde 36’sının ise çocukların gelecekte suç işleyip işlemeyeceğini tahmin etmek için öngörüsel analiz kullandığını ortaya koydu.

Bu tür gözetimin en müdahaleci örneklerinden biri, Florida’nın Pasco bölgesinde görüldü. Şerif ofisi, hangi öğrencilerin gelecekte suç işleyebileceğini tahmin eden bir algoritma geliştirdi. Azınlık Raporu filminin senaryosunu andıran bu sistem, suç işleme riski yüksek öğrencileri belirlemek için bazı değişkenler kullandı. Çocuklar, istismara uğramışlarsa, bir suçun mağduru olmuşlarsa, ebeveynleri boşanmışsa ya da ailelerinden biri sabıka kaydına sahipse daha yüksek puan alıyordu. Başka bir deyişle, “bu sistem aile ilişkilerini suç unsuru hâline getiriyordu,” diyor Okoh.

Algoritma, 18.000’den fazla öğrenciyi içeren bir liste oluşturdu ve bunlardan bazıları “sürekli suç işleme potansiyeli olan kişiler” olarak işaretlenerek evlerinde özel denetimlere tabi tutuldu. Polis memurları, gece yarısı defalarca bu öğrencilerin evlerine giderek uzun otlar veya aşısız evcil hayvanlar gibi nedenlerle ceza kesti. Bu öngörüsel programı sona erdirmek için çalışan bir topluluk koalisyonunun üyesi olan Okoh, bir davada ortaya çıkan belgelerin, eski bir şerif yardımcısının asıl hedefin “yaşamlarını dayanılmaz hâle getirmek, ta ki taşınana ya da dava açana kadar” olduğunu söylediğini belirtiyor.

Bu sektörün büyük bir kısmı federal fonlarla destekleniyor. Örneğin, Pasco’nun öngörüsel programı, 2018 tarihli Okul Şiddetini Durdurma Yasası kapsamında verilen bir federal hibe ile finanse edildi. New Jersey’deki Newark Devlet Okulları, federal pandemi yardım fonları sayesinde bu eğitim-öğretim yılı sona ermeden yedi bin yapay zekâ destekli kamera kurmayı planlıyor. Okul bölgesiyle çalışan fiber optik şirketi, Amerikan Kurtarma Planı fonlarını kullanarak güvenliğe yönelik “önleyici yaklaşımını” açıkça pazarlıyor.

Yeni sistem, okul bölgesinde hâlihazırda kullanılan akıllı sensörlerle entegre olacak. Bu cihazlar genellikle tuvaletlere yerleştirilerek hava kalitesini izliyor ve elektronik sigara kullanımını önlemeyi amaçlıyor. Ancak daha az göze çarpan bir diğer unsur ise, New Jersey’deki okullara yerleştirilen mikrofonlardan veri toplayan algoritmalar. Bu algoritmalar, öğrencilerin konuşmalarını takip ederek agresif davranışları tespit etmek üzere tasarlandı ve bu tür vakalar tespit edildiğinde, kolluk kuvvetlerine otomatik uyarılar gönderiliyor.

Okoh, bu tür duygu tanıma teknolojilerinin bilimsel olarak kanıtlanmamış olduğunu belirterek, bunu ırkçı ve bilimsel temeli çürütülmüş frenoloji teorisine[2] benzetiyor. Yapay zekâ tahminleri, birçok durumda polislerin öğrencilerin evlerine gitmesine neden oldu ve Okoh bu durumu “negatif geri besleme döngüsü” olarak tanımlıyor.

2022 yılında, Massachusetts’ten Demokrat Senatörler Elizabeth Warren ve Ed Markey, öğrenci takip sistemlerini uygulayan şirketlerin, eğitim teknolojilerinin dezavantajlı gruplardan gelen öğrencileri orantısız bir şekilde hedef alıp almadığını belirlemek için hiçbir adım atmadığını ortaya koyan bir rapor yayımladı.

“Bu tam anlamıyla bir distopya,” diyor Okoh, özellikle de ders içeriklerinin giderek daha fazla bölücü ve siyasi hâle geldiği bir dönemde.

Sansür veya baskının daha da artması hiç de zor bir senaryo değil. Örneğin, İç Güvenlik Bakanlığı bir Yapay Zekâ Ofisi açıyor ve 2025 bütçesinden milyonlarca doları bu teknolojiye ayırmış durumda. Bakanlık hâlihazırda göçmenler için algoritmalar kullanarak puanlama yapıyor ve bu puanlar, insanların serbest bırakılıp bırakılmayacağına veya izlemeye tabi tutulup tutulmayacağına karar vermede kullanılıyor. “Bu altyapıyı bir kez inşa ettiğinizde, ihtimaller sınırsızdır,” diyor Okoh.

“Adil öfkenin bir aracı”

Yapay zekânın öğrencilerin okuduklarını düzenli olarak izlemeye başlamasından çok önce, De Liban dördüncü sınıftayken Malcolm X’in Otobiyografisi’ni okumaya başladı. Büyükleri, II. Dünya Savaşı’ndan sonra Avrupa’dan ABD’ye göç etmişti ve ona her zaman dezavantajlı olanlara karşı bir duyarlılık aşıladılar. “İnsanların adil bir şansa sahip olmasını önemserlerdi,” diyor.

Ancak üniversiteden mezun olup hukuk fakültelerine başvurmaya başladığında, De Liban, avukat olmak istemesinin gerçek nedenlerini içeren dürüst bir başvuru yazısı yazamadığını fark etti. Bunun yerine, babasının ani ölümünün ardından Washington, Bellingham’a taşındı ve burada evsizlik yaşayan insanlara yardım eden bir sosyal hizmet çalışanı olarak çalışmaya başladı. İşinin büyük bir kısmı, insanlara sosyal hizmetlere erişim sağlamalarına yardımcı olmaktı ve bu deneyim, onu sonunda bir hukuki yardım avukatı olmaya yönlendirdi.

Gördüğü davalar, algoritmik kararların insanların yaşamına nasıl zarar verdiğini çocukluktan emekliliğe kadar kesintisiz bir şekilde gözler önüne seriyor. Örneğin, Sosyal Güvenlik Kurumu, başka yardımlara hak kazanamayan engelli bireylere ek gelir sağlıyor. Ancak bu sürecin karmaşık uygunluk kuralları var ve kurum, insanların sıkı varlık sınırlarını aşmadığını doğrulamak için taşınmaz ve banka kayıtlarını inceleyen bir algoritma kullanmaya başladı. De Liban’ın müvekkilleri, bu bilgisayar sistemlerinin, aslında benzer isimlere sahip başka birine ait olan mülkleri yanlışlıkla onların üzerine kaydedip yardımlarını anında kestiklerini fark etti.

Bu sorunun çözülmesi ise oldukça zor, çünkü “bilgisayarın kendilerine ait olduğunu iddia ettiği bir mülkün aslında kendilerine ait olmadığını kanıtlamak zorundalar,” diye açıklıyor. Bir dava haftalarca sürdü ve bu süre boyunca müvekkili tahliye tehdidiyle karşı karşıya kaldı, hatta yeterince yiyecek bile bulamadı. De Liban sonunda müvekkilinin hak ettiği yardımı geri kazansa da Sosyal Güvenlik Kurumu sistemlerinde herhangi bir düzeltme yapmadı.

Yaşlılık yoksulluğuna odaklanan kâr amacı gütmeyen kuruluş Yaşlılar İçin Adalet ile tüketici haklarıyla ilgilenen Ulusal Tüketici Hukuku Merkezi tarafından 2021 yılında yayımlanan bir rapor, Sosyal Güvenlik Kurumu’nun veri analitiği şirketi LexisNexis tarafından tasarlanan özel bir veri tabanını kullanmaya başlamasının ardından bu tür karışıklıkların ülke genelinde yaygın hâle geldiğini ortaya koydu. Rapora göre, şirket Adil Kredi Raporlama Yasası’nı -tüketicilere yanlış bilgileri itiraz etme hakkı tanıyan federal yasa- aşmaya çalışıyor gibi görünüyor. Bunu yapmak için, web sitesine eklediği bir feragatnameyle, sunduğu verilerin “tüketici raporu” olmadığını iddia ediyor.

Ancak Tüketici Finansal Koruma Bürosundan bir yetkiliye göre, LexisNexis gibi şirketlerin bu tür kararların nasıl alındığını, özellikle de bir algoritmanın neden belirli bir sonuca vardığını açıklaması gerekiyor. Kurum politikaları gereği isminin açıklanmasını istemeyen yetkili, 6 Kasım’da yaptığı açıklamada, “Bu konuda bir istisna yok,” dedi. “Adil Kredi Raporlama Yasası, firmaların hangi teknolojiyi kullandığından bağımsız olarak geçerlidir.”

Joe Biden döneminde, tüketici koruma kurumu, yapay zekâ ve veri bilimi alanında uzmanlaşmış kişileri hukuki yaptırım ekibine dahil etti. Bunun yanı sıra, Adalet Bakanlığı da işverenlere yönelik bir yönerge yayımlayarak, mevcut ayrımcılık yasalarının yapay zekânın kiracı tarama, konut ilanları, işe alım süreçleri ve hasta bakım kararlarında kullanımına da uygulandığını hatırlattı.

Ancak şimdi, bu çabalar boşa çıkabilir.

1 Şubat’ta Trump, Tüketici Finansal Koruma Bürosu başkanını görevden aldı ve yetkililer hızla kurum çalışanlarına çalışmalarını durdurma talimatı verdi. Trump, yerine geçmesi için, büyük banka birleşmelerine onay vermesiyle tanınan eski bir düzenleyici olan Jonathan McKernan’ı aday gösterdi. Bu sırada, Tüketici Finansal Koruma Bürosu’ndan sorumlu Senato komitesinin başkanı Cumhuriyetçi Senatör Tim Scott, yapay zekâ yatırımlarını hızlandıran kripto para ve finans teknolojisi endüstrisi tarafından destekleniyor.

De Liban, tam da bu politika değişiklikleri nedeniyle mücadele edebilmek için ortaklıklar kurmanın ve gerekli araçları geliştirmenin -kişisel bir bedeli olsa bile- her zamankinden daha önemli olduğunu söylüyor.

Kendi hakkında konuşmayı pek sevmez, ancak yıllarca süren savunuculuk çalışmaları De Liban’ı kişisel yaşamından büyük ölçüde uzak tuttu. “Geriye pek fazla enerji ya da duygu kalmıyordu,”' diyor. Ancak 2017’de, Medicaid kesintileriyle mücadele eden insanlara yardım ederken, Ulusal Sağlık Hukuku Programında benzer konular üzerinde çalışan bir kadınla tanıştı.

Pandemi sırasında evlendiler ve şimdi küçük bir oğulları var. Ebeveynlik, yaptığı işi onun için daha ağır ve daha acil hâle getirdi. “Yaptığım şey, en azından küçük de olsa, onun nasıl bir dünyada büyüyeceğini etkiliyor,” diyor. Hem istediği gibi bir baba ve eş olabilmek hem de oğlunun büyüyeceği dünyayı daha iyi hâle getirmek için durmaksızın çalışmak arasında denge kurmak zor.

Bu gerginlikten kendi şarkılarını yazarak kurtuluyor; hem hip-hop müziğini hem de hukuk mücadelesini ortak bir mesaj etrafında şekillendirdiğini düşünüyor. “Adil öfkenin bir aracıyım, gölgelerle güreşir, endişeyle savaşırım. Gerçeği öyle net görürüm ki hafifçe bulanıktır,” diye rap yapıyor. “Sonuna kadar zorlayacağım, önce o beni kırana kadar.”

İster bir çocuk yetiştirmek ister insanlara adil davranan bir dünya tasavvur etmek olsun, yaratma eylemi için gereken hayal gücü, onun adalet anlayışını daha doğrudan ve derinden hissedilir bir şeye dönüştürdü.

Müvekkilleri ona hammaddeyi sağlıyor, diyor. “Cesaretlerini getiriyorlar: Bu adil değil, değişmesini istiyorum diyorlar.” Çoğu zaman ise görmezden geliniyorlar.

Birlik olup mücadele etmek ve insanları dikkat kesilmeye zorlamak bazen işleri yoluna koyabiliyor. Ancak kaybettiklerinde bile, De Liban’a göre adaletin bir unsuru, “ilk kez birinin sizi gerçekten duyduğunu hissetmektir.” Bu, bir algoritmanın asla yapamayacağı bir şey.

Dipnotlar:

[1] Medicaid, düşük gelirli bireyler ve aileler için ABD hükümetinin sağladığı bir sağlık sigortası programıdır (ç.n.).

[2] Frenoloji, 19. yüzyılda geliştirilen ve kafatası şeklinin bir kişinin karakterini ve zekâsını belirlediğini öne süren, ancak bilimsel olarak çürütülmüş bir teoridir. Modern nörobilim, beynin işlevlerinin kafatası şekliyle ilişkili olmadığını göstermiş, frenolojinin ise tarih boyunca ırkçılık ve ayrımcılık için kullanıldığı ortaya çıkmıştır (ç.n.).

(DS/VC)