Tarihsel eşitsizlikler, çeşitlilik eksikliği, çevrimiçi veri kaynakları ve veri etiketlemedeki öznellikten kaynaklanan eğitim verilerindeki önyargılar, eşitlikçi YZ sistemlerinin geliştirilmesinde önemli zorluklar çıkarıyor.
Yapay Zekada (YZ) önyargı, YZ odaklı karar alma süreçlerinde belirli grupları veya bireyleri orantısız bir şekilde etkileyen sistematik hataları veya adil olmayan sonuçları ifade eder. YZ’de önyargı eğitim, istihdam, ceza adaleti, finans, barınma ve sağlık hizmetleri gibi bir dizi alanda ortaya çıkar ve özellikle azınlıklar ve kadınlar üzerinde olumsuz etkiler yaratır. Bu yaygın önyargı, sadece mevcut toplumsal eşitsizlikleri pekiştirmekle kalmaz, aynı zamanda bu temel sektörlerde eşitlik ve kapsayıcılığın sağlanmasında yeni zorluklar yaratır.
Bu yazıda, YZ’deki önyargının ortaya çıkmasına neden olan başlıca süreçleri tartışacağım: eğitim verilerinde ve YZ algoritmalarında önyargı…
Eğitim verilerinde önyargı: Bu durum, YZ sistemlerini eğitmek için kullanılan veri kümeleri içsel önyargılar veya stereotipler içerdiğinde ortaya çıkar ve bu sistemlerin bu tür önyargıları öğrenmesine ve sürdürmesine yol açar. Eğitim verilerindeki önyargı genellikle YZ’de çeşitli nedenlerle ortaya çıkan en yaygın ve önemli önyargı kaynağı kabul edilir:
- Tarihsel verilerde önyargı: Geçmiş veriler temelinde eğitilen YZ sistemleri, geçmişin önyargılarını ve eşitsizliklerini yansıtabilir. Bunun açık bir örneği, Amazon’un on yıl boyunca topladığı özgeçmişler üzerinden eğitilen YZ işe alım aracıdır[i]. Teknoloji sektörünün erkek egemen yapısı nedeniyle, veri kümesi erkeklere doğru meylediyordu, bu da yapay zekanın erkek adayları tercih etmesine ve “kadın” gibi terimler içeren veya kadın kolejlerinden gelen özgeçmişleri elemesine neden oldu. Amazon tartışmaların ardından bu aracı kullanmayı bıraktı. Ayrıca, Bolukbasi ve diğerleri[ii] tarafından yapılan bir çalışmada, NLP’de kullanılan kelime katıştırmalarının (kelimelerin matematiksel temsili) toplumsal cinsiyet önyargıları sergilediği belirlendi. Bu katıştırmalar kadınları sanatla, erkekleri ise bilimle ilişkilendirme eğilimi gösteriyordu ve bu da eğitim verilerinde mevcut toplumsal cinsiyet stereotiplerini yansıtıyordu.
- Verilerde çeşitlilik eksikliği: Veri kümeleri genellikle ya verilerde temsil edilen kişiler ya da kapsadıkları durumlar ve bağlamlar açısından çeşitlilikten yoksundur. Bu çeşitlilik eksikliği yapay zekanın anlayışını çarpıtabilir ve önyargılı sonuçlara varmasına yol açabilir. Örneğin, yüz tanıma teknolojisi sıklıkla beyazların görüntülerinden oluşan veri kümeleri kullanılarak geliştirilmiştir ve bu da beyaz olmayan insanlar arasında daha yüksek yanlış tanıma oranlarına yol açar. Buolamwini ve Gebru[iii] tarafından yapılan bir MIT çalışması, bu tür yazılımların beyaz olmayan kadınlar için daha yüksek hata oranlarına sahip olduğunu göstererek bu sorunu vurgulamıştır.
- Önyargıya yol açan çevrimiçi veri kaynakları: YZ, özellikle de NLP modelleri, genellikle önyargılı veya stereotip bilgiler içerebilen internet kaynaklı verileri kullanır. Kötü şöhretli bir örnek, Twitter’daki etkileşimlerden öğrendikten sonra saldırgan bir dille tweet atmaya başlayan ve böylece internetteki eğitim verilerinde bulunan önyargılı dili yansıtan Microsoft’un yapay zeka sohbet robotu Tay’dir[iv].
- Veri etiketlemede öznellik: Yapay zeka modellerinin eğitimi için gerekli olan verilerin etiketlenme süreci, ilgili kişilerin önyargılarına açık olabilir. İnsan moderatörlerin kişisel önyargıları ve yorumları, hangi içeriğin uygunsuz olduğuna dair kararlarını şekillendirebilir. Clare Southerton ve arkadaşları tarafından yürütülen araştırmanın[v] gösterdiği gibi LGBTQ topluluğuyla ilişkili içeriklerin YouTube’da orantısız bir şekilde kötü gösterilmesi ya da kısıtlanması bu duruma bariz bir örnek teşkil eder.
Algoritmik önyargı: YZ’deki bu önyargı türü doğrudan eğitim verileriyle ilgili değildir, ancak modelin tasarımından veya algoritmalarına gömülü varsayımlardan kaynaklanabilir. Algoritmik önyargının gerçek dünyadaki bir örneği Apple Kart’ın kredi limiti tartışmasıdır[vi].
2019 yılında, Goldman Sachs tarafından verilen Apple Kart’ın, benzer kredi puanına sahip olmalarına rağmen kadınlara erkeklerden daha düşük kredi limitleri verdiği iddia edildi. Bu sorun, aralarında yüksek profilli bir teknoloji girişimcisinin de bulunduğu çok sayıda müşterinin, eşlerinin daha iyi kredi puanları veya ortak hesapları olsa bile, Apple Kartlarında kendilerine kıyasla önemli ölçüde daha düşük kredi limitleri aldıklarını fark etmeleriyle ortaya çıktı.
Algoritmanın belirli faktörleri istemeden de olsa kadınları dezavantajlı konuma düşürecek şekilde tartmış olabileceği öne sürüldü. Kredi limitlerinin belirlenmesine yönelik algoritmik karar verme süreci, doğası gereği önyargılı olmayan ancak uygulandığında önyargılı sonuçlara yol açan değişkenler ve korelasyonlar içermiş olabilir. Bu durum, algoritmanın kredi limiti kararlarında cinsiyet önyargısını yansıtıp yansıtmadığını belirlemek üzere New York Finansal Hizmetler Departmanı tarafından bir soruşturma başlatılmasına neden oldu.
Tarihsel eşitsizlikler, çeşitlilik eksikliği, çevrimiçi veri kaynakları ve veri etiketlemedeki öznellikten kaynaklanan eğitim verilerindeki önyargılar, eşitlikçi YZ sistemlerinin geliştirilmesinde önemli zorluklar çıkarıyor. Bu önyargılar sadece eğitim verileriyle sınırlı kalmayıp Apple Kart kredi limiti tartışması gibi vakalarda görüldüğü üzere, yerleşik varsayımların ve karar verme süreçlerinin istemeden ayrımcılığı sürdürebildiği algoritmik tasarım alanına da uzanıyor.
Bu önyargıların ele alınması, daha çeşitli ve kapsayıcı veri toplama, önyargı için sürekli izleme ve etik YZ kılavuzlarının geliştirilmesini içeren kapsamlı bir yaklaşım gerektirir. YZ geliştiricileri, politika yapıcılar ve kullanıcılar da dahil olmak üzere paydaşlar, YZ sistemlerinin adil, şeffaf ve hesap verebilir olmasını sağlamak için işbirliği yapmalıdır. Bu sadece etik standartları korumak için değil, aynı zamanda YZ teknolojilerine kamu güveni oluşturmak için de çok önemlidir. YZ toplumun çeşitli sektörlerine entegre olmaya devam ettikçe, önyargıyı azaltmaya yönelik proaktif önlemler, teknolojinin eşitliği ve sosyal adaleti engellemek yerine geliştirdiği bir geleceği şekillendirmede hayati önem taşıyacaktır.
Çeviren: İpek Tabur
[i] Amazon’s AI Recruiting Tool: “Amazon scraps secret AI recruiting tool that showed bias against women,” Reuters, 2018 [Bağlantı: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G ].
[ii] Kelime katıştırmaları üzerine bir çalışma: Bolukbasi, Tolga ve diğerleri. “Man is to computer programmer as woman is to homemaker? Debiasing word embeddings”. Advances in neural information processing systems 29 (2016) [Bağlantı: http://papers.nips.cc/paper/6228-man-is-to-computer-programmer-as-woman-is-to-homemaker-debiasing-word-embeddings.pdf ].
[iii] Yüz tanıma teknolojileri üzerine. MIT’de yapılmış bir çalışma: Joy Buolamwini and Timnit Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, Proceedings of Machine Learning Research, 2018 [Bağlantı: http://proceedings.mlr.press/v81/buolamwini18a.html].
[iv] Microsoft’s AI Twitter Bot goes dark after racist, sexist tweets [Bağlantı: https://www.reuters.com/article/idUSKCN0WQ2M7/ ].
[v] Clare Southerton ve diğerleri. “Restricted modes: Social media, content classification and LGBTQ sexual citizenship” [Bağlantı: https://journals.sagepub.com/doi/10.1177/1461444820904362 ].
[vi] Apple Kart Kredi Limiti Tartışması: “Apple Card Investigated After Gender Discrimination Complaints”, The New York Times, 2019 [Bağlantı: https://www.nytimes.com/2019/11/10/business/Apple-credit-card-investigation.html ].
