Algoritmikus igazságosság keresése a rendőrségi mesterséges intelligencia területén

Algoritmikus igazságosság keresése a rendőrségi mesterséges intelligencia területén

A közelmúltbeli Black Lives Matter tiltakozások nemzeti újragondolást indítottak arra vonatkozóan, hogy miként kell működnie a rendőrségnek Amerikában. A gyakorlatok frissítése folyamatban van, bizonyos taktikák, mint például a fojtás, be vannak tiltva , és néhány városban még folyamatban van a folyamat felszámolják rendõrségeiket .

De e tiltakozások ereje és üzenete meglepő nyilatkozatokhoz vezetett a nagy technológiai cégektől, amelyek mesterséges intelligencia- és arcfelismerő programokat szerződtek rendőri szervekkel és kormányzati szervekkel.



Deborah Raji. Deborah Raji jóvoltából

A múlt héten az IBM bejelentette, hogy a továbbiakban nem fejlesztenek arcfelismerő technológiát, és vezérigazgatójuk, Arvind Krishna elítélte az arcfelismerő szoftverek használatát a faji profilalkotásban és a tömeges megfigyelésben. Az Amazon és a Microsoft közölte, hogy legalább egy időre leállítják arcfelismerő termékeik rendőrségi értékesítését.

De az ezekbe a profilalkotási rendszerekbe beágyazott torzítások évtizedek óta fennállnak. Ruha Benjamin mesterséges intelligenciakutatók, a Princetoni Egyetem afroamerikai tanulmányok docense és Deborah Raji, a New York-i Egyetem AI Now Institute technológiai munkatársa túlságosan jól ismerik a mai mesterséges intelligencia hibáit. Az arcfelismerés „különböző módon az amerikai élet szövetének része” – mondja Raji. „Úgy gondolom, hogy sokan nincsenek tisztában azzal, hogy milyen léptékben alkalmazzák.”

Magánvállalatok, iskolák, több szövetségi osztály és rendőrkapitányság országszerte az arcfelismerést alapvető eszközzé teszik. Ha egy cégnél vagy a kormánynál van az arcod, az lényegében olyan, mintha az ujjlenyomatod lenne, mondja Raji. De „nem töltünk fel képeket az ujjlenyomatainkról az internetre” – mondja. 'Nagyon óvatosak vagyunk ezekkel az adatokkal, és ugyanolyan óvatosnak kell lennünk az arcadatokkal kapcsolatban is.'

Sok kutató nem támogatja a technológia mindenütt elterjedt használatát, különösen olyan körülmények között, ahol egy hatósági személyiség csekély felügyelet mellett felhasználhatja azt, hogy drámai módon megváltoztassa a fekete és barna emberek életét.

Tawana Petty. Köszönet: Detroit Community Technology Project

Ezeket a hibás arcfelismerő rendszereket évek óta használják. Petty gyerek , a Data Justice Program igazgatója a Detroit közösségi technológiai projekt és tagja a Detroit Digital Justice Coalition , visszaszorítja a társadalomnak a megfigyelés, a biztonság és a biztonság közötti összemosását. „Ezek a technológiák nem tesznek minket biztonságba” – mondja –, különösen egy túlnyomórészt fekete lakta városban, ahol a technológia bebizonyította, hogy a téves azonosítás és a prediktív rendfenntartás révén igazságtalanul ártatlan embereket céloz meg.

2016-ban a detroiti rendőrség elindította a Project Green Light nevű, vitatott programot, ahol a helyi vállalkozások fizethetnének a városnak nagyfelbontású kamerák telepítéséért a kapcsolódó zöld fénnyel, amely folyamatosan villogott.

Petty „a város denevérbarlangjaként” írja le Detroit bűnügyi központját, amely az élő kamerafelvételeket kapja. 'Belépsz, és ott vannak ezek a hatalmas képernyők, amelyek a város különböző aspektusait látják.'

A videoképek állóképeire kereszthivatkozás van 50 millió Michigan állambeli jogosítvány fotója, poggyászfelvétele és a közösségi médiából származó képek . „Az arcfelismerést arra használják, hogy végiglapozzuk ezeket a képeket, és megpróbáljunk egyezést találni” – mondta Petty, aki társszerzője a program gyakorlatáról szóló jelentésnek . A bűnözés visszaszorítását célzó rendszer megvolt egyes embereknél az ellenkező hatást , mint Petty.

„Vannak benne emberi elfogultságok, emberi hibák. Sok ember van, aki hasonlóan néz ki” – mondja. 'A technológia nagyon pontatlan a sötétebb bőrtónusokon, különösen a nők és a gyermekek esetében.'

Az arcfelismerés köztudottan rossz a fekete és barna arcok azonosításában. A Nemzeti Szabványügyi és Technológiai Intézet szövetségi tanulmánya megállapította arcfelismerés hamisan azonosította a fekete és ázsiai arcokat, akár 100-szor többször, mint a fehér arcokat . 2019-ben az UCLA adminisztrátorai egy, az Amazon által kifejlesztett arcfelismerő rendszer telepítését javasolták annak azonosítására, hogy valaki az egyetemre érkező hallgató, oktató vagy alkalmazott-e.

Ruha Benjamin. hitel: Cyndi Shattuck

Diákfelháborodás után digitális jogok nonprofit szervezet Küzdelem a Jövőért betöltötte a diáksportolók és a UCLA oktatói fotóit az Amazon mesterséges intelligencia-arcfelismerő rendszerébe, a Rekognitionba, és kereszthivatkozást adott rájuk egy mugshot adatbázisra. 400 képből , „58 hamis pozitív találattal tért vissza, amelyek nagyrészt színes bőrűek voltak” – mondja Benjamin. 'Tehát el tudja képzelni, hogy egy fekete diák sétál át az egyetemen, hamisan betolakodóként megjelölve, és hívják a rendőrséget.' 2018-ban pedig az American Civil Liberties Union A Rekognition programot futtatta a Kongresszus tagjairól készült képeken, és összehasonlította őket egy mugshots adatbázissal —28 találat volt hibás.

A színes emberek közötti helytelen egyezés a fehér férfiarcokat előnyben részesítő adatkészletek túlzott használatának eredménye. Rajinak volt közvetlen tapasztalata ezzel a problémával, amikor egy alkalmazott gépi tanulási csapatban dolgozott. „Észrevettem, hogy sok adathalmaz, amellyel dolgoznom kellett, nem tartalmazott senkit, aki úgy nézett ki, mint én” – mondja. 'Nem volt sok sötétebb bőrű ember, de még nő sem.' Miután csapata megvizsgálta a rendszerüket és az arcfelismerő eszközöket, amelyeket az Amazon aktívan értékesített az ICE-nek és a rendőrségnek, azt találták, hogy a rendszerek pontossága 20-30%-kal rosszabb a sötétebb női arcokon, mint a világosabb férfiarcokon. olyan eredmény, amely az MIT Media Lab eredményét tükrözte Gender Shades projekt , Joy Buolamwini vezetésével. Amikor Raji szembesítette volt menedzserével a problémát, nem osztotta az aggodalmát.

„Azt mondta, ez így van. Olyan nehéz egyáltalán adatokat gyűjteni.' Azt tanácsolták neki, hogy hagyja figyelmen kívül a problémát, „mert túl nehéz volt”. Az elmúlt években megváltozott a területen kialakult rendszerszemléletű attitűd, és egyre nagyobb az érdeklődés a reprezentatívabb adatkészletek létrehozása iránt.

A kirívó pontatlanságok és elfogultságok, valamint a rendőrség és a fekete közösségek történelmileg megterhelő kapcsolata szünetet ad Pettynek. Azt mondja, hogy a rendőri osztályok rossz megközelítést alkalmaznak a bűnmegelőzés terén: „Ezek a lakosok azt akarják, hogy lássák, és ne figyeljék őket. Ha a lakókat úgy fektetik be, hogy teljesen embernek tekintik őket, csökkenthetjük a bűnözést.”

Olyan lehetséges befektetésekre mutat rá, amelyekről bebizonyosodott, hogy csökkentik a bűnözést, mint pl több világítás kiépítése a környéken , több szabadidős teret biztosítva , megfelelő állami iskolai infrastruktúra, és mentális egészség támogatása . „Csak úgy gondolom, hogy a [Project Green Light] egy nagy hazárdjáték a lakosok életének megszerzésére, különösen akkor, amikor még a technológiát megújító vállalatok is kihátrálnak.”

A nagy technológiai vállalatok, amelyek a közelmúltban moratóriumot rendeltek el ezekre a technológiákra, egyre nagyobb vitát váltottak ki a szélesebb körű használatáról. Egyesek szerint nem elég egyszerűen egy változatosabb adatkészletet felvenni, hanem a társadalomnak meg kell fontolnia az arcfelismerés használatának teljes betiltását.

„Már tudjuk, hogy sok probléma van ezzel a technológiával” – mondja Raji. „Miért használjuk még mindig? Legalább szüneteltetnünk kellene a használatát, amíg ezt az árnyaltabb beszélgetést folytatjuk.” Benjamin hozzátette: „Nem egyszerűen e rendszerek tudományos érdemeit kérdőjelezzük meg, hanem etikai és politikai érdemeiket is.”

„Mélyen gyökerező rendszerszintű hatáson gondolkodunk, amely szomszédságról szomszédságra terjed” – mondja Petty. „Az emberek szívének és elméjének átalakítása, ahogyan az emberek látják egymást, egy kis időt vesz igénybe. Ez nem egyik napról a másikra történt velünk. Nem egyik napról a másikra oldódik meg. De bízom benne, hogy ez az én életemben megtörténhet.”