SUSTAV umjetne inteligencije osmišljen da predviđa nasilje s hladnim i vatrenim oružje u Velikoj Britaniji prije nego što se dogodi ima ozbiljne propuste zbog kojih je neupotrebljiv, priznala je lokalna policija. Pogreška je dovela do velikih odstupanja u preciznosti pa su sustav naposljetku odbacili svi stručnjaci koji su ga recenzirali zbog etičkih problema. Sustav predviđanja, poznat kao Most Serious Violence (MSV), dio je projekta National Data Analytics Solutiona (NDAS) u Velikoj Britaniji. Ministarstvo unutarnjih poslova uložilo je u NDAS najmanje 10 milijuna funti u posljednje dvije godine, s ciljem da stvori sustav strojnog učenja koji bi se mogao koristiti širom Engleske i Walesa, piše Wired.

Kao rezultat neuspjeha MSV-a policija je prestala razvijati sustav predviđanja u njegovom sadašnjem obliku. Nikad nije korišten za policijske operacije i nije uspio doći do faze u kojoj bi ga bilo moguće koristiti. Međutim, postoje pitanja oko potencijala alata za prepoznavanje nasilja koji bi mogli biti pristrani prema manjinskim skupinama i oko toga hoće li ikad biti koristan za policijski posao.

Pogreška u kodiranju

MSV je osmišljen kako bi predvidio hoće li ljudi u sljedeće dvije godine počiniti svoje prvo nasilno kazneno djelo pištoljem ili nožem. Ljudi koji su već dolazili u kontakt s dvije policijske postrojbe uključene u razvijanje alata, policije u West Midlandsu i West Yorkshireu, dobili su ocjene rizika. Što je ocjena bila viša, veća je bila vjerojatnost za počinjenje nekog kaznenog djela. Povijesni podaci o 2,4 milijuna ljudi iz West Midlandsa i oko 1,1 milijunu iz West Yorkshirea korišteni su u razvoju ovog sustava, a podaci su izvučeni iz evidencija o kaznenim djelima, pritvoru, obavještajnim izvješćima te iz računalne baze podataka nacionalne policije. No, kako je NDAS počeo operacionalizirati sustav početkom godine, pojavili su se problemi. Dokumenti koje je objavio Etički odbor policije West Midlandsa, koji je bio nadležan za nadzor rada NDAS-a, kao i za tehnički razvoj, otkrivaju da je sustav sadržavao pogrešku u kodiranju koja ga je učinila nesposobnim precizno predvidjeti nasilje.

"Pogreška u kodiranju pronađena je u definiciji skupa podataka za treniranje, što je trenutačno korištenje MSV-a učinilo nemogućim", rečeno je na sastanku o NDAS-u u ožujku. Glasnogovornik NDAS-a rekao je da je pogreška bila u unosu podataka i da je otkrivena tijekom razvoja. Detaljnije informacije o problemu nisu bile dostupne.

"Na temelju dostupnih podataka pokazalo se nemogućim s bilo kakvom preciznošću identificirati trenutak intervencije prije nego što osoba počini svoj prvi MSV prijestup pištoljem ili nožem", stoji u dokumentima sa sastanka o NDAS-u. Prije nego što je pogreška otkrivena, NDAS je tvrdio da je sustav precizan do 75 posto. Od 100 ljudi za koje se vjerovalo da imaju veliki rizik od počinjenja ozbiljnih nasilnih djela pištoljem ili nožem u West Midlandsu, za 54 se predviđalo da će neko od zlodjela i učiniti, dok je u West Yorkshireu takva procjena postojala za 74 osobe. "Danas znamo da je stvarna preciznost bila znatno niža", objavio je NDAS u srpnju.

"Rijetke događaje mnogo je teže predvidjeti nego uobičajene događaje. Iako znamo da alati za rizik ne djeluju isto u različitim jurisdikcijama, nisam vidjela tako veliku razliku, posebice ako se radi o istoj zemlji", kaže za Wired Melissa Hamilton, stručnjakinja za kazneno pravo sa Sveučilišta u Surreyju, koja se posvetila policijskom korištenju alata za procjenu rizika. Dodala je i da se početna procjena doimala previsokom, sudeći prema drugim sustavima koje je vidjela.

Kao rezultat pogreške, NDAS je promijenio sustav predviđanja nasilja i rezultati su pokazali značajan pad točnosti. Za nasilje vatrenim ili hladnim oružjem točnost je pala na 14 do 19 posto u policiji West Midlandsa i devet do 18 posto u West Yorkshireu. Stope su ostale slične bez obzira na to je li osoba već počinila ozbiljno nasilje ili joj je to prvi prijestup. NDAS je otkrio da je prepravljeni sustav najprecizniji kad su uklonjeni svi inicijalni kriteriji izvorno definirani za sustav: prvi slučaj prijestupa, vrsta oružja i korištenje oružja.

Predviđanja koja su pristrana

Ukratko, originalna izvedba sustava bila je precijenjena. U najboljem slučaju, ograničeni sustav mogao bi biti točan u 25 do 38 posto situacija u West Midlandsu i 36 do 51 posto u West Yorkshireu. Policijski prijedlog da se sustav ipak stavi u funkciju jednoglasno je odbijen. "Nema dovoljno informacija o tome kako ovaj model poboljšava trenutačnu situaciji s donošenjem odluka u prevenciji ozbiljnog nasilja kod mladih", zaključio je Etički odbor u srpnju i odbio prijedlog da se sustav nastavi razvijati.

Odbor, inače skupina dobrovoljaca koja se sastoji od stručnjaka u raznim područjima, naglašava da nije shvatio zašto su revidirane stope dovoljne i izražava zabrinutost oko toga kako će sustav predviđanja koristiti. "Odbor je više puta izrazio zabrinutost oko nedovoljne jasnoće i stoga predlaže da se program prekine u ovakvom obliku", naglasio je Etički odbor. Članovi odbora koje je Wired kontaktirao rekli su da nisu ovlašteni govoriti o svome radu.

Šef projekta NDAS-a Nick Dale kaže da se oni koji stoje iza projekta "slažu da se model ne može nastaviti u trenutačnoj formi" te ističe da je i do sada bio eksperimentalan: "Ne možemo sa sigurnošću reći kako će izgledati konačni model, ako zaista uspijemo stvoriti odgovarajući model. Cijeli naš rad bit će pod nadzorom Etičkog odbora i njihova razmatranja bit će objavljena."

No, više osoba koje su pregledale objavljene zapisnike NDAS-ovih sastanaka i pratile nadzor sustava za predviđanje nasilja kaže da je pitanje točnosti samo jedno zabrinjavajuće područje. Oni ističu da će vrste podataka koje se koriste proizvesti predviđanja koja su pristrana, a zabrinuti su i zbog normalizacije prediktivnih policijskih tehnologija te navode nedostatak dokaza učinkovitosti takvog alata.

"Suštinski problem s programom nadilazi pitanje preciznosti. Bazirati argumente na nepreciznosti je problematično zato što se tehnološki nedostaci s vremenom mogu riješiti. Čak i ako je algoritam postavljen tako da bude 100 posto točan, u ovom sustavu i dalje će biti pristranosti", rekao je za Wired Nuno Guerreiro de Sousa, tehnolog Privacy Internationala. Sustav predviđanja nasilja prepoznao je više od 20 indikatora za koje se vjerovalo da su korisni u procjenama rizičnog ponašanja osobe.

Nejednaki ishodi

Među njima su dob, razdoblje od njihova prvog prijestupa, ozbiljnost prijestupa, povezanost s drugim ljudima iz baze podataka te maksimalni broj spominjanja noža u obavještajnim izvješćima o njima. Lokacija i etnička pripadnost nisu korištene. Mnogi od spomenutih faktora posloženi su tako da daju prevagu novijim podacima. "Postoji mnogo kategorija za koje je dokazano da su u drugim područjima analize podataka u kaznenopravnom sustavu dovele do nejednakih ishoda. Kad koristimo dob, to često iskrivljuje većinu predviđanja ili ishoda u sustavu u kojem je vjerojatnije da ćemo uključiti skupinu mlađih ljudi, iako je dob samo jedan o indikatora", rekla je Rashida Richardson s Pravnog fakulteta Rutger, koja se bavi podatkovnim problemima u prediktivnom postupanju policije.

Ona objašnjava da su faktori kriminalne prošlosti često pristrani sami po sebi, što znači da će svaki algoritam koji se obučava na temelju njih sadržavati iste probleme ako se u rješavanje toga ne uključi čovjek. "Nadziremo pristranost i ne želimo pokušati primijeniti model koji uključuje pristranost. Želimo osigurati da intervencije na temelju ovakvih modela budu pozitivne, usmjerene na smanjivanje kriminaliteta i poboljšanje životnih izgleda, a ne prinudne ili kaznenopravne ishode", kaže Dale, voditelj NDAS-ova projekta, te nastavlja: "Glavna vrijednost MSV-a je u testiranju onoga što je moguće u razvoju ovakvih tehnika policijskog postupanja.

Pritom je neizbježno da isprobamo stvari iz bilo kojeg razloga, ali uvjereni smo da je kroz napredak moguće razviti tehnike podatkovne znanosti koje će dovesti do učinkovitog rada i boljih rezultata za sve naše zajednice". Trenutačno mišljenje NDAS-a je da se alat za predviđanje nasilja može koristiti za poboljšanje postojećih procesa odlučivanja koje koriste policijski službenici kad istražuju osobe koje će vjerojatno počiniti ozbiljno nasilje.

"Usađeni rasizam"

Alat predviđanja nasilja samo je jedan na kojem NDAS radi. Koristi se također strojno učenje kako bi se otkrilo moderno ropstvo, kretanje vatrenog oružja te vrste organiziranog kriminala. Cressida Dick, ravnateljica londonske policije, rekla je da bi policija trebala koristiti "pojačanu inteligenciju", odnosno ne bi se potpuno trebala oslanjati na umjetnu inteligenciju. Međutim, pitanje pristranosti i potencijalnog rasizma unutar umjetne inteligencije u donošenju odluka nije ništa novo.

Upravo ovog tjedna Ministarstvo unutarnjih poslova ukinulo je svoj sustav o odlučivanju o vizama, koji je koristio nacionalnost osobe kao jednu od informacija na temelju koje se odlučuje o imigracijskom statusu, a nakon tvrdnji da sustav sadrži "usađeni rasizam", piše Wired.Prošlog mjeseca, usred globalnih protesta Black Lives Matter, više od 1400 matematičara potpisalo je otvoreno pismo u kojem stoji da bi trebalo prestati raditi na razvoju algoritama za prediktivne policijske postupke. "Pogledamo li većinu jurisdikcija u kojima se koristi prediktivna analitika u kaznenopravnom sektoru, nema dokaza da bilo koji takav sustav zaista djeluje, ali se ipak sve više koriste", kaže Richardson. Takve zabrinutosti istaknute su u razvoju alata za predviđanje nasilja. Dokumenti Etičkog odbora pokazuju da je jedan neimenovani član skupine rekao da je pogreška u kodiranju "snažan podsjetnik" o rizicima umjetne inteligencije i tehnologije u policijskom radu.

"U najgorem scenariju neprecizni modeli mogu rezultirati prisilnim i drugim sankcijama prema osobama za koje nema razumne osnove za predviđanje kriminaliteta, što može ugroziti živote mladih ljudi. Međutim, dobro je vidjeti da je tim procijenio vlastiti rad i identificirao probleme od kojih mora započeti iznova", napisao je Etički odbor u ožujku.

Unatoč nedostacima u sustavu predviđanja nasilja, oni koji su ga analizirati kažu da su postavke transparentnije od ostalih kretanja u prediktivnom policijskom postupanju. "Savjeti odbora su transparentni i snažni", rekao je Tom McNeil, strateški savjetnik policije u West Midlandsu i inspektor. Činjenica da je Etički odbor postavljao pitanja i tražio odgovore uglavnom je nezabilježena u razvoju umjetne inteligencije u policijskom postupanju. Veliki dio razvoja obično se odvija u potpunoj tajnosti, a problemi se pojavljuju tek kad počnu pogađati ljude u stvarnom svijetu. "Samo zato što se nešto može obaviti računalno, ne znači nužno da je to uvijek najbolji način i da to treba tako učiniti. Zato mislim da je korisno imati postupak u kojem će se ti koraci preispitivati", rekla je za Wired Christine Rinik, direktorica Centra za informacijska prava na Sveučilištu Winchester.