Veštačka inteligencija pod lupom: koje AI sisteme EU zabranjuje i zašto?

Regulacija prema Uredbi Evropske unije o veštačkoj inteligenciji (EU AI Act) zasniva se na proceni rizika koje AI sistemi mogu da generišu i na koji način rizici mogu da utiču na prava i slobode građana, kao i na temeljne vrednosti Evropske unije. Uredba uvodi “risk-based” pristup, čime razlikuje sisteme sa minimalnim rizikom, prihvatljive, visokorizične i – u krajnjem slučaju – zabranjene prakse veštačke inteligencije.

Upravo zbog potencijalne zloupotrebe i rizika po osnovna prava, Uredba strogo definiše koje su vrste AI sistema zabranjene. Ti sistemi se smatraju toliko štetnim po društvo i pojedince da njihova upotreba i stavljanje na tržište nisu dozvoljeni ni pod kojim okolnostima, osim u izuzetno ograničenim i zakonom propisanim slučajevima.

Cilj ovog teksta je da pruži opšti pregled kategorija zabranjenih AI sistema prema Uredbi, objašnjavajući njihovu prirodu, razloge zabrane i moguće izuzetke. Bitno je spomenuti da je Evropska komisija nedavno objavila i detaljan vodič koji razjašnjava granice ovih zabrana, nudi praktične primere i pomaže razumevanju njihove primene u praksi.

Važno je napomenuti da su mnogi izrazi na srpskom jeziku u ovom tekstu slobodan prevod autora, dok su originalni termini iz Uredbe i vodiča Evropske komisije na engleskom jeziku i zadržani su gde je to potrebno radi tačnosti i doslednosti.

Štetna manipulacija, obmana i iskorišćavanje ranjivosti

Prvi oblik zabranjenih AI sistema jesu oni koji koriste podsvesne, obmanjujuće ili manipulative tehnike (Harmful Manipulation, Deception and Exploitation) kako bi uticali na ponašanje ljudi, kao i oni koji iskorišćavaju njihove ranjivosti – poput godina, invaliditeta ili socijalnog statusa. Upotreba ovakvih sistem izaziva ili može izazvati štetu, kako za pojedinca, tako i za društvo. Njihova upotreba je suprotna osnovnim vrednostima Evropske unije: ljudskom dostojanstvu, slobodi, jednakosti i vladavini prava.

AI sistemi koji koriste subliminalne, svesno manipulative ili obmanjujuće metode posebno su opasni jer mogu značajno uticati na ponašanje korisnika bez njihove svesne kontrole. To obuhvata situacije u kojima veštačka inteligencija deluje na podsvesnom nivou (npr. utiče na odluke koje osoba donosi, a da toga nije svesna), namerno manipuliše emocijama ili kognitivnim slabostima ili dovodi ljude do odluka koje inače ne bi doneli. Takvi sistemi izazivaju (ili mogu izazvati) fizičku, psihološku, ekonomsku ili društvenu štetu.

Pored toga zabranjeni su i AI sistemi koji ciljano iskorišćavaju ranjive grupe – decu, starije osobe ili one u teškoj ekonomskoj situaciji. Na primer, to mogu biti sistemi koji navode decu na određeno ponašanje ili aplikacije koje iskorišćavaju finansijski težak položaj korisnika radi nepoštene prodaje ili podsticanja na zaduživanje.

Cilj ove zabrane je da se spreči korišćenje veštačke inteligencije na način koji ugrožava slobodnu volju i da se zaštite najosetljiviji članovi društva od prikrivene tehnološke manipulacije. Ova mera čini temelj etičkog okvira Uredbe, jasno razgraničavajući dozvoljeni uticaj (kao što je marketinško “ubeđivanje”) od nedopustivog, štetnog manipulisanja ljudskim izborima i odlukama.

Društveno bodovanje

Druga kategorija zabranjenih AI sistema odnosi se na sisteme društvenog bodovanja (Social Scoring). Takvi sistemi veštačke inteligencije ocenjuju ili rangiraju ljude na osnovu njihovog ponašanja ili ličnih karakteristika. Smatraju se opasnima jer mogu dovesti do nepravednog tretmana, društvene isključenosti i stvaranja mehanizama nadzora koji su nespojivi sa evropskim vrednostima i osnovnim pravima.

Cilj zabrane je da se spreči digitalna diskriminacija i društvena kontrola putem algoritama, te da se očuva ljudsko dostojanstvo, privatnost i jednak pristup uslugama.

AI sistemi koji tokom vremena ocenjuju pojedince ili grupe prema njihovom ponašanju ili pretpostavljenim osobinama ličnosti mogu formirati takozvani “socijalni skor”. Takvi skorovi mogu dovesti do nepovoljnog tretmana u kontekstu koji nije povezan sa onim u kojem su podaci prikupljeni, ili do neopravdanog i nesrazmernog postupanja u odnosu na samo ponašanje osobe.

Zabrana se odnosi na sve sektore (javne i privatne) i ne ograničava se samo na državne institucije. Ipak, dopuštene su određene legitimne prakse procene (na primer, kreditni skorovi ili procene zaposlenih), pod uslovom da su u skladu sa zakonima i da je tretman proporcionalan svom cilju.

Kao primeri zabranjenih praksi navode se situacije u kojima opštine ili gradovi koriste veštačku inteligenciju za ocenjivanje “pouzdanosti” građana na osnovu ponašanja u različitim kontekstima (kašnjenje s porezima, nevolontiranje, manja kršenja pravila), što može dovesti do gubitka beneficija ili pojačanog nadzora.

Takođe, poreske službe koje koriste veštačku inteligenciju da automatski označe porodice kao prevarante na osnovu prihoda, nacionalnosti ili socijalnog ponašanja što dovodi do nepravednih kazni, dugovanja i društvene stigmatizacije.

Procena rizika od kriminalnog ponašanja

Prema EU AI Uredbi, zabranjeni su sistemi koji procenjuju individualni rizik u kontekstu predviđanja krivičnih dela (Individual Risk Assessment and Prediction of Criminal Offences). Ovi sistemi koriste veštačku inteligenciju za analizu podataka kako bi “predvideli” verovatnoću da neka osoba počini krivično delo u budućnosti. Zabrana je uvedena radi zaštite osnovnih ljudskih prava, pre svega pretpostavke nevinosti, privatnosti i ljudskog dostojanstva.

Uredba zabranjuje stavljanje na tržište, puštanje u upotrebu ili korišćenje AI sistema koji procenjuju ili predviđaju rizik da osoba počini krivično delo isključivo na osnovu profilisanja ili procene ličnih osobina i karakteristika. Takvi sistemi čine osnovu za tzv. prediktivno policijsko delovanje (predictive policing), koje koristi velike količine istorijskih podataka (socijalnih, ekonomskih i informacija uz policijskih evidencija) kako bi se identifikovali obrasci ponašanja i izvršila procena rizika.

Iako ovakvi sistemi mogu povećati efikasnost i pomoći policiji u prevenciji kriminala, oni nose ozbiljne rizike od prejudiciranja i jačanja postojećih pristrasnosti, jer se oslanjaju na istorijske podatke koji često odražavaju sistemske nejednakosti.

Ipak dozvoljeni su sistemi koji asistiraju ljudskoj proceni i zasnivaju se na objektivnim i proverljivim činjenicama koje su direktno povezane sa konkretnim kriminalnim aktivnostima. Takođe, predikcije zasnovane na lokacijskim podacima – koje se odnose na mesta gde bi se zločin mogao dogoditi, a ne na konkretne osobe – nisu zabranjene. Međutim, ako se takvi rezultati povežu s pojedincima i koriste za profilisanje, sistem automatski potpada pod zabranu.

Zabrana neselektivnog prikupljanja slika lica

Sledeća kategorija zabranjenih AI sistema odnosi se na neselektivno prikupljanje slika lica (Untargeted Scraping of Facial Images) sa interneta i snimaka nadzornih kamera radi izrade ili proširivanja baza podataka za prepoznavanje lica.

Takva praksa ozbiljno ugrožava pravo na privatnost, zaštitu podataka i anonimnost pojedinaca, stvarajući osećaj masovnog nadzora i rizik od ozbiljnih povreda osnovnih prava. Zabrana ima za cilj da spreči masovno i neetičko prikupljanje biometrijskih podataka koje narušava poverenje građana i vodi ka stvaranju tzv. “društva nadzora”.

Ona obuhvata svaku situaciju u kojoj se veštačka inteligencija koristi za kreiranje ili dopunu baza podataka za prepoznavanje lica pomoću automatizovanih alata (“web crawlers”, “botova” i sličnih) koji neselektivno sakupljaju slike sa interneta ili snimaka nadzornih kamera. Takvi sistemi funkcionišu kao “usisivači” podataka, prikupljajući ogromne količine slika bez ikakve kontrole nad time čiji se podaci prikupljaju i u koju svrhu.

Tipičan primer ovakvih praksi su kompanije koje koriste “image scrapers” za pretraživanje društvenih mreža poput Facebook-a, YouTube-a ili X-a (Twitter-a) i automatsko prikupljanje slika lica radi formiranja komercijalnih baza podataka za prepoznavanje identiteta.

Važno je napomenuti da se zabrana ne odnosi na ciljano prikupljanje (npr. slike konkretnih osumnjičenih ili žrtava trgovine ljudima), niti na korišćenje AI sistema za generisanje fiktivnih lica, jer se u tim slučajevima ne radi o stvarnim osobama.

Prepoznavanje emocije u radnom okruženju i obrazovnim institucijama

Zabranjeni su AI sistemi koji prepoznaju ili tumače emocije ljudi (Emotion Recognition) u radnom okruženju i obrazovnim institucijama, osim ako se koriste u medicinske ili bezbednosne svrhe. Ova zabrana ima za cilj da spreči zloupotrebu emocionalnih podataka upravo u okruženjima gde su granice između nadzora i manipulacije najosetljivije.

Ova tehnologija, poznata kao afektivno računarstvo (affective computing), analizira izraze lica, ton glasa, pokrete tela ili moždane signale kako bi zaključila emocionalno stanje osobe. Iako se koristi u različitim oblastima – od marketinga i zabave, do medicine i zapošljavanja – naučna osnova za tačnost ovih sistema i dalje je sporna. Emocije su subjektivne i razlikuju se među pojedincima i kulturama, pa su zaključci AI sistema često nepouzdani i potencijalno diskriminišući.

Zabrana se posebno odnosi na situacije kada se ovakvi sistemi koriste za praćenje zaposlenih (npr. tokom razgovora za posao, rada ili procene učinka) ili učenika i studenata (npr. za merenje pažnje i angažovanosti). U takvim slučajevima postoji asimetrija moći, gde su radnici i učenici u ranjivom položaju i izloženi pristrasnim procenama koje mogu negativno uticati na njihovu reputaciju ili karijeru.

Važno je naglasiti da se zabrana ne odnosi na sisteme koji detektuju fizička stanja, poput umora ili bola, niti na one koji se koriste u medicinske svrhe – na primer, za dijagnostiku depresije ili praćenje zdravstvenog stanja pacijenata.

Biometrijska kategorizacija – zabrana klasifikovanja ljudi po “osetljivim” osnovama

Sledeća kategorija zabranjenih AI sistema obuhvata sisteme koji koriste biometrijske podatke za klasifikaciju ljudi prema “osetljivim” ličnim karakteristikama, (Biometric Categorisation for Certain ‘Sensitive’ Characteristics) kao što su rasa, političko mišljenje, članstvo u sindikatu, verska ili filozofska uverenja, seksualni život ili seksualna orijentacija.

Ovi sistemi mogu da prikupljaju i analiziraju fizičke osobine (npr. oblik lica, boju kože, visinu, boju očiju i kose) ili obrasce ponašanja (npr. način hoda, glas, gestove ili navike), i na osnovu njih pokušavaju da zaključe nešto o ličnim uverenjima ili pripadnosti pojedinca. Takva praksa smatra se posebno opasnom, jer može dovesti do diskriminacije, stigmatizacije i povrede ljudskog dostojanstva – naročito kada se ljudi svrstavaju u kategorije bez svog znanja ili pristanka.

Primeri zabranjenih praksi uključuju AI sisteme koji tvrde da mogu da otkriju nečiju rasu, veru ili seksualnu orijentaciju na osnovu karakteristika kao što su glas, tetovaža ili fizičke karakteristika lica. Ove tehnologije često se zasnivaju na pseudo-naučnim pristupima i predstavljaju ozbiljno kršenje prava na privatnost, ravnopravnost i poštovanje ličnosti.

Zabrana, međutim, ne obuhvata zakonito označavanje ili filtriranje biometrijskih skupova podataka (npr. u istraživačke ili policijske svrhe), kada je cilj da se obezbedi uravnotežena zastupljenost različitih grupa i spreči pristrasnost algoritama.

Realno-vremensko biometrijsko prepoznavanje

Poslednja kategorija zabranjenih AI sistema odnosi se na realno-vremensko daljinsko biometrijsko prepoznavanje (Real-Time Remote Biometric Identification – RBI) u javnim prostorima za potrebe organa za sprovođenje zakona, osim u strogo ograničenim situacijama koje su jasno definisane Uredbom. Ova zabrana predstavlja pokušaj da se uspostavi ravnoteža između bezbednosti građana i očuvanja njihovih osnovnih sloboda u digitalnom dobu.

RBI sistemi koriste veštačku inteligenciju za identifikaciju osoba na daljinu, bez njihovog znanja ili aktivnog učešća, upoređujući njihove biometrijske podatke (npr. slike lica, glas, način kretanja) sa postojećim bazama podataka. Kada se koriste u realnom vremenu, takvi sistemi mogu istovremeno nadzirati i analizirati stotine ljudi u javnim prostorima – poput trgova, ulica ili stanica – i automatski ih povezivati sa policijskim evidencijama.

Evropska unija ovu praksu smatra izuzetno invazivnom, jer ugrožava privatnost, slobodu kretanja i izražavanja, stvara osećaj stalnog nadzora i može dovesti do diskriminatornih grešaka u prepoznavanju povezanih sa rasom, polom ili uzrastom.

Uredba dozvoljava ograničenu upotrebu RBI sistema samo ako je strogo neophodna i zakonom propisana, i to za sledeće ciljeve:

1. Ciljane potrage za žrtvama otmica, trgovine ljudima, seksualne eksploatacije ili nestalim osobama.
2. Prevenciju neposredne i ozbiljne pretnje po život ljudi ili sprečavanje terorističkog napada.
3. Lokalizaciju i identifikaciju osumnjičenih za teška krivična dela (Uredba sadrži listu takvih dela, a vodič Evropske komisije navodi da su to, između ostalog, dela za koja je zaprećena kazna od najmanje četiri godine zatvora).

Čak i u ovim slučajevima, primena RBI sistema moguća je samo uz sudsku ili nezavisnu administrativnu dozvolu, prethodnu procenu uticaja na osnovna prava, ograničeno trajanje i geografski obuhvat, kao i transparentno izveštavanje nacionalnim i evropskim nadzornim telima.

Umesto zaključka

Poseban značaj Uredbe Evropske Unije o veštačkoj inteligenciji ima deo koji se odnosi na zabranjene prakse upotrebe veštačke inteligencije, jer jasno povlači crtu između tehnologija koje mogu doprineti društvu i onih koje predstavljaju neprihvatljiv rizik za dostojanstvo, privatnost i slobodu pojedinaca.

Kao što pokazuje pregled u ovom blogu, EU ne zabranjuje veštačku inteligenciju – već njen neetički i nekontrolisani oblik primene. Time se šalje jasna poruka da inovacije moraju biti odgovorne, transparentne i usklađene sa ljudskim pravima.

Evropska komisija svojim vodičem dodatno razjašnjava ove zabrane, podstičući pravnu sigurnost i poverenje građana u upotrebu AI tehnologija. Na kraju, razumevanje ovih zabrana nije samo pravno pitanje, već i etički kompas koji pokazuje u kom pravcu se razvija odgovorna upotreba veštačke inteligencije u Evropi.