Visokorizični sistemi veštačke inteligencije prema EU AI uredbi – kako ih prepoznati?

U prethodnim blogovima bavili smo se osnovnim postulatima Uredbe Evropske unije o veštačkoj inteligenciji. U njima smo objasnili da je reč o izuzetno složenom pravnom okviru. Razlog za to leži, između ostalog, u samoj prirodi regulatornog pojma veštačke inteligencije (odnosno sistema veštačke inteligencije) koji je kompleksan i sastavljen od više međusobno povezanih elemenata.

Upravo ta složenost predmeta regulisanja navela je evropskog zakonodavca da usvoji pristup reguliusanja zasnovan na riziku. Drugim rečima, AI sistemi se ne posmatraju svi isto, već se klasifikuju u zavisnosti od rizika koji mogu proizvesti po pojedince, društvo i osnovna prava i slobode.

U prethodnom tekstu analizirali smo zabranjene AI sisteme – one koje Evropska unija načelno ne dozvoljava u kontekstu njihovog tržišnog plasiranja. Kao logički nastavak, cilj ovog teksta je da ukratko i jasno objasni šta se smatra visokorizičnim sistemima veštačke inteligencije.

Ne bi bilo pogrešno reći da su upravo ovi sistemi u središtu Uredbe Evropske unije o veštačkoj inteligenciji. Najveći deo pravnih obaveza iz Uredbe odnosi se upravo na visokorizične AI sisteme.

Njima ćemo se detaljnije baviti u nekom od narednih blogova, jer one predstavljaju osnov odgovornog i bezbednog upravljanja veštačkom inteligencijom – ne samo u EU, već i globalno. Ipak, razumevanje same suštine i načina identifikacije visokorizičnih sistema predstavlja ključni preduslov za razumevanje cele regulative.

Prepoznavanje rizika i regulatorni pristup

Kao što smo već naveli, EU AI Act izričito zabranjuje određene AI sisteme. Evropski regulator je ovde primenio taksativni pristup – jasno je naveo koje tehnologije ne smeju biti stavljene na tržište ili ponuđene kao usluga. Međutim, kada je reč o visokorizičnim AI sistemima, zakonodavac je morao da primeni složeniji, nazovimo ga, dualni pristup.

Suština ovog pristupa ogleda se u sledećem:

• sa jedne strane, Uredba sadrži izričitu listu AI sistema koji se smatraju visokorizičnim (navedenu u Aneksu III Uredbe);
• sa druge strane, ostavlja se prostor za postojanje AI sistema koji po svojoj prirodi i nameni nose visok rizik, iako nisu eksplicitno nabrojani u Uredbi.

Zanimljivo je da Uredba ne daje formalnu definiciju pojma “visokorizični sistem”, iako definiše i pojam rizika i pojam sistema veštačke inteligencije. Ovakav pristup je razumljiv – stroga definicija bi mogla ograničiti budući razvoj regulative i dodatno zakomplikovati harmonizaciju pravila unutar EU. Ipak, Uredba jasno propisuje kriterijume prema kojima se AI sistem smatra visokorizičnim. Konkretno, reč je o sistemima koji:

• predstavljaju proizvod obuhvaćen posebnim zakonodavstvom Evropske unije, ili je reč o bezbednosnoj komponenti proizvoda,
• i istovremeno podležu obavezi ocene usaglašenosti od strane trećih lica, kao uslov za stavljanje proizvoda na tržište ili njegovo puštanje u upotrebu.

Ovde dolazimo do ključnog pitanja: na koje se to propise EU zakonodavac poziva? Odgovor se nalazi u Aneksu I Uredbe, koji sadrži listu od 20 različitih izvora prava Evropske unije. Neki od njih imaju formu direktiva (Directive), dok su drugi uredbe (Regulation). Za one koji se ne bave pravom EU, korisno je znati sledeće:

• uredbe (poput GDPR-a ili Uredbe Evropske unije o veštačkoj inteligenciji) primenjuju se neposredno u svim državama članicama;
• direktive zahtevaju prenošenje njihovih rukovodnih principa u nacionalna zakonodavstva.

Bez obzira na ovu razliku, Aneks I Uredbe Evropske unije o veštačkoj inteligenciji pruža smernicu kada određeni proizvod, ili njegova bezbednosna komponenta, treba da se tretira kao visokorizični AI sistem.

Reč je o čitavom spektru proizvoda, među kojima su, između ostalog: igračke, rekreativna i lična plovila, liftovi i njihove bezbednosne komponente, žičane instalacije, uređaji koji koriste gasovita goriva, oprema i zaštitni sistemi, uključujući one namenjene radu u potencijalno eksplozivnim okruženjima i još mnogo toga.

Verovatno ova lista nije konačna. Sa daljim razvojem tehnologije i regulatornog okvira Evropske unije, sasvim je realno očekivati da će se obim visokorizičnih sistema dodatno širiti.

Kada se AI sistem smatra visokorizičnim na osnovu svoje namene

Pored već objašnjenog kriterijuma vezanog za proizvode i bezbednosne komponente obuhvaćene posebnim zakonodavstvom EU, Uredba EU o veštačkoj inteligenciji predviđa i drugi ključni put ka kvalifikaciji sistema kao visokorizičnog.

Naime, AI sistem se može smatrati visokorizičnim i ukoliko odgovara opisu nekog od sistema navedenih u posebnoj listi u Aneksu III Uredbe, pod uslovom da njegova primena može dovesti do značajne štete po osnovna prava, bezbednost ili životne šanse pojedinaca.

Drugim rečima, ovde fokus više nije na samom proizvodu, već na kontekstu u kome se veštačka inteligencija koristi i posledicama koje može proizvesti. Evropski zakonodavac je identifikovao osam oblasti u kojima primena veštačke inteligencije nosi naročito visoke rizike.

Te oblasti su:

• biometrija; 
• kritična infrastruktura; 
• obrazovanje i obuka;
• zapošljavanje i radni odnosi;
• pristup osnovnim uslugama (javnim i privatnim);
• sprovođenje zakona;
• migracije, azil i upravljanje granicama;
• pravosuđe i demokratski procesi.

U nastavku ćemo ukratko objasniti zašto su ove oblasti posebno osetljive i kako Uredba Evropske unije o veštačkoj inteligenciji pristupa njihovoj regulaciji.

Biometrija: najosetljiviji oblik obrade podataka

AI sistemi koji obrađuju biometrijske podatke nalaze se među najstrože regulisanim oblastima u Uredbi. Razlog za to je jednostavan: biometrija direktno zadire u identitet pojedinca i ima snažan potencijal za zloupotrebe, diskriminaciju i masovni nadzor.

Određeni biometrijski AI sistemi su potpuno zabranjeni. To se, na primer, odnosi na sisteme koji koriste biometrijske podatke kako bi kategorisali ljude i izvodili zaključke o njihovim “osetljivim osobinama”. Takođe je zabranjeno i korišćenje AI sistema za nekontrolisano prikupljanje biometrijskih podataka, u kontekstu realno-vremenskog biometrijskog prepoznavanja, poput masovnog  prikupljanja podataka fotografija lica sa interneta ili CCTV snimaka u cilju formiranja ili proširivanja baza podataka za prepoznavanje lica (o ovome smo pisali u jednom od prethodnih tekstova).

Ipak, nisu svi biometrijski sistemi automatski zabranjeni. Oni koji nisu izričito zabranjeni, ali se koriste za biometrijsku identifikaciju, kategorizaciju ili prepoznavanje emocija, najčešće će biti klasifikovani kao visokorizični AI sistemi.

Posebno je važno pitanje namene sistema. Evropski zakonodavac naglašava da AI sistemi za daljinsku biometrijsku identifikaciju nose rizik od pristrasnosti i diskriminatornih efekata.

Zbog toga se smatraju visokorizičnim, osim ako se koriste isključivo za jednostavnu verifikaciju identiteta (npr. potvrdu da je osoba zaista ona za koju se predstavlja). Takođe, biometrijski sistemi koji se koriste isključivo u svrhu sajber-bezbednosti ili zaštite podataka o ličnosti ne potpadaju pod režim visokorizičnih sistema.

Kritična infrastruktura: AI kao pitanje bezbednosti društva

AI sistemi koji se koriste u upravljanju i funkcionisanju kritične infrastrukture predstavljaju još jednu kategoriju potencijalno visokorizičnih sistema. Ovde spadaju sistemi koji se koriste kao bezbednosne komponente u oblastima kao što su digitalna infrastruktura, drumski saobraćaj, snabdevanje vodom, gasom, grejanjem i električnom energijom.

Zakonodavac opravdava ovu klasifikaciju činjenicom da kvar ili pogrešno funkcionisanje ovakvih sistema može ugroziti živote velikog broja ljudi i dovesti do ozbiljnih poremećaja u društvenim i ekonomskim tokovima.

I ovde postoji važno izuzeće: AI sistemi koji se koriste isključivo za sajber-bezbednost kritične infrastrukture (npr. sistemi za nadzor pritiska vode ili upravljanje protivpožarnim alarmima u data centrima) ne smatraju se visokorizičnim.

Obrazovanje: tehnologija koja oblikuje budućnost pojedinca

U oblasti obrazovanja i obuke, Uredba Evropske unije o veštačkoj inteligenciji prepoznaje da AI sistemi mogu imati dugoročne i duboke posledice po životni put pojedinca.

Visokorizičnim se smatraju AI sistemi koji se koriste za odlučivanje o pristupu ili upisu u obrazovne institucije, raspoređivanje učenika ili studenata, procenu ishoda učenja, određivanje nivoa obrazovanja kojem osoba može pristupiti i otkrivanje varanja na ispitima.

Ovakvi sistemi, ukoliko su loše dizajnirani ili primenjeni, mogu biti izrazito invazivni, mogu da naruše pravo na obrazovanje i dovedu do diskriminacije, naročito prema ženama, osobama sa invaliditetom, određenim starosnim grupama ili etničkim manjinama.

Zapošljavanje i radni odnosi: AI i egzistencijalni rizici

AI sistemi koji se koriste u oblasti zapošljavanja spadaju među najčešće primere visokorizične veštačke inteligencije u praksi.

Ovo uključuje sisteme koji se koriste za ciljano oglašavanje radnih mesta, automatsku analizu i filtriranje prijava, procenu kandidata, donošenje odluka o unapređenju ili raskidu radnog odnosa, raspodelu radnih zadataka, nadzor i evaluaciju učinka zaposlenih.

Razlog za strogu regulaciju leži u činjenici da ovakvi sistemi mogu direktno uticati na egzistenciju pojedinaca, njihove karijerne mogućnosti i radna prava, ali i da mogu reprodukovati istorijske obrasce diskriminacije.

Pristup osnovnim uslugama: javni i privatni sektor

Posebno osetljiva kategorija su AI sistemi koji se koriste za odlučivanje o pristupu osnovnim javnim i privatnim uslugama. To uključuje sisteme koji se koriste za dodelu ili ukidanje socijalnih beneficija kao što je pristup zdravstvenim uslugama i beneficijama.

Takođe u ovu grupu spadaju i procena kreditne sposobnosti ili kreditnog rejtinga (osim u svrhe otkrivanja finansijskih prevara), procenu rizika i određivanje cena životnog i zdravstvenog osiguranja, i prioritizaciju intervencija hitnih službi.

EU zakonodavac ističe da ovakvi sistemi mogu imati presudan uticaj na dostojanstvo, socijalnu sigurnost i osnovna prava pojedinaca, zbog čega zaslužuju poseban regulatorni režim.

Migracije, azil i upravljanje granicama: AI na liniji osnovnih prava

EU AI Act prepoznaje da primena veštačke inteligencije u oblasti migracija, azila i upravljanja granicama nosi izuzetno visok rizik po osnovna prava pojedinaca. U pitanju su situacije u kojima odluke zasnovane na AI sistemima mogu imati neposredne i često nepovratne posledice po ličnu slobodu, bezbednost i pravni status osobe.

Prema Uredbi, potencijalno visokorizičnim se smatraju AI sistemi koji se koriste za procenu bezbednosnih ili zdravstvenih rizika prilikom ulaska u državu članicu EU, za obradu i ocenu zahteva za azil, vize ili boravišne dozvole, kao i sistemi namenjeni identifikaciji ili prepoznavanju lica migranata i tražilaca azila.

Evropski zakonodavac posebno naglašava rizik od automatizovanih odluka koje mogu dovesti do diskriminacije, pogrešne procene rizika ili uskraćivanja prava na međunarodnu zaštitu.

Važno ograničenje ipak postoji: AI sistemi koji se koriste isključivo za verifikaciju putnih isprava, bez dodatne procene ili profilisanja, ne smatraju se visokorizičnim. Ovim se nastoji napraviti ravnoteža između efikasnosti graničnih procedura i zaštite osnovnih prava.

Pravosuđe i demokratski procesi: tehnologija u središtu vladavine prava

Posebnu pažnju Uredba posvećuje primeni veštačke inteligencije u oblasti pravosuđa i demokratskih procesa, jer se ovde AI sistemi direktno dotiču temelja vladavine prava i demokratskog poretka.

Visokorizičnim se smatraju AI sistemi koji se koriste od strane sudova ili drugih tela za rešavanje sporova kako bi pomogli u istraživanju i tumačenju činjenica i prava, ili u primeni prava na konkretne slučajeve. Iako takvi sistemi mogu povećati efikasnost pravosuđa, zakonodavac upozorava na rizik od preteranog oslanjanja na automatizovane preporuke, smanjenja sudijske nezavisnosti i narušavanja prava na pravično suđenje.

Pored toga, Uredba obuhvata i AI sisteme koji su namenjeni uticanju na ishod izbora ili referenduma, kao i na ponašanje birača. Ovde je ključni rizik vezan za manipulaciju javnim mnjenjem i podrivanje demokratskih procesa. Ipak, administrativni alati koji služe isključivo za logističku i organizacionu podršku političkim kampanjama, a čiji rezultati nisu direktno vidljivi biračima, ne potpadaju pod ovu kategoriju.

Zaključno: zašto je razumevanje visokorizičnih sistema ključno

Visokorizični AI sistemi predstavljaju srž regulatorne arhitekture Uredbe Evropske unije o veštačkoj inteligenciji. Oni nisu nužno zabranjeni, ali su podvrgnuti najstrožim pravilima u pogledu dizajna, upravljanja rizicima, transparentnosti i odgovornosti.

Za organizacije koje razvijaju ili koriste AI sisteme, pravilna identifikacija da li neki sistem potpada pod ovu kategoriju nije samo pravno, već i strateško pitanje. Upravo na ovom mestu se prepliću pravo, tehnologija, etika i upravljanje rizicima.