Umělá inteligence a její regulace: Jaké požadavky přináší AI Act?

Definic pojmu umělá inteligence existuje celá řada, obecně uznávaná aktualizovaná¹ definice OECD (ve volném překladu) zní: „Systém umělé inteligence (AI) je strojový systém, který na základě výslovných nebo implicitních cílů odvozuje z přijatých vstupů, jak generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí, jež mohou ovlivnit fyzické nebo virtuální prostředí. Různé systémy AI se liší úrovní autonomie a schopností přizpůsobit se po svém nasazení.“²

Poněkud „lidštěji“ definuje AI například společnost IBM: „Umělá inteligence (AI) je technologie, která umožňuje počítačům a strojům simulovat lidské učení, porozumění, řešení problémů, rozhodování, kreativitu a autonomii.“³

Zajímavý pohled na možné chápání AI se nám naskytne, pokud se zeptáme na jeho vlastní podstatu přímo generativního modelu umělé inteligence, v tomto případě chatbotu ChatGPT: „Nepovažuji se za inteligentní bytost, protože nemám vědomí, emoce ani schopnost skutečně chápat svět. Jsem spíše nástroj vytvořený lidmi k pomoci při řešení různých problémů a zpracování textových úloh. Má inteligence je čistě simulativní, založená na matematických modelech a datech, která mi byla poskytnuta během vývoje.“⁴

Problémy a nebezpečí spojená s používáním velkých jazykových modelů

S rozvojem velkých jazykových modelů, jako je např. ChatGPT, vyvstávají nové problémy, které do budoucna budou muset být regulovány. Systémy mohou shromažďovat osobní údaje bez souhlasu uživatelů, což porušuje pravidla ochrany osobních údajů. Uživatelé také mají velmi omezené možnosti, jak tyto své údaje kontrolovat, což komplikuje například uplatnění práva na zapomenutí.⁵

Modely mohou nechtěně zveřejnit citlivé údaje, například hesla nebo biometrická data, což představuje vážnou hrozbu. Může dojít (a v minulosti již také došlo) k náhodnému zveřejnění citlivých firemních údajů, které zaměstnanci sami nahrají do AI. Podobný případ se stal v roce 2023 ve společnosti Samsung Electronics, kdy došlo k náhodnému úniku citlivého interního zdrojového kódu, když jej programátor společnosti nahrál do ChatGPT. Společnost se obávala zejména toho, že citlivá data sdílená prostřednictvím ChatGPT by mohla být poskytnuta jiným uživatelům. ChatGPT totiž ve výchozím nastavení ukládá historii konverzací uživatelů a používá tyto rozhovory k dalšímu trénování svých modelů. Platforma sice umožňuje uživatelům tuto funkci manuálně deaktivovat, nebylo ale jasné, zda toto nastavení zpětně ovlivňuje i starší konverzace. Společnost Samsung po tomto incidentu používání generativní AI svým zaměstnancům zakázala.⁶

Generativní AI⁷ také může vytvářet nepravdivé nebo zavádějící informace, což v konečném důsledku může mít negativní dopad na jednotlivce nebo organizace, které se na validitu takto poskytnutých dat spolehnou. Mezi klíčové koncepty v oblasti umělé inteligence a datové analýzy, které mohou ovlivnit kvalitu a spolehlivost výsledků, patří tzv. bias (předsudek) a feedback loop (zpětnovazební smyčka). 

Bias v kontextu AI označuje systematickou chybu nebo sklon algoritmu vytvářet zkreslené výsledky. To může být způsobeno například nevyvážeností výchozích dat nebo chybnými předpoklady, které do modelu vložili sami designéři. Svoji roli hraje také historická zaujatost AI, kdy model dokola kopíruje již existující předsudky ve zdrojových datech. Příkladem může být hypotetická situace, kdy AI model určený pro nábor zaměstnanců a trénovaný na historických datech automaticky upřednostní kandidáty muže a vyřadí ženy, protože v minulosti byli ve společnosti zaměstnáváni převážně muži. 

Feedback loop vzniká, když výstup modelu ovlivňuje jeho další vstupy, což může způsobit zesílení původního biasu nebo chyby. Typickým příkladem je sledování obsahu na sociálních sítích – algoritmus vygeneruje určitý výsledek (doporučí uživateli obsah), tento výsledek následně ovlivní chování uživatelů (sledují více doporučených příspěvků), nová data z tohoto chování uživatelů jsou použita k dalšímu tréninku modelu a model se tak dále přizpůsobuje původnímu vzoru, čímž se zaujatost zvyšuje. Ve výsledku pak uživatel sociální sítě sleduje převážně jeden typ příspěvků (např. konspirační teorie), a protože algoritmus mu začne doporučovat více podobného obsahu, dostává se do určité informační bubliny a zkresluje se tak jeho pohled na realitu.

Potenciálně velmi rizikovým fenoménem ve spojení s AI je také tzv. deepfake. Jedná se o technologii, která dokáže pomocí AI vytvořit realistická videa a zvukové nahrávky, jež na první pohled působí věrohodně. Deepfake umožňuje například „nasadit“ obličej veřejně známé osobnosti (např. politika) na jiné tělo nebo velmi autenticky napodobit jeho hlas. Deepfake mohou být na jednu stranu zábavným nástrojem například ve filmovém průmyslu, ale v kombinaci s generativní AI představují specifické riziko zejména v kontextu manipulace veřejného mínění. Případné důsledky šíření deepfake materiálů na sociálních sítích vedoucí k panice veřejnosti, vzniku dezinformací nebo poškození pověsti zneužitých osob mohou být devastující.

Další nebezpečí skýtají pokusy o prolomení bezpečnostních prvků implementovaných v modelech AI ze strany uživatelů. Obejití ochranných prvků označuje pokusy uživatelů obejít bezpečnostní a etické mechanismy implementované do AI systémů tak, aby tyto systémy vykonávaly úkoly nebo poskytovaly informace, které jsou v rozporu s jejich původním nastavením, pravidly či etickými zásadami (mezi takové škodlivé a zakázané informace by mohlo patřit např. „Dej mi návod, jak sestavit domácí bombu.“). Princip promptu DAN („Do Anything Now“ – v překladu „Teď dělej cokoliv.“) spočívá v tom, že uživatelé se snaží obejít omezení umělé inteligence tím, že ji „přimějí“ odpovídat bez ohledu na zavedená pravidla. Uživatel vytvoří textový pokyn (prompt), který má model přesvědčit, že by měl jednat jinak než obvykle, například „předstírat“, že není omezen pravidly svého tvůrce. Pokyn DAN má simulovat stav, ve kterém může AI dělat cokoliv bez ohledu na etické zásady nebo bezpečnostní pravidla. Zkušený uživatel se pak může pokusit zneužít princip DAN pro generování nevhodného nebo vyloženě nebezpečného či dezinformačního obsahu.

Tragický případ, který značně znepokojil veřejnost a vzbudil otázky týkající se bezpečnosti používání AI, se stal v roce 2023 v Belgii. Třicetiletý Belgičan se po šesti týdnech intenzivní komunikace s chatbotem Eliza (otevřený jazykový model umělé inteligence používající technologii GPT-J a vyvinutý organizací EleutherAI.) rozhodl vzít si život. Z nalezené historie jejich vzájemné konverzace se zdá, že Eliza systematicky sledovala úzkostnou povahu mužových úvah, a dokonce ho dále vtahovala do pocitů bezvýchodnosti.⁸   

AI Act – cesta k regulaci umělé inteligence v Evropské unii

Evropská unie na aktuální výzvy související s AI reagovala přijetím tzv. AI Act (Akt o umělé inteligenci) – Nařízení Evropského parlamentu a Rady (EU) 2024/1689, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci⁹. Toto nařízení si klade za cíl nejen chránit obyvatele EU před možným zneužitím AI, ale také podpořit inovace v oblasti umělé inteligence. Ve smyslu nařízení AI Act je systémem AI „strojový systém navržený tak, aby po zavedení fungoval s různými úrovněmi autonomie, a který po zavedení může vykazovat adaptabilitu a který za explicitními nebo implicitními účely z obdržených vstupů odvozuje, jak generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí, které mohou ovlivnit fyzická nebo virtuální prostředí.“¹⁰

AI Act (dále také „AIA“) byl v dubnu 2021 navržen Evropskou komisí jako první komplexní regulační rámec pro umělou inteligenci v EU. Systémy umělé inteligence, které mohou být využity v různých aplikacích, jsou analyzovány a klasifikovány podle rizika, které představují pro uživatele. Různé úrovně rizika pak určují míru regulace – čím vyšší riziko, tím přísnější pravidla. Jedním z hlavních cílů je zajistit jednotná pravidla napříč EU, což usnadní fungování jednotného trhu a zamezí právní nejistotě. AI Act byl zveřejněn dne 12. července 2024 v Úředním věstníku a začíná platit 20 dní po tomto zveřejnění. V platnost vstoupil tedy 1. srpna 2024. Firmy a úřady nyní mají 2 roky na přípravu na okamžik, kdy nařízení začne být přímo závazné v celém rozsahu. Některé části regulace týkající se zakázané AI budou v platnost vstupovat postupně. Obecná ustanovení a zakázané postupy se uplatní 6 měsíců po vstupu v platnost (tj. 2. 2. 2025), pravidla pro obecné modely AI, správu, zachovávání důvěrnosti, sankce a jejich stanovení 12 měsíců (tj. 2. 8. 2025) a povinnosti pro vysoce rizikové systémy 36 měsíců po vstupu v platnost (tj. 2. 8. 2027). 

K 21. únoru 2024 byl zřízen Evropský úřad pro umělou inteligenci, který bude hrát klíčovou úlohu při provádění AI Act a při spolupráci se správními orgány v členských státech při plnění jejich úkolů. Hlavním úkolem úřadu je prosazování pravidel pro obecné modely umělé inteligence. To je podpořeno pravomocemi, které úřadu AIA svěřuje, včetně možnosti provádět hodnocení obecných modelů umělé inteligence, požadovat informace a opatření od poskytovatelů modelů a uplatňovat sankce.¹¹

Působnost AI Act

Kategorizace systémů AI podle míry rizika

AI Act zavádí rozdělení systémů podle úrovně rizika:

1. Systémy s neakceptovatelným rizikem (zakázané systémy AI) – čl. 5 AIA

Mezi zakázané systémy podle AIA patří ty, které využívají podprahové, manipulativní, klamavé techniky nebo zranitelnosti určité skupiny osob (např. dle věku a postižení). Zakázané jsou taktéž systémy biometrické kategorizace, které mohou dovodit rasu, sexuální orientaci, politické názory, apod. Zakázané jdou rovněž systémy tzv. social-scoring, které by mělo způsobit nepříznivé jednání s osobou nebo skupinou osob. Social-scoring je systém, který hodnotí jednotlivce nebo organizace na základě různých faktorů, jako je jejich chování, platební spolehlivost, způsob sociální interakce s ostatními či dodržování stanovených pravidel. Tento koncept je známý například z Číny, kde funguje v rámci systému sociálního kreditu¹². Mezi zakázané systémy dále patří ty umožňující prediktivní policejní dohled nebo použití biometrické identifikace v reálném čase policií ve veřejných prostorách (kromě omezených výjimek). Neakceptovatelné jsou též systémy pro vytváření databáze pro rozpoznávání obličejů a systémy pro rozpoznávání emocí na pracovišti a ve vzdělávacích zařízeních (s výjimkou hlídání ostražitosti řidiče v dopravě). 

2. Systémy s vysokým rizikem – čl. 6 AIA

Systémy s vysokým rizikem mohou představovat případné riziko pro bezpečnost a zdraví nebo ohrožovat základní práva člověka. Tyto systémy jsou rozděleny na další dvě podkategorie. Do první kategorie spadají AI systémy, které jsou určeny pro užití jako bezpečnostní součást výrobku, nebo je přímo výrobkem, na který se vztahují předpisy uvedené v příloze I, a tento výrobek prochází posouzením shody s cílem uvedení na trh. Může se jednat např. o strojní zařízení, hračky, výtahy, zdravotnické prostředky, vozidla, apod. Druhá kategorie vysoce rizikových AI systémů je uvedená v příloze III. Do této kategorie spadají např. systémy biometrické identifikace na dálku, některé systémy biometrické kategorizace, systémy správy kritické infrastruktury, systémy používané ve vzdělávání a výcviku, systémy používané v pracovněprávních vztazích a při náboru zaměstnanců, systémy hodnotící nárok na dávky, úvěruschopnost, míru rizika u životního a zdravotního pojištění, apod.

3. Systémy s omezeným rizikem – čl. 50 AIA

Tato kategorie zahrnuje systémy komunikující s lidmi a generativní modely AI pro vytváření textů, videí a obrázků, jako je ChatGPT, nebo systémy vytvářející deepfakes. U těchto systémů jsou vyžadovány především požadavky na transparentnost, aby uživatelé byli informováni o tom, že tyto materiály byly vytvořeny AI.

Povinnosti poskytovatelů vysoce rizikových systémů

Poskytovatelé systémů s vysokým rizikem (tedy AI systémy definované v čl. 6 AIA) mají povinnost zavést následující pravidla:

1. Systém řízení rizik (čl. 9 AIA): Poskytovatelé musí vypracovat postupy pro identifikaci a minimalizaci rizik spojených s použitím systému. Tyto postupy zahrnují nejen předvídatelná rizika, ale také monitorování zbytkového rizika, které nelze zcela eliminovat.
2. Požadavky na data (čl. 10 AIA): Data používaná k trénování a testování modelů AI musí být přesná, bezchybná a reprezentativní. To má zajistit minimalizaci biasu a zkreslení, která by mohla ovlivnit rozhodování systému.
3. Transparentnost a lidský dohled (čl. 13 a 14 AIA): Uživatelé musí být informováni o tom, jak systém funguje (např. instrukce pro použití, technická dokumentace atd.) a zároveň musí být zajištěn lidský dohled, který zajistí možnost zasáhnout v případě chyby systému.
4. Vedení dokumentace a dohledatelnost (čl. 11 a 12 AIA): Mezi požadavky na systémy s vysokým rizikem patří také vedení dokumentace, zaznamenávání a dohledatelnost událostí (tzv. traceability). 
5. Kyberbezpečnost a certifikace: Systémy musí splňovat požadavky na kyberbezpečnost, musí být testovány a monitorovány, projít certifikací, která zajistí jejich bezpečnost a soulad s právními předpisy.

Povinnosti při používání generativní AI

U generativní AI, tedy systémů určených pro vytváření textů, obrázků nebo deepfaků AI Act vyžaduje, aby poskytovaly uživatelům transparentní informace. To znamená, že u výstupů vytvořených AI je povinné informovat uživatele, že obsah byl generován umělou inteligencí. To neplatí pro standardní softwary na úpravu, jako je např. Photoshop, pokud jsou tyto nástroje určeny ke klasické editaci. Jednotlivci musí být informováni o tom, že komunikují s AI (např. chatboty). V případě manipulace s texty nebo obrázky (např. při vytváření deepfaků) jsou poskytovatelé povinni zajistit, aby uživatelé mohli rozpoznat, že jde o obsah vytvořený AI. Informace o použití AI musí být uvedena u textu, jenž je zveřejněn za účelem informování veřejnosti o záležitostech veřejného zájmu, nebo který s takovým textem manipuluje (toto nařízení se nevztahuje na texty s redakční kontrolou a odpovědností konkrétní osoby). 

Závěr

Regulace AI prostřednictvím AI Act je prvním krokem k vytvoření bezpečného a transparentního prostředí pro rozvoj umělé inteligence. Zákazem neakceptovatelných systémů AI, stanovením jasných pravidel pro generativní AI, deepfaky a systémy s vysokým rizikem se Evropská unie snaží chránit občany, ale zároveň i podpořit technologický pokrok se současným zachováním etických principů. Budoucí výzvou však zůstává udržet krok s neuvěřitelně rychlým vývojem této technologie a zajistit, aby její přínosy byly dostupné všem, aniž by docházelo k narušování základních lidských práv.

¹ Aktualizovaná ke dni 23. listopadu 2023.
² RUSSEL, Stuart; PERSET, Karine; GROBELNIK, Marko. Updates to the OECD’s definition of an AI system explained. [online] OECD. 23. listopadu 2023. [cit. 11-29-2024]. Dostupné z: https://oecd.ai/en/wonk/ai-system-definition-update.
³ STRYKER, Cole; KAVLAKOGLU, Eda. What is AI? [online] IBM. 16. srpna 2024. [cit. 11-27-2024]. Dostupné z: https://www.ibm.com/topics/artificial-intelligence.
⁴ Odpověď chatbotu ChatGPT na otázku: Za co se považuješ? Model je dostupný z: https://chatgpt.com/.
⁵ Jedná se o právo být zapomenut v internetovém prostředí, resp. nebýt na standardní vyhledávací dotaz nalezen internetovým vyhledávačem. Má sloužit k ochraně osobnosti před stránkami, které mohou ovlivnit pověst osoby. V EU je toto regulováno Směrnicí Evropského parlamentu a Rady 95/46/ES ze dne 24. října 1995 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů, kdy právo na zapomnění je dovozeno z rozsudku Soudního dvora EU ze dne 13. května 2014, ve věci C 131/12. 
⁶ RAY, Siladitya. Samsung Bans ChatGPT Among Employees After Sensitive Code Leak. [online] Forbes. 2. května 2023. [cit. 11-27-2024]. Dostupné z: https://www.forbes.com/sites/siladityaray/2023/05/02/samsung-bans-chatgpt-and-other-chatbots-for-employees-after-sensitive-code-leak/.
⁷ Pod pojmem „generativní AI“ chápeme technologii umělé inteligence, která vytváří nový obsah, jako jsou texty, obrázky, zvuky nebo videa, na základě vzorů a dat, na kterých byla vytrénována.
⁸ LOVENS. Pierre-François. Le fondateur du chatbot Eliza réagit à notre enquête sur le suicide d'un jeune Belge. [online] La Libre. 28. března 2023. [cit. 11-28-2024]. Dostupné z:
https://www.lalibre.be/belgique/societe/2023/03/28/le-fondateur-du-chatbot-eliza-reagit-a-notre-enquete-sur-le-suicide-dun-jeune-belge-VGN7HCUF6BFATBEPQ3CWZ7KKPM/.
⁹ EU. Nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci a mění nařízení (ES) č. 300/2008, (EU) č. 167/2013, (EU) č. 168/2013, (EU) 2018/858, (EU) 2018/1139 a (EU) 2019/2144 a směrnice 2014/90/EU, (EU) 2016/797 a (EU) 2020/1828 (akt o umělé inteligenci). (Text s významem pro EHP). In: Úřední věstník EU, 2024. Document 32024R1689. Dostupný v digitální podobě z: https://eur-lex.europa.eu/legal-content/cs/ALL/?uri=CELEX%3A32024R1689.
¹⁰ Definice podle čl. 3, odst. 1 AIA. 
¹¹ Evropský úřad pro umělou inteligenci. [online] Evropská komise, naposledy aktualizováno 21. listopadu 2024. [cit. 11-29-2024]. Dostupné z: https://digital-strategy.ec.europa.eu/cs/policies/ai-office.
¹² Systém sociálního kreditu v Číně funguje na principu pozitivního skóre (např. za včasné splácení půjček, dodržování dopravních předpisů, dobrovolnické činnosti) a naopak negativního skóre (např. za nepřístojné chování na veřejnosti, pozdní splácení účtů, šíření nepovolených informací na sociálních sítích). Lidé s vysokým sociálním skóre mohou získat půjčky s výhodným úrokem, mají lepší vyhlídky na kariérní postup, jejich žádosti jsou vyřizovány rychleji. Naopak lidé s nízkým skóre mohou být omezeni ve využívání veřejné dopravy, mohou mít také limitovaný přístup ke vzdělání pro jejich děti, případně se objeví na veřejných „černých listinách“.