Aká bezpečná je umelá inteligencia?

Umelá inteligencia sa dostáva do mnohých oblastí nášho života. S týmto rozšírením vznikajú aj nové bezpečnostné výzvy a hrozby. V čase, keď sa UI stáva kľúčovým hráčom v procesoch automatizácie a rozhodovania, je nevyhnutné venovať pozornosť otázkam bezpečnosti, aby sme zabezpečili spoľahlivosť a bezpečnosť systémov UI. Zároveň je dobré pozrieť sa na to, ako dokáže UI zvýšiť bezpečnosť existujúcich aplikácií, dát a IT infraštruktúry.

Od klasických programov k UI

Je nevyhnutné pochopiť zásadné rozdiely v bezpečnosti medzi klasickými aplikáciami a umelou inteligenciou. Klasické aplikácie sú navrhnuté a naprogramované na vykonávanie konkrétnych úloh podľa preddefinovaných pravidiel. Ich správanie je deterministické a predvídateľné. Ak sa objaví problém, je možné identifikovať chybu a opraviť ju prostredníctvom aktualizácií a záplat. Tento proces je dobre známy a systematický, čo umožňuje rýchle a efektívne zvládanie bezpečnostných hrozieb.

Naopak, umelej inteligencii chýba deterministické spávanie. Umelá inteligencia sa vyvíja a adaptuje prostredníctvom iteratívneho trénovania na dátach. To znamená, že jej správanie je často komplexné a nepredvídateľné. Dokonca aj malá zmena vo vstupných dátach môže viesť k významným rozdielom vo výstupoch UI. V prípade UI, ktorá produkuje nevhodné výstupy, nie je možné mechanicky identifikovať a opraviť zdroj tohto nepredvídateľného správania. Bezpečnosť UI je preto komplexnejšia a vyžaduje širší rozsah ochranných opatrení.

Vysvetliteľná UI predstavuje kľúčový koncept v súčasnom vývoji technológií, ktorý zabezpečuje, že UI nie je len čiernou skrinkou, ktorá vydáva výsledky bez akéhokoľvek pochopenia, ako k nim dospela. Na začiatku bola vysvetliteľná UI pre vysoké náklady považovaná len za voliteľnú „prídavnú funkciu“, ale postupne sa stala nevyhnutnou súčasťou produktov, najmä v odvetviach podliehajúcich prísnym reguláciám, ako sú finančný sektor, zdravotníctvo a pod. Vysvetliteľná UI umožňuje lepšie monitorovanie a overovanie správania systému a lepšiu identifikáciu potenciálnych bezpečnostných hrozieb. Týmto spôsobom prispieva k posilneniu kybernetickej bezpečnosti a zvyšuje dôveru v inteligentné systémy a ich používanie v kritických odvetviach.

UI ako zbraň

Lokálne modely generatívnej umelej inteligencie s otvoreným zdrojovým kódom priniesli demokratizáciu umožňujúcu široké využitie UI. Avšak tento trend viedol k tzv. weaponizácii, čo znamená použitie UI ako zbrane. Tento jav sa prejavil prostredníctvom hackermi upravených modelov UI, ktoré obchádzali etické a bezpečnostné nastavenia. Medzi známe príklady takýchto modelov patria WormGPT, PoisonGPT, EvilGPT a FraudGPT.

Generatívna UI sa používa na masívny vývoj nových druhov škodlivých kódov (exploitov) a na sofistikovanejšie kybernetické útoky. Podľa spoločnosti DarkTrace [1] bol zaznamenaný 135 % nárast útokov sociálneho inžinierstva s podporou UI v priebehu jedného mesiaca od januára do februára 2023. Tento rapídny nárast koreluje s rýchlym rozšírením používania ChatGPT. Hrozby s podporou UI sú významným problémom, pričom 93 % opýtaných bezpečnostných profesionálov v roku 2023 očakávalo, že takéto hrozby ovplyvnia ich organizáciu. Malvér vytvorený generatívnou UI (napríklad polymorfné vírusy) bol uvedený ako hlavný problém.

Hrozby útokov pripravovaných pomocou generatívnej UI neustále narastajú, pre účely tohto článku ich môžeme rozdeliť do troch hlavných skupín:

  • Prelomenie zabezpečenia (jailbreak): napriek obrovskému úsiliu sa zvyšuje počet úspešných prelomení verejne dostupných UI modelov. Hlavným problémom je, že na takéto prelomenie nie je potrebná znalosť kódu, stačí byť kreatívnym a jazykovo zdatným – treba „unaviť“ a „oklamať“ systém založený na generatívnej UI. Takto kompromitovaný model môže odhaliť citlivé dáta, ktoré boli použité pri jeho trénovaní – či už ide o osobné a firemné údaje, alebo môže byť použitý na generovanie výslovne škodlivého obsahu [2].
  • Otrávenie dát (data poisoning): niektoré webové stránky využívajú hackeri na podhodenie nepravdivých a zavádzajúcich informácií do procesu učenia, ktoré môžu následne výrazne poškodiť kvalitu, spoľahlivosť alebo funkčnosť UI modelov. Ak tieto dáta nie sú včas odhalené, prináša to reputačné riziká pre celú firmu alebo vytvorenie priestoru na ďalší útok [3].
  • Inteligentnejšie podvody: škodlivo upravené UI produkty používajú hackeri inovatívnymi spôsobmi – na voice phishing (vishing) a smishing (sms) [4]. Vygenerujú napríklad interaktívne a realisticky pôsobiace telefonáty (hlas i obraz), ktoré pripravia firmy o veľké peniaze, pretože imitujú obraz a zvuk ich riaditeľa a prikážu účtovníčkam previesť peniaze na úplne iný, neznámy účet.

Firemná stratégia kybernetickej bezpečnosti UI

Každá firma, ktorá pracuje s UI produktmi alebo plánuje ich nasadenie, by mala vypracovať stratégiu bezpečnosti UI. Tá by mala zahrnovať nasledujúce body:

  • Definíciu pravidiel bezpečného využívania verejne dostupných UI produktov a UI vývojových platforiem vrátane obmedzenia prítomnosti neznámych rozšírení tretích strán.
  • Zabezpečenie štandardnej IT infraštruktúry pred útokmi využívajúcimi škodlivú UI. Preto sa odporúča nasadenie bezpečnostných produktov, ktoré sú schopné efektívne detegovať a riešiť nové bezpečnostné hrozby využívajúce UI.
  • Ochranu koncových používateľov pred možnými negatívnymi dôsledkami umelej inteligencie vo forme škodlivých alebo nepravdivých odpovedí. Aby sme dosiahli tento cieľ, je nevyhnutné implementovať mechanizmy overovania faktov a systematicky nasadzovať ochranné prvky (tzv. vodoznaky a pod.). Rovnako dôležitý je záložný plán v prípade, že náš UI chatbot začne generovať škodlivý obsah alebo poskytovať fakticky nesprávne, no uveriteľné odpovede.
  • Zabezpečenie transparentnosti (vysvetliteľnosti) modelov a zároveň implementovanie princípu zero trust. Tento princíp znamená, že žiadne zariadenie alebo používateľ sa automaticky nepovažujú za dôveryhodné. Každý z účastníkov sa musí podieľať na ochrane pred útočníkmi vybavenými škodlivou generatívnou UI. Zlyhanie, najmä v dôsledku ľudského faktora, sa musí okamžite hlásiť, aby sa predišlo podstatne väčším škodám.
  • Organizáciu pravidelných školení, pretože len bdelí používatelia môžu zastaviť postup UI útokov.
  • Realizáciu pravidelných penetračných testovaní svojich vyvinutých UI modelov a vlastných dát, prostredníctvom interných aj externých tímov. Tieto testy slúžia nielen na odhalenie zraniteľností, ale aj na ochranu renomé firmy.

Riadenie rizík

Riadenie rizík (risk management) a auditovanie súladu s bezpečnostnými predpismi predstavujú základné stavebné prvky zabezpečenia systémov UI. Efektívna ochrana vyžaduje, aby boli kontroly bezpečnosti nielen komplexné, ale aj systematicky opakované, ideálne s využitím automatizácie.

Neoddeliteľnou súčasťou novej bezpečnostnej stratégie je pravidelné monitorovanie zmien v konfigurácii IT infraštruktúry pomocou UI aplikácií a promptné adresovanie zraniteľných bodov v systéme – počnúc vývojom a administráciou, posilnením štandardných techník monitorovania a končiac odolným záložným riešením (backup a archivácia). Zásadnú úlohu zohrávajú odborníci schopní rozpoznať a analyzovať nové, neštandardné vektory útokov, ako aj anomálie alebo vzorce správania, ktoré by mohli naznačovať bezpečnostné riziko. Zvyšovanie odbornosti a schopností kybernetického tímu prostredníctvom špecializovaných školení o generatívnej UI je nevyhnutné. Súčasťou toho je ochrana používateľov, partnerov i zákazníkov pred nechcenými chybami a prezradením citlivých dát.

Spoločnosť DXC Technology poskytuje svojim klientom pravidelný a automatizovaný bezpečnostný audit ako štandardnú súčasť svojich služieb, čím zabezpečuje neustále dodržiavanie požiadaviek certifikácie podľa ISO/IEC normy skupiny 27xxx, ISO 22301, SOC2 a TISAX a v spolupráci s globálnymi hráčmi na zabezpečenie infraštruktúry a UI modelov pomocou generatívnej UI poskytuje zákazníkom vysokú úroveň ochrany pred útokmi a hrozbami.

Bezpečnostné UI produkty

Vytváranie nástrojov UI na ochranu infraštruktúry a bezpečné používanie produktov generatívnej UI je náročný proces, nielen finančne, ale aj časovo. Tieto nástroje majú za cieľ chrániť infraštruktúru pred UI malvérom a sofistikovanými útokmi, ako aj zabezpečiť ochranu pred narušením súkromia, šírením škodlivého obsahu a únikom citlivých osobných alebo firemných údajov. Ich vývojom sa zaoberajú predovšetkým firmy so skúsenosťami v oblasti predchádzajúcich generácií UI, ktoré pracovali s metódami strojového učenia. V súčasnosti všetci relevantní hráči v oblasti IT bezpečnosti integrovali generatívnu UI ako významnú súčasť svojho monitorovacieho a automatizačného portfólia. To zahŕňa spoločnosti ako Microsoft (jeho produkty Defender, Purview, Security Copilot), AWS (Bedrock a Sage Maker), Google (Gemini in Security Operations a Gemini in Threat Intelligence), Crowdstrike (Charlotte AI), VMware (Private AI), Zscaler (Zero Trust Exchange) a ďalšie. Bezpečnostné produkty založené na modeloch generatívnej UI výrazne zredukovali výskyt falošne pozitívnych aj falošne negatívnych udalostí. Tieto nástroje pomáhajú s úlohami, ktoré by inak boli pre bezpečnostných expertov alebo štandardné nástroje pomerne zložité a časovo náročné.

Záver

V dynamicky sa rozvíjajúcom svete UI stojíme na prahu revolučných zmien, ktoré prinášajú nesmierny potenciál pre pokrok v mnohých oblastiach – od výskumu až po výrobu, obchod a služby. Avšak s rastúcou integráciou UI do každodenného života sa zvyšuje aj potreba zabezpečiť, aby tieto technológie boli inovatívne a zároveň bezpečné.

V nasledujúcom článku sa budeme venovať ďalšiemu rozmeru tejto debaty: regulácii UI. Regulácia UI by mala byť navrhnutá tak, aby neobmedzovala inovačný potenciál, ale zároveň chránila verejnosť pred možnými rizikami. Určite, bezpečnostné opatrenia sú nevyhnutné. Musíme však nájsť rovnováhu, ktorá umožní firmám slobodne a pritom zodpovedne pokračovať v inováciách na poli UI.

Zdroje

[1] Tackling the Soft Underbelly of Cyber Security – Email Compromise. Darktrace. [online]. Publikované 1. 4. 2023. 

[2] Plumb, T.: With little urging, Grok will detail how to make bombs, concoct drugs (and much, much worse). VentureBeat. [online]. Publikované 4. 4. 2024. 

[3] Fox, J.: Data Poisoning Attacks: A New Attack Vector within AI. Cobalt. [online]. Publikované 26. 7. 2023. 

[4] Fadilpaľšić, S.: How Hackers Use Generative AI in Their Attacks and What We Can Do About It. [online]. Publikované 26. 4. 2023. 

Marián Možucha
marian.mozucha@dxc.com

Peter Hanzlík
peter.hanzlik@dxc.com

DXC Technology