Máte vo firme nového používateľa. Nie je to človek.

Dali by ste novému zamestnancovi prístup k firemným e-mailom, SharePointu, databázam, zdrojovému kódu či serverom bez toho, aby mal jasne určené oprávnenia a jeho činnosť bolo možné spätne skontrolovať?

Pravdepodobne nie. Napriek tomu presne týmto smerom dnes mnohé firmy smerujú pri zavádzaní umelej inteligencie.

Ešte donedávna bola generatívna AI predovšetkým nástrojom, ktorému človek položil otázku a dostal odpoveď. AI agent však dokáže oveľa viac. Môže dostať úlohu, určiť kroky potrebné na jej splnenie, pristupovať k ďalším systémom a v určitých prípadoch aj samostatne vykonať konkrétnu akciu.

• Môže vyhľadať informáciu v SharePointe.
• Pracovať s e-mailom.
• Analyzovať databázu.
• Spustiť skript.
• Upraviť zdrojový kód.
• Komunikovať s iným systémom prostredníctvom API.

A môže vykonať celú sériu krokov bez toho, aby používateľ každý z nich osobitne potvrdil.

V tej chvíli prestáva byť AI iba ďalším nástrojom na pracovnej ploche. Stáva sa aktívnou súčasťou firemnej IT infraštruktúry. A z pohľadu identity, prístupových práv a bezpečnosti sa k nej musíme začať správať podobne ako k ďalšiemu používateľovi alebo službe.

Chatbot odpovedal. Agent koná.

Pri klasickej generatívnej AI bol model používania pomerne jednoduchý. Používateľ zadal otázku alebo poskytol dokument. Model vytvoril odpoveď a tým sa interakcia vo väčšine prípadov skončila.

AI agent posúva túto hranicu výrazne ďalej. Môže mať k dispozícii nástroje, prístupové tokeny, API rozhrania alebo oprávnenia na prácu s ďalšími podnikovými systémami. Namiesto jednej odpovede môže vytvoriť plán a následne vykonať jednotlivé kroky potrebné na splnenie úlohy.

Rozdiel je zásadný: chatbot vie povedať, čo treba urobiť. AI agent to môže aj urobiť.

Preto sa bezpečnostná diskusia postupne presúva od otázky „Je bezpečné používať ChatGPT?“ k oveľa dôležitejšej: „Čo všetko môže AI v našom prostredí urobiť a s akými oprávneniami?“

Tento posun už vidíme aj pri bezpečnostných nástrojoch veľkých technologických spoločností. Microsoft napríklad rozširuje ochranu koncových zariadení aj o zisťovanie lokálne používaných AI agentov a MCP serverov.

Je to dôležitý signál. AI už nie je iba obsahová aplikácia. Stáva sa ďalším prvkom infraštruktúry, ktorý musí IT oddelenie poznať, spravovať a kontrolovať.

Vitaj v tíme. Čo všetko smieš?

Pri nástupe nového zamestnanca je postup pomerne jasný. Dostane používateľský účet. Je zaradený do príslušných skupín. Získa prístup iba k systémom a údajom, ktoré potrebuje na svoju prácu. Jeho prihlásenie je zabezpečené. Dôležité aktivity sa zaznamenávajú. A keď už prístup nepotrebuje, účet sa zablokuje alebo odstráni.

Pri AI agentoch by sme mali uvažovať podobne. Ak AI agent pristupuje k firemným systémom, firma by mala vedieť odpovedať aspoň na niekoľko základných otázok:

• Akú digitálnu identitu používa?
• Ku ktorým systémom má prístup?
• Ktoré údaje môže čítať?
• Čo môže meniť?
• Aké operácie môže vykonať?
• Ako sú chránené jeho prístupové údaje a tokeny?
• Zaznamenáva sa jeho činnosť?
• Vieme mu prístup okamžite odobrať?
• Vieme spätne zistiť, čo presne vykonal?

Tu sa dostávame k jednému zo základných princípov kybernetickej bezpečnosti: princípu minimálnych oprávnení – least privilege.

Agent, ktorý má analyzovať dokumenty, nepotrebuje právo tieto dokumenty mazať. Agent, ktorý pripravuje návrh e-mailu, nemusí mať automaticky právo e-mail aj odoslať. Agent, ktorý vytvára reporty z databázy, nepotrebuje administrátorské oprávnenia k databázovému serveru.

Znie to samozrejme. Rovnako samozrejmé však kedysi bolo, že každý používateľ nepotrebuje byť lokálnym administrátorom. Napriek tomu sa s tým v praxi stretávame dodnes.

API kľúč je tiež kľúč. A niekedy od celej firmy.

Pri používateľoch sme si zvykli hovoriť o heslách, viacfaktorovom overovaní, riadení prístupu alebo privilegovaných účtoch. Pri AI agentoch sa rovnaký problém často skrýva za technickejšími názvami: API kľúč. Prístupový token. Služobný účet. OAuth oprávnenie. Secret.

Z pohľadu bezpečnosti však nie je podstatné, ako sa konkrétny údaj nazýva. Rozhodujúce je, čo umožňuje. Ak odcudzený token poskytuje prístup k produkčnej databáze, je to v podstate digitálny kľúč od produkčného systému.

Ak AI agent používa identitu konkrétneho človeka, vzniká ďalší problém: dokážeme spätne rozlíšiť, čo vykonal používateľ a čo vykonal agent v jeho mene?

Správa identít preto už nebude riešiť iba zamestnancov, zariadenia a klasické aplikácie. Čoraz väčší význam budú mať aj digitálne identity služieb, automatizovaných procesov a AI agentov. A ich počet môže vo veľkých organizáciách veľmi rýchlo prekonať počet ľudských používateľov.

Shadow IT dostáva novú podobu: Shadow AI

IT oddelenia poznajú problém Shadow IT už celé roky. Zamestnanec si bez vedomia IT vytvorí účet v cloudovej službe, nahrá tam firemné dokumenty a firma sa o tom dozvie až neskôr – často úplnou náhodou.

AI tento problém ešte zrýchľuje. Používateľ si dnes môže v priebehu niekoľkých minút nainštalovať AI aplikáciu, nástroj na prácu s kódom alebo rozšírenie prehliadača a umožniť mu prístup k lokálnym súborom, repozitárom či cloudovým službám.

Vzniká tak nový problém označovaný ako Shadow AI – používanie AI nástrojov mimo kontroly a často aj mimo vedomia IT oddelenia.

Firma môže mať dokonale zdokumentované notebooky, servery a používateľské účty. Ale dokáže odpovedať na otázku: koľko AI nástrojov práve pracuje s našimi firemnými údajmi? A ešte dôležitejšie: ku ktorým údajom majú prístup?

Prvým krokom preto nemusí byť zákaz AI. Prvým krokom by mal byť prehľad. Pretože nemožno riadiť niečo, o čom nevieme, že v našom prostredí existuje.

Keď útok nečíta človek, ale AI

AI agenti prinášajú aj nové typy bezpečnostných rizík. Jedným z nich je prompt injection – situácia, keď sa útočník pokúsi prostredníctvom obsahu, ktorý AI spracúva, podsunúť modelu škodlivú alebo neželanú inštrukciu.

Predstavme si AI agenta, ktorého úlohou je spracovávať dokumenty alebo webové stránky. Jeden z dokumentov však obsahuje text pripravený tak, aby ovplyvnil správanie AI. Človek ho môže považovať za bezvýznamnú časť dokumentu. AI ho však môže vyhodnotiť ako pokyn.

Samotná nesprávna odpoveď AI môže byť nepríjemná. Situácia je však oveľa vážnejšia vtedy, keď má agent zároveň prístup k ďalším systémom a právo vykonávať v nich zmeny.

Rozdiel medzi „AI vytvorila nesprávnu odpoveď“ a „AI vykonala nesprávnu operáciu v produkčnom prostredí“ je obrovský.

Preto bezpečnosť AI nemôže byť postavená iba na kvalite samotného modelu. Rovnako dôležité je, aké má agent oprávnenia, k čomu má prístup a čo mu systém dovolí vykonať bez ďalšieho potvrdenia.

„Čo sa vlastne stalo?“ nesmie zostať bez odpovede

Predstavme si jednoduchú situáciu. AI agent má pripraviť report. Pri jeho vytváraní pristúpi k databáze, následne k SharePointu, otvorí niekoľko dokumentov, využije externé API a pripraví výsledok. O dva dni sa zistí, že niečo nebolo v poriadku.

Čo teraz? Potrebujeme vedieť:

• K akým údajom pristupoval?
• Aké informácie získal?
• Aké kroky vykonal?
• Aké nástroje použil?
• Čo zmenil?
• A prostredníctvom akej identity tieto operácie vykonal?

Bez kvalitného zaznamenávania udalostí bude vyšetrovanie incidentu pripomínať rekonštrukciu dopravnej nehody bez kamier, svedkov a stôp.

Preto sa pri AI agentoch stáva čoraz dôležitejšou auditná stopa. Musíme byť schopní spätne zrekonštruovať, čo sa stalo.

Automatizácia totiž dokáže výrazne zvýšiť efektivitu. Ale až automatizácia doplnená o kontrolu, monitoring a audit vytvára prostredie, ktorému môže firma dôverovať.

Monitoring už nebude sledovať iba servery

Klasický IT monitoring sleduje dobre známe ukazovatele: CPU, pamäť, disky, sieť, databázy, aplikácie a dostupnosť služieb. Bezpečnostný monitoring k tomu pridáva používateľské účty, zariadenia, neštandardné správanie, sieťovú komunikáciu a pokusy o útok.

AI agent prináša ďalšiu vrstvu. Nebude dôležité iba to, či funguje. Budeme chcieť vedieť aj:

• Čo robí?
• Ku ktorým systémom pristupuje?
• Ako často vykonáva jednotlivé operácie?
• Nezmenilo sa náhle jeho správanie?
• Nevykonáva niečo, čo predtým nikdy nerobil?

To je zásadná zmena. Pri serveri môže byť varovným signálom procesor, ktorý zrazu dlhodobo pracuje na 100 %. Pri AI agentovi môže byť varovným signálom to, že začne pristupovať k údajom, ktoré dovtedy nikdy nepotreboval.

Monitoring sa tak postupne posúva od jednoduchého „Je systém dostupný?“ k oveľa komplexnejšej otázke: „Správa sa systém tak, ako očakávame?“

AI nepotrebuje administrátora. Potrebuje hranice.

Pri zavádzaní nového riešenia býva technicky najjednoduchšie udeliť mu široké oprávnenia. Všetko potom funguje. A práve v tom spočíva problém.

Bezpečne navrhnutý AI agent by mal mať jasne určené hranice. Čo môže čítať. Čo môže meniť. Čo môže vykonávať samostatne. A pri čom musí operáciu schváliť človek.

Nie každá činnosť totiž predstavuje rovnaké riziko. AI môže napríklad samostatne:

• zhromažďovať údaje,
• analyzovať logy,
• pripraviť návrh reportu,
• kategorizovať incident,
• vytvoriť odporúčanie.

Pri citlivejších operáciách, ako sú:

• mazanie údajov,
• zmena bezpečnostného pravidla,
• vytvorenie privilegovaného účtu,
• nasadenie zmeny do produkčného prostredia,
• finančná transakcia,

môže byť stále potrebné povinné schválenie človekom.

Cieľom nie je autonómiu AI odstrániť. Cieľom je presne určiť, kde sa jej autonómia končí.

Šesť otázok, ktoré by si dnes mala položiť každá firma

Skúste si odpovedať:

• Vieme, aké AI nástroje a agentov naši zamestnanci používajú?
• Vieme, ku ktorým firemným údajom majú prístup?
• Majú jasne určenú digitálnu identitu a oprávnenia?
• Dokážeme spätne dohľadať ich činnosť?
• Dokážeme im v prípade potreby okamžite odobrať prístup?
• Máme určené operácie, ktoré AI nesmie vykonať bez schválenia človekom?

Ak je pri viacerých otázkach odpoveď „nevieme“, nie je to automaticky dôvod AI zakázať. Je to však veľmi dobrý dôvod začať ju riadiť ako súčasť firemného IT prostredia.

AI už nie je experiment. Stáva sa súčasťou firemného riadenia.

Používanie umelej inteligencie sa postupne presúva z fázy individuálnych experimentov do bežných podnikových procesov. S tým sa mení aj zodpovednosť firiem.

Už nejde iba o otázku, ktorý AI nástroj prináša najlepšie výsledky. Čoraz dôležitejšie bude vedieť:

• Kto alebo čo má prístup?
• K akým údajom?
• Za akých podmienok?
• Kto činnosť kontroluje?
• A dokážeme spätne preukázať, čo sa stalo?

Tieto otázky pritom nie sú špecifické iba pre AI. Sú to základné otázky dobre spravovaného IT prostredia. AI ich iba robí ešte naliehavejšími.

AI je nový kolega. Len nikdy nejde domov.

Firmy budú AI agentov využívať čoraz viac. Dáva to zmysel. Dokážu odstrániť rutinnú prácu, reagovať rýchlejšie než človek, spracovať veľké množstvo informácií a vykonávať procesy nepretržite.

Práve tieto výhody však prinášajú aj nové riziká. AI agent sa neunaví. Nejde na obed. Nečaká do rána. A ak má oprávnenie vykonať tisíc operácií, môže ich vykonať veľmi rýchlo.

Preto by sme sa na AI agentov nemali pozerať iba ako na ďalší softvér. Z pohľadu bezpečnosti sú to nové digitálne identity v našej infraštruktúre.

A každá digitálna identita potrebuje pravidlá. Správne nastavené oprávnenia. Monitoring. Audit. A možnosť okamžite povedať: Stop. Ďalej už nemôžeš.

AI môže byť mimoriadne schopný nový kolega. Len mu nedávajme univerzálny kľúč od celej firmy hneď v prvý pracovný deň.