Przez ostatnie lata organizacje zdążyły przyzwyczaić się do tego, że nowe technologie zwykle pojawiają się szybciej niż mechanizmy ich kontroli. Tak wyglądała masowa adopcja usług cloud, tak wyglądał rozwój SaaS, DevOps czy pracy zdalnej. Najpierw następowała szybka adopcja biznesowa, później dopiero pojawiały się procedury bezpieczeństwa, governance, compliance i monitoring ryzyka. Sztuczna inteligencja rozwija się dokładnie według tego samego schematu – z tą różnicą, że jej wpływ na organizacje może być znacznie głębszy niż w przypadku większości wcześniejszych technologii.

Projekt polskiej ustawy o systemach sztucznej inteligencji jest więc czymś więcej niż tylko lokalnym elementem wdrażania unijnego AI Act. To bardzo wyraźny sygnał, że AI zaczyna być traktowane jako obszar wymagający formalnego nadzoru, kontroli ryzyka, audytowalności i odpowiedzialności organizacyjnej. I właśnie to jest najważniejsza zmiana. Nie chodzi wyłącznie o kolejną regulację dotyczącą technologii. Chodzi o zmianę modelu myślenia o AI – z narzędzia produktywności w kierunku pełnoprawnego komponentu enterprise governance, cyber resilience i trust architecture.

AI przestaje być „warstwą eksperymentalną”.

Do tej pory wiele organizacji traktowało modele generatywne jako relatywnie nieformalną warstwę wspierającą pracę zespołów. AI pojawiało się oddolnie: w supportcie, developmentcie, marketingu, HR, analizie danych czy operacjach biznesowych. Z biznesowego punktu widzenia wszystko wyglądało bardzo atrakcyjnie. Możliwość automatyzacji procesów, szybszego tworzenia treści, generowania kodu, podsumowań, analiz czy odpowiedzi dla klientów powodowała, że wdrożenia AI zaczęły rozwijać się znacznie szybciej niż jakiekolwiek mechanizmy governance wokół nich. W praktyce oznacza to jednak, że w wielu organizacjach modele AI już dziś:

• przetwarzają dane klientów,
• analizują informacje operacyjne,
• wspierają procesy decyzyjne,
• uczestniczą w analizie incydentów,
• generują fragmenty kodu,
• wpływają na klasyfikację ryzyka,
• oraz pośrednio zaczynają uczestniczyć w procesach compliance.

I właśnie tutaj zaczyna się problem. Przez długi czas AI funkcjonowało bardziej jako „narzędzie użytkownika” niż element krytycznej infrastruktury organizacyjnej. Tymczasem regulacje europejskie coraz wyraźniej pokazują, że modele AI zaczynają być postrzegane podobnie jak inne komponenty wysokiego zaufania: platformy cloud, systemy IAM, PKI, infrastruktura telemetryczna czy rozwiązania security automation. To fundamentalna zmiana podejścia. W praktyce oznacza ona, że organizacje będą musiały zacząć odpowiadać na pytania:

• kto odpowiada za system AI?
• jakie dane trafiają do modeli?
• jakie decyzje wspierane są przez AI?
• czy istnieje możliwość odtworzenia procesu decyzyjnego?
• jakie mechanizmy bezpieczeństwa chronią dane?
• czy organizacja posiada realną kontrolę nad przepływem informacji?

Dla wielu firm może to być pierwszy moment, w którym okaże się, że AI rozwijało się wewnątrz organizacji praktycznie poza jakąkolwiek centralną widocznością.

Co faktycznie zmienia polska ustawa?

W debacie publicznej łatwo odnieść wrażenie, że Polska tworzy własne, niezależne przepisy dotyczące sztucznej inteligencji. W rzeczywistości głównym źródłem obowiązków pozostaje unijny AI Act, który jako rozporządzenie obowiązuje bezpośrednio we wszystkich państwach członkowskich. Rola polskiej ustawy jest inna. Jej zadaniem jest stworzenie krajowego systemu nadzoru, określenie kompetencji organów odpowiedzialnych za kontrolę oraz zbudowanie procedur umożliwiających praktyczne egzekwowanie przepisów. Z perspektywy organizacji oznacza to przejście od teoretycznych wymagań regulacyjnych do realnego modelu nadzoru.

Projekt przewiduje między innymi utworzenie Komisji Rozwoju i Bezpieczeństwa Sztucznej Inteligencji, która ma pełnić rolę centralnego organu odpowiedzialnego za koordynację działań związanych z AI. Istotnym elementem są również piaskownice regulacyjne, które mają umożliwić testowanie nowych rozwiązań w kontrolowanych warunkach, zanim trafią one do szerszego wykorzystania. Dla przedsiębiorców najważniejsza jest jednak inna zmiana. Pojawia się formalny mechanizm kontroli oraz możliwość weryfikacji sposobu wykorzystywania systemów AI przez organizacje.

W praktyce oznacza to, że dokumentacja, procesy zarządzania ryzykiem, nadzór nad modelami czy możliwość audytu działania systemu przestają być wyłącznie dobrymi praktykami. Stopniowo stają się elementami, które mogą podlegać ocenie regulatora.

Nie każde AI podlega tym samym wymaganiom.

Jednym z najczęstszych nieporozumień wokół AI Act jest przekonanie, że wszystkie systemy sztucznej inteligencji będą traktowane w identyczny sposób. Tak nie jest. Cała konstrukcja regulacji opiera się na podejściu opartym o ryzyko. Inne wymagania będą dotyczyły prostego narzędzia wspomagającego tworzenie treści marketingowych, a inne systemu uczestniczącego w procesach rekrutacyjnych, ocenie zdolności kredytowej, analizie danych medycznych czy wspieraniu decyzji administracyjnych.

To właśnie dlatego jednym z najważniejszych wyzwań najbliższych lat będzie klasyfikacja systemów AI wykorzystywanych w organizacjach.

Dla wielu firm pierwszym problemem nie będzie spełnienie wymagań regulacyjnych. Pierwszym problemem będzie ustalenie, które systemy AI rzeczywiście posiadają znaczenie regulacyjne i jakie obowiązki wynikają z ich wykorzystania. W praktyce oznacza to konieczność stworzenia przynajmniej podstawowej widoczności wykorzystania AI w organizacji. Nie można skutecznie zarządzać ryzykiem czegoś, czego nie potrafi się zidentyfikować.

To dokładnie ten sam problem, który przez lata występował w obszarze certyfikatów cyfrowych, usług cloud czy zarządzania tożsamością.

AI Shadow IT już istnieje.

To jeden z najciekawszych aspektów obecnej sytuacji. W wielu środowiskach enterprise modele generatywne funkcjonują już jako nieformalna warstwa operacyjna poza standardowym governance. Działy biznesowe wdrażają AI szybciej niż organizacje są w stanie budować procedury bezpieczeństwa, polityki wykorzystania danych czy mechanizmy kontroli. Support wykorzystuje publiczne modele LLM do przygotowywania odpowiedzi dla klientów. Programiści generują fragmenty kodu w zewnętrznych narzędziach AI. Marketing analizuje dane klientów przy pomocy platform generatywnych. HR zaczyna eksperymentować z preselekcją kandydatów przy wsparciu modeli AI.

Największy problem polega jednak na tym, że organizacje bardzo często nie posiadają pełnej widoczności tych procesów.

Tickety supportowe, logi aplikacyjne, dokumentacja techniczna, fragmenty konfiguracji, dane operacyjne czy informacje biznesowe zaczynają trafiać do modeli AI bez formalnej klasyfikacji danych, oceny ryzyka, kontroli retencji informacji czy pełnej analizy przepływu danych. To bardzo przypomina początki shadow IT oraz niekontrolowanej adopcji usług cloud. Firmy również przez długi czas nie wiedziały wtedy:

• jakie usługi są wykorzystywane?
• kto przesyła dane poza organizację?
• jakie zależności powstają pomiędzy systemami?
• jakie ryzyko generują te procesy?

Różnica polega na tym, że modele AI nie są wyłącznie pasywnym miejscem przechowywania danych. Coraz częściej uczestniczą w analizie informacji, generowaniu rekomendacji oraz wspieraniu decyzji biznesowych. W praktyce oznacza to, że AI zaczyna wpływać nie tylko na confidentiality danych, ale również na integralność procesów organizacyjnych. I właśnie dlatego AI governance coraz mocniej zaczyna wchodzić w obszar cyber governance.

AI governance zaczyna przypominać wcześniejsze problemy związane z PKI i identity.

W środowiskach security bardzo dobrze widać pewną powtarzalność. Największe problemy organizacyjne rzadko wynikały wyłącznie z samej technologii. Problemy zwykle pojawiały się wtedy, gdy organizacja traciła widoczność: nad certyfikatami, tożsamościami, zależnościami systemowymi, kluczami kryptograficznymi, usługami cloud albo przepływem danych. AI zaczyna generować dokładnie ten sam typ ryzyka. Wiele organizacji nie posiada dziś pełnej odpowiedzi na pytania:

• które procesy wykorzystują modele AI?
• jakie dane trafiają do dostawców?
• czy modele objęte są loggingiem?
• kto posiada dostęp administracyjny,?
• jakie decyzje wspierane są przez AI?
• czy istnieje możliwość odtworzenia ścieżki decyzyjnej?
• czy organizacja posiada mechanizmy kontroli nad lifecycle danych wykorzystywanych przez modele?

To szczególnie istotne w kontekście AI Act, ponieważ europejskie regulacje coraz wyraźniej przesuwają ciężar z samej technologii na governance, accountability oraz risk management. W praktyce oznacza to, że organizacje będą musiały budować wokół AI dokładnie te same mechanizmy, które wcześniej rozwijały wokół: identity governance, cloud governance, PKI, telemetry, vendor risk management, security monitoring czy zarządzania dostępem uprzywilejowanym. I właśnie tutaj zaczyna pojawiać się bardzo interesujący trend. AI governance coraz częściej przestaje być wyłącznie tematem compliance albo działów prawnych. Coraz mocniej zaczyna interesować zespoły security, architektów, specjalistów IAM, osoby odpowiedzialne za cyber resilience oraz zespoły zajmujące się operational risk.

AI i dane osobowe nie funkcjonują w oddzielnych światach.

Uwagi Prezesa UODO do projektu ustawy bardzo dobrze pokazują problem, który wiele organizacji nadal próbuje traktować rozdzielnie: AI governance i data protection w praktyce są dziś silnie zależne od siebie. Modele AI coraz częściej operują na danych: klientów, pracowników, kandydatów do pracy, danych medycznych, informacji finansowych, danych telemetrycznych czy dokumentacji operacyjnej. To oznacza, że większość organizacji wdrażających AI automatycznie wchodzi jednocześnie w obszar: RODO, cyberbezpieczeństwa, kontroli dostępu, retencji danych, vendor governance oraz odpowiedzialności za decyzje wspierane przez modele. I właśnie tutaj pojawiają się najtrudniejsze problemy operacyjne. Wiele organizacji nadal nie posiada pełnej odpowiedzi na pytania:

• gdzie trafiają dane przesyłane do modeli?
• czy dane wykorzystywane są do dalszego treningu?
• jakie mechanizmy izolacji danych stosuje dostawca?
• jak wygląda retencja danych?
• czy organizacja posiada możliwość wymuszenia usunięcia danych?
• jakie telemetry i logi dostępne są dla audytu bezpieczeństwa?
• oraz czy istnieje możliwość pełnego śledzenia przepływu informacji pomiędzy systemami AI a środowiskiem organizacji?

W praktyce AI zaczyna więc bardzo mocno wpływać na klasyczny model trust architecture organizacji. I właśnie dlatego temat AI governance coraz częściej zaczyna być analizowany równolegle z:
NIS2, DORA, ISO 27001, cloud governance oraz operational resilience.

Dlaczego temat szczególnie dotyczy sektorów regulowanych?

Wpływ nowych regulacji będzie odczuwalny praktycznie w każdej organizacji wykorzystującej sztuczną inteligencję. Istnieją jednak sektory, w których konsekwencje wdrażania AI mogą być znacznie szersze niż sama zgodność z AI Act. Dotyczy to przede wszystkim środowisk regulowanych, gdzie już dziś obowiązują rozbudowane wymagania dotyczące bezpieczeństwa informacji, integralności danych, audytowalności procesów oraz zarządzania ryzykiem. W takich organizacjach AI nie będzie oceniane wyłącznie przez pryzmat efektywności biznesowej czy produktywności użytkowników. Znacznie ważniejsze stają się pytania dotyczące możliwości wyjaśnienia działania modelu, kontroli nad danymi wejściowymi, odtwarzalności wyników, zarządzania zmianą oraz odpowiedzialności za decyzje wspierane przez sztuczną inteligencję.

W sektorze ochrony zdrowia sztuczna inteligencja coraz częściej wykorzystywana jest do analizy dokumentacji medycznej, wspierania procesów administracyjnych, komunikacji z pacjentami czy przetwarzania dużych zbiorów danych klinicznych. Wyzwaniem nie jest jednak samo wykorzystanie AI, lecz możliwość wykazania, że rekomendacje generowane przez model nie osłabiają kontroli nad procesem klinicznym, nie wpływają negatywnie na bezpieczeństwo danych oraz pozostają zgodne z obowiązującymi wymaganiami regulacyjnymi. Jeszcze bardziej widoczne jest to w środowiskach farmaceutycznych i GxP, gdzie od lat funkcjonują rygorystyczne wymagania dotyczące integralności danych, walidacji systemów komputerowych oraz możliwości odtworzenia procesów mających wpływ na jakość i zgodność regulacyjną. Wprowadzenie AI do procesów jakościowych, dokumentacyjnych, walidacyjnych czy analitycznych oznacza konieczność odpowiedzi na pytania dotyczące walidacji modeli, kontroli zmian, nadzoru nad danymi wykorzystywanymi przez modele oraz możliwości audytu wygenerowanych rezultatów.

W sektorze finansowym sytuacja wygląda podobnie. Banki, instytucje płatnicze czy firmy inwestycyjne od lat wykorzystują zaawansowane modele analityczne do oceny ryzyka, wykrywania nadużyć i wspierania procesów decyzyjnych. Wraz z popularyzacją generatywnej AI rośnie znaczenie transparentności działania modeli, możliwości wyjaśnienia wyników oraz kontroli ryzyka modelowego. Obszary te zaczynają coraz mocniej przenikać się z wymaganiami wynikającymi nie tylko z AI Act, ale również z regulacji takich jak DORA czy istniejące przepisy sektorowe dotyczące zarządzania ryzykiem operacyjnym.

Podobne wyzwania pojawiają się w branży ubezpieczeniowej. Organizacje wykorzystujące AI do oceny ryzyka, analizy szkód czy automatyzacji obsługi klientów będą musiały zwracać coraz większą uwagę na jakość danych wejściowych, możliwość uzasadnienia rekomendacji generowanych przez modele oraz zachowanie odpowiedniego poziomu nadzoru człowieka nad procesami mającymi wpływ na klientów.

W praktyce oznacza to, że dla wielu organizacji AI governance nie stanie się nowym, odrębnym obszarem zarządzania. Znacznie częściej będzie naturalnym rozszerzeniem istniejących już procesów związanych z cyberbezpieczeństwem, ochroną danych, compliance, zarządzaniem ryzykiem oraz zapewnieniem zgodności regulacyjnej. I właśnie dlatego sektory regulowane mogą znaleźć się wśród pierwszych organizacji, które będą zmuszone przejść od eksperymentowania z AI do budowania pełnoprawnego modelu governance wokół sztucznej inteligencji.

AI security tworzy nową warstwę attack surface.

Przez długi czas bezpieczeństwo AI traktowane było bardziej jako niszowy temat badawczy niż realny problem enterprise security. Dziś sytuacja wygląda już zupełnie inaczej. Modele generatywne oraz integracje AI zaczynają funkcjonować jako nowy komponent enterprise attack surface. Organizacje muszą brać pod uwagę nie tylko klasyczne podatności aplikacyjne, ale również:

• prompt injection,
• data poisoning,
• model poisoning,
• adversarial inputs,
• abuse of context windows,
• wycieki danych przez modele generatywne,
• niekontrolowane pluginy AI,
• ryzyka wynikające z integracji modeli z systemami biznesowymi.

To bardzo istotna zmiana, ponieważ wiele standardowych mechanizmów security zostało zaprojektowanych dla infrastruktury deterministycznej. Tymczasem modele AI operują probabilistycznie i dynamicznie, co znacząco utrudnia klasyczne podejście do kontroli bezpieczeństwa. W praktyce oznacza to konieczność budowania nowych warstw governance: monitoringu promptów, kontroli przepływu danych, telemetry AI, segmentacji integracji, ograniczania zakresu danych przekazywanych do modeli oraz walidacji wyników generowanych przez AI. I właśnie tutaj wiele organizacji może popełnić dokładnie ten sam błąd, który wcześniej popełniały przy adopcji cloud computing. Najpierw pojawia się szybka adopcja technologii. Dopiero później organizacje próbują odzyskać widoczność, monitoring, kontrolę i governance nad środowiskiem, które zdążyło już rozrosnąć się poza standardowe procesy bezpieczeństwa.

AI, compliance i odpowiedzialność zarządcza.

Jednym z najciekawszych skutków AI Act może być przesunięcie odpowiedzialności za sztuczną inteligencję z poziomu pojedynczych zespołów technologicznych na poziom całej organizacji. Przez wiele lat decyzje dotyczące wdrażania nowych narzędzi były często podejmowane lokalnie przez konkretne działy biznesowe. AI zmienia ten model. Jeżeli model uczestniczy w procesach wpływających na klientów, pracowników, bezpieczeństwo informacji lub realizację obowiązków regulacyjnych, jego wykorzystanie przestaje być wyłącznie decyzją technologiczną. Coraz częściej będzie wymagało współpracy pomiędzy: zespołami IT, bezpieczeństwa, compliance, ochrony danych, działami prawnymi oraz właścicielami procesów biznesowych. To zjawisko bardzo przypomina ewolucję cyberbezpieczeństwa w ostatnich latach. Bezpieczeństwo przestało być problemem administratorów i stało się elementem zarządzania organizacją. AI prawdopodobnie podąży dokładnie tą samą drogą.

Największy problem nie będzie technologiczny.

Historia cyberbezpieczeństwa wielokrotnie pokazywała, że największe incydenty rzadko wynikały wyłącznie z pojedynczej podatności technicznej. Największym problemem bardzo często był brak widoczności oraz brak ownershipu. Dokładnie ten sam problem zaczyna dziś dotyczyć AI. Wiele organizacji znajduje się obecnie w sytuacji, w której: modele AI już funkcjonują w procesach biznesowych, dane przepływają przez zewnętrzne platformy AI, decyzje wspierane są przez modele generatywne, ale governance wokół tych procesów praktycznie jeszcze nie istnieje. I właśnie dlatego projekt polskiej ustawy o systemach sztucznej inteligencji jest dużo ważniejszy niż może wydawać się na pierwszy rzut oka. To nie jest wyłącznie kolejny akt prawny dotyczący technologii. To sygnał, że AI zaczyna być traktowane jako pełnoprawny element enterprise trust architecture, wymagający: widoczności, kontroli, audytowalności, accountability oraz cyber resilience. A organizacje, które już dziś zaczną budować governance wokół AI, będą w zdecydowanie lepszej sytuacji niż firmy, które nadal traktują modele generatywne wyłącznie jako chwilowy trend produktywności.

AI jako kolejny element infrastruktury zaufania.

Przez ostatnie lata organizacje nauczyły się zarządzać certyfikatami cyfrowymi, tożsamością użytkowników, bezpieczeństwem chmury, ochroną danych i cyberbezpieczeństwem. Każdy z tych obszarów przeszedł podobną drogę: od technologicznej nowinki do elementu krytycznej infrastruktury biznesowej. Wiele wskazuje na to, że sztuczna inteligencja znajduje się właśnie na początku tej samej ścieżki. Nie dlatego, że wymaga tego regulator. Dlatego, że AI coraz częściej uczestniczy w procesach, od których zależą decyzje biznesowe, bezpieczeństwo danych, zgodność regulacyjna i zaufanie klientów. A tam, gdzie pojawia się zaufanie, wcześniej czy później pojawiają się również wymagania dotyczące widoczności, kontroli, audytowalności i odpowiedzialności. W praktyce oznacza to, że AI governance może w ciągu kilku najbliższych lat stać się dla organizacji równie naturalnym obszarem zarządzania jak dziś cyberbezpieczeństwo, zarządzanie tożsamością czy infrastruktura zaufania oparta na PKI.

Żródła:

• AI Act: https://eur-lex.europa.eu/legal-content/PL/TXT/?uri=CELEX:32024R1689
• Ustawa o sztucznej inteligencji: https://orka.sejm.gov.pl/opinie10.nsf/nazwa/spr_2443/$file/spr_2443.pdf