Kilka lat temu pisaliśmy o potencjale wykorzystania AI w malware i cyberatakach. Wiele z tych scenariuszy wydawało się wtedy bardziej ciekawostką albo futurystyczną wizją niż realnym zagrożeniem. Nowy raport Google Threat Intelligence Group pokazuje jednak, że ten etap mamy już raczej za sobą.

Autor: 8 min czytania

Google opisuje przypadki wykorzystania AI m.in. do tworzenia exploitów, rekonesansu, analizy organizacji czy integracji modeli językowych bezpośrednio z malware. Nie chodzi już wyłącznie o eksperymenty badaczy bezpieczeństwa. Takie techniki widoczne są teraz w normalnych kampaniach obserwowanych przez zespoły threat inteligence.

Wprawdzie modele językowe nadal nie zastępują operatorów, ale coraz skuteczniej wspierają analizę podatności, przygotowanie mechanizmów obejścia zabezpieczeń czy zbieranie informacji o celu. To szczególnie ważne dla mniej zaawansowanych grup, które wcześniej nie miały takich możliwości.

Google opisuje zero-day wspierany przez AI

Jednym z najciekawszych przykładów opisanych w raporcie jest podatność zero-day, która według Google najprawdopodobniej została wykryta lub przygotowana przy wsparciu modeli AI. Pozwalała ona na obejście mechanizmów 2FA w popularnej aplikacji open source do zarządzania systemami. Google nie podało nazwy oprogramowania, ale poinformowało, że skontaktowało się z jego twórcami jeszcze przed publikacją raportu.

Najciekawsze jest jednak to, że problem nie wynikał z typowego błędu bezpieczeństwa w kodzie. Mechanizmy 2FA działały poprawnie dla zwykłych użytkowników, ale w logice aplikacji znajdował się ukryty wyjątek dotyczący zaufania pomiędzy wybranymi komponentami. Część elementów mogła komunikować się ze sobą z pominięciem pełnej weryfikacji bezpieczeństwa. Właśnie ten ukryty poziom zaufania pozwalał ominąć dodatkowe zabezpieczenia. Takie błędy są zwykle trudniejsze do wykrycia w porównaniu do klasycznych podatności. Dla większości narzędzi wszystko wygląda normalnie, dopiero analiza zależności między komponentami pokazuje, gdzie logika zaczyna się rozjeżdżać.

Autorzy raportu sugerują, że modele językowe coraz lepiej radzą sobie z analizą takich zależności i wykrywaniem błędów logicznych.

W kodzie znaleziono też ślady wskazujące na wykorzystanie AI podczas przygotowania exploita. Pojawiały się komentarze przypominające output modeli językowych, charakterystyczne formatowanie kodu Python czy błędne informacje dotyczące scoringu CVSS, wyglądające trochę jak typowe halucynacje LLM-ów.

Wszystko wskazuje więc na to, że AI najwyraźniej było używane nie tylko do researchu, ale również podczas przygotowywania fragmentów samego ataku.

Malware wykorzystujące Gemini

Kolejnym ciekawym przypadkiem jest opisany wcześniej przez ESET androidowy malware typu backdoor o nazwie PROMPTSPY. Tutaj modele językowe nie były już tylko narzędziem pomocniczym. Stały się częścią działania malware. PROMPTSPY posiadał moduł nazwany GeminiAutomationAgent, odpowiedzialny za autonomiczne wykonywanie działań na zainfekowanym urządzeniu. Malware wykorzystywał przygotowany wcześniej prompt do komunikacji z Gemini.

Zakodowany na stałe prompt wykorzystywany przez PROMPTSPY
Źródło: Google Threat Inteligence Group

Schemat działania był stosunkowo prosty. Malware pobierał aktualny widok interfejsu Androida, zamieniał go na strukturę przypominającą XML, a następnie wysyłał dane do Gemini. Model analizował ekran i podejmował decyzję dotyczącą dalszych działań. Na tej podstawie malware wykonywał kliknięcia, przewijał ekran czy wchodził w interakcje z aplikacjami bez potrzeby ręcznego sterowania przez operatora.

Malware analizował również mechanizmy uwierzytelniania urządzenia i próbował przechwytywać dane związane np. z PIN-em lub wzorem odblokowania ekranu.

Ciekawie wyglądał także mechanizm ochrony przed odinstalowaniem aplikacji. Jeśli użytkownik próbował usunąć malware, aplikacja analizowała położenie przycisku „Odinstaluj” i nakładała na niego niewidoczny overlay przechwytujący kliknięcia. Z punktu widzenia użytkownika przycisk wyglądał normalnie, ale po prostu przestawał działać.

Tego typu dynamiczne zachowanie może być problematyczne dla klasycznych systemów bezpieczeństwa – zwłaszcza jeśli część decyzji jest generowana przez model w czasie działania malware.

Modele językowe mocno przyspieszają rekonesans

Wnioski opisane w raporcie pokazują również bardzo wyraźny wzrost wykorzystania AI na etapie rekonesansu i przygotowywania operacji.

Atakujący używają modeli językowych praktycznie tak samo jak zwykli użytkownicy. Korzystają z nich do researchu, analizy informacji czy troubleshootingu. Różnica polega głównie na skali i celu takich działań. To, co wcześniej wymagało ręcznej analizy albo korzystania z wielu narzędzi, dziś można zrobić znacznie szybciej przy pomocy AI.

W analizowanych kampaniach pojawiały się m.in. prompty dotyczące budowania struktur organizacyjnych firm, analizy zależności pomiędzy działami czy identyfikacji partnerów zewnętrznych. Szczególnie często pojawiały się pytania dotyczące działów finansowych, HR oraz bezpieczeństwa.

Największa zmiana nie polega na automatyzacji ataków – chodzi raczej o tempo. Research, który kiedyś zajmował kilka godzin, dziś można przeprowadzić w kilkanaście minut. Znacząco skraca to czas oraz obniża koszt przygotowania całej operacji.

AI staje się nową powierzchnią ataku

Wraz z popularyzacją AI rośnie również zainteresowanie atakujących całym ekosystemem modeli językowych i ich integracji. Coraz częściej celem nie są już same modele AI, ale dodatki i narzędzia wykorzystywane do ich integracji z aplikacjami oraz środowiskami firmowymi.

Google zwraca uwagę, że same modele AI są dziś stosunkowo dobrze zabezpieczone. Dlatego atakujący coraz częściej skupiają się na słabszych elementach ekosystemu, takich jak biblioteki, pluginy, agenty AI, konektory API czy gotowe komponenty pobierane z repozytoriów.

Wzrasta liczba zaobserwowanych przypadków publikowania złośliwych pakietów podszywających się pod legalne dodatki do systemów AI. Takie komponenty mogą zawierać ukryte funkcje, pozwalające np. na wykonywanie komend, pobieranie dodatkowego malware czy kradzież tokenów API i danych uwierzytelniających.

Dobrym przykładem są problemy wykryte w ekosystemie OpenClaw AI. Badacze VirusTotal opisywali przypadki złośliwych dodatków podszywających się pod legalne moduły dla agentów AI. To szczególnie niebezpieczne, ponieważ systemy AI często posiadają szerokie uprawnienia, w tym dostęp do plików, terminala, usług chmurowych czy wewnętrznych systemów organizacji. W praktyce przejęcie pojedynczego komponentu może oznaczać możliwość wykonywania uprzywilejowanych operacji bezpośrednio z poziomu środowiska AI.

W raporcie zwrócono również uwagę na rosnącą liczbę kompromitacji repozytoriów i pakietów wykorzystywanych w środowiskach AI. Jednym z przykładów była aktywność grupy TeamPCP, która kompromitowała pakiety PyPI oraz repozytoria GitHub powiązane m.in. z LiteLLM.

Podsumowanie

Analiza kampanii wykonana przez Google pokazuje, że modele językowe przestają być jedynie ciekawostką wykorzystywaną do phishingu czy generowania prostego malware.

Coraz częściej wspierają bardziej zaawansowane etapy cyberataków, związane z wykrywaniem podatności, analizą logiki aplikacji, przygotowywaniem mechanizmów obejścia zabezpieczeń, rekonesansem czy integracją bezpośrednio z malware.

Największą zmianą nie wydaje się jednak pełna automatyzacja cyberataków. Znacznie ważniejsze jest tempo działania. AI pozwala dziś szybciej analizować kod, zbierać informacje i przygotowywać operacje, które wcześniej wymagały wielu godzin manualnej pracy. Oznacza to mniej czasu na reakcję, analizę incydentów i wdrażanie poprawek bezpieczeństwa.

Na razie AI głównie wspiera operatorów, raczej nie działa samodzielnie. Mimo tego modele językowe zaczynają pojawiać się przy coraz bardziej zaawansowanych operacjach i raczej nic nie wskazuje na to, żeby ten trend miał wyhamować.

Pełny raport od Google Threat Inteligence Group można znaleźć tutaj.