AI w rękach hakera. Jak zaatakować inteligentnego agenta obsługi klienta?

Sztuczna inteligencja coraz częściej nie tylko odpowiada klientom, ale również czyta wiadomości e-mail, korzysta z baz wiedzy, wykonuje operacje na kontach i uruchamia narzędzia w imieniu użytkowników. To ogromna wygoda, ale jednocześnie zupełnie nowa powierzchnia ataku. Najnowsze badania pokazują, że odpowiednio przygotowany napastnik jest w stanie zmanipulować agenta AI, ominąć mechanizmy uwierzytelniania, wyłudzić poufne dane, a nawet skłonić system do wykonania nieautoryzowanej operacji.

Agent AI – nowy cel dla cyberprzestępców

Badacze Intigriti przedstawili szereg scenariuszy pokazujących, jak można wykorzystać pozornie niewinne funkcje chatbotów i systemów obsługi klienta. Jeden z nich dotyczy komunikacji e-mail. Jeżeli agent AI otrzymuje wiadomości, interpretuje ich nadawcę i na tej podstawie wykonuje określone działania, błędna walidacja adresu nadawcy może pozwolić atakującemu podszyć się pod ofiarę.

W połączeniu z możliwością wykonywania przez agenta operacji takich jak zmiana danych profilu, dostęp do informacji rozliczeniowych czy przesyłanie danych, zwykły błąd w obsłudze wiadomości może stać się poważnym incydentem bezpieczeństwa.

Gdy AI pomaga ominąć MFA

Szczególnie interesujące są przypadki dotyczące obchodzenia MFA. Sam fakt zastosowania drugiego składnika uwierzytelniania nie oznacza, że proces jest bezpieczny. Badacze pokazali m.in. scenariusze wykorzystujące błędy w normalizacji adresów e-mail, mechanizmy ograniczające liczbę prób oraz przechodzenie pomiędzy różnymi kanałami obsługi – np. z chatbota na system telefoniczny IVR.

Jeżeli poszczególne kanały stosują różne mechanizmy weryfikacji, atakujący może wykorzystać najsłabsze ogniwo całego procesu. Problemem nie musi być więc sam mechanizm MFA, ale sposób, w jaki poszczególne elementy systemu współpracują ze sobą.

Jeden adres e-mail, różne interpretacje

Kolejnym problemem jest „przemycanie” danych pomiędzy różnymi parserami. Ten sam ciąg znaków może być inaczej interpretowany przez system pocztowy, aplikację internetową i backend API. Odpowiednio skonstruowany adres e-mail może być poprawnie obsługiwany przez jedną warstwę systemu, lecz inaczej interpretowany przez kolejną. W efekcie możliwe staje się uzyskanie dostępu do informacji należących do innego konta.

To dobra ilustracja faktu, że bezpieczeństwo AI zależy nie tylko od samego modelu językowego, ale również od wszystkich systemów, z którymi model współpracuje.

Firmowa skrzynka pocztowa jako kopalnia danych

Jeszcze większe ryzyko pojawia się, gdy agent AI ma dostęp do firmowej skrzynki pocztowej.

Taka skrzynka może zawierać nie tylko wiadomości klientów, lecz także kody OTP, informacje o resetowaniu haseł, faktury czy korespondencję z zewnętrznymi usługami.

Jeżeli agent zachowuje kontekst wcześniejszych wiadomości, napastnik może przygotować instrukcję, która zostanie wykorzystana dopiero wtedy, gdy do skrzynki trafi określony e-mail. W praktyce oznacza to możliwość wykorzystania AI jako pośrednika do przechwycenia informacji uwierzytelniających z innych systemów.

Człowiek może zobaczyć coś innego niż AI

Badacze zwracają również uwagę na zagrożenie wynikające z tzw. asymetrycznej komunikacji. Człowiek i agent AI mogą otrzymać tę samą wiadomość, ale odczytać z niej zupełnie inne informacje.

Przykładowo wiadomość HTML może wyglądać dla pracownika całkowicie niewinnie, podczas gdy jej alternatywna wersja tekstowa zawiera instrukcję przeznaczoną dla agenta. Podobny efekt można uzyskać poprzez ukryty tekst CSS, zmanipulowane obrazy czy spreparowaną historię wcześniejszej konwersacji.

Jeżeli człowiek zatwierdzi decyzję przygotowaną przez AI, atakujący może w rzeczywistości manipulować zarówno maszyną, jak i nadzorującym ją pracownikiem.

RAG również może stać się wektorem ataku

Niebezpieczeństwo dotyczy również baz wiedzy wykorzystywanych przez systemy RAG. Jeśli agent traktuje treści pobrane z firmowej strony jako zaufane źródło informacji, atakujący może próbować wprowadzić do tej bazy własne treści – na przykład poprzez komentarze, profile użytkowników czy inne elementy indeksowane przez crawlera.

W konsekwencji AI przedstawi zmanipulowaną informację jako oficjalną wiedzę organizacji. Oznacza to, że ochrona agenta musi obejmować również źródła danych, z których korzysta model podczas podejmowania decyzji.

Co może zrobić AI po przełamaniu?

Najważniejszy wniosek z przedstawionych badań jest prosty: AI nie może być traktowane jako dodatkowa warstwa bezpieczeństwa tylko dlatego, że w procesie pozostawiono człowieka.

Jeżeli agent ma szerokie uprawnienia, dostęp do poczty, baz danych i narzędzi wykonujących operacje, pojedyncza luka w logice autoryzacji może zostać przekształcona przez atakującego w cały łańcuch kompromitacji.

Bezpieczeństwo agentów AI powinno zatem obejmować nie tylko ochronę modelu przed prompt injection, ale również kontrolę tożsamości, uprawnień, źródeł danych, narzędzi, kanałów komunikacji i każdej operacji wykonywanej przez agenta.

Podsumowanie

Agenci AI zmieniają reguły gry w cyberbezpieczeństwie.W przeciwieństwie do tradycyjnego chatbota nie są już wyłącznie narzędziem komunikacji – coraz częściej posiadają własne uprawnienia, dostęp do danych i możliwość wykonywania rzeczywistych operacji. Sprawia to, że ich kompromitacja może mieć znacznie poważniejsze konsekwencje niż zmanipulowanie pojedynczej odpowiedzi.

Badania Intigriti pokazują, że atakujący nie musi „zhakować AI” w klasycznym rozumieniu. Wystarczy znaleźć sposób na zmanipulowanie informacji, które agent uznaje za wiarygodne, a następnie wykorzystać jego uprawnienia do realizacji własnego celu. Dlatego bezpieczeństwo agentów powinno być projektowane podobnie jak bezpieczeństwo każdego uprzywilejowanego użytkownika lub systemu – z zasadą najmniejszych uprawnień, silną kontrolą tożsamości, segmentacją dostępu, monitoringiem oraz możliwością audytowania każdej wykonanej przez AI operacji.

W erze agentic AI najważniejszym pytaniem nie jest już „Czy AI można oszukać?”, lecz „Jakie uprawnienia otrzyma atakujący, jeśli mu się to uda?”.