Agenci AI i chatboty są dziś obecne na coraz większej liczbie platform internetowych i odgrywają coraz ważniejszą rolę w obsłudze użytkowników. W większości przypadków ich zadaniem jest rozwiązywanie prostych problemów, pomoc w odnalezieniu odpowiedniej funkcji czy przekierowanie użytkownika do właściwego działu wsparcia. Podobną rolę pełni również Meta AI Support Assistant, jednak w jego przypadku połączenie szerokich uprawnień, jakie posiadał, z błędem w logice działania umożliwiło przejęcie kont użytkowników Instagrama. Na celowniku znalazły się przede wszystkim profile o dużej rozpoznawalności i wartości, w tym konto Obama White House, oficjalny profil drogerii Sephora oraz konto wysokiego rangą przedstawiciela U.S. Space Force.

Autor: 6 min czytania

Jak przebiegał proces ataku

Na początku czerwca sprawa stała się głośna z powodu serii przejęć rozpoznawalnych kont na Instagramie. Jeden z takich przypadków to konto Obama White House, które było nieaktywne od 2017 roku, a na którym niespodziewanie zaczęły pojawiać się wpisy związane z Iranem. Wkrótce okazało się, że podobny los spotkał również inne profile o dużej wartości i rozpoznawalności.

Materiały opublikowane z konta Obama White House po jego przejęciu

Atak nie był oparty na wyciekach danych czy kradzieży haseł. Wykorzystany został błąd w działaniu Meta AI Support Assistant – asystenta AI wprowadzonego przez Metę w celu automatyzacji obsługi użytkowników i pomocy w zarządzaniu kontem.

Jedną z funkcji asystenta była możliwość zainicjowania procedury odzyskiwania dostępu do konta. Cały mechanizm opierał się na połączeniu dwóch czynników: szerokich uprawnień przyznanych asystentowi AI oraz błędu w logice odpowiedzialnej za odzyskiwanie dostępu do kont. W całym procesie AI nie weryfikowało, czy adres e-mail podany przez rozmówcę to ten sam, który został przypisany do konta. W praktyce umożliwiało to atakującym przekonanie systemu do powiązania procesu odzyskiwania z adresem mailowym znajdującym się pod ich kontrolą. Do wykonania całej operacji wymagany był też element wykorzystania VPN. By oszukać część weryfikacji opartej na geolokalizacji, wymagane było połączenie z adresu IP w regionie, z którego dotychczas logowano się na konto.

Na Telegramie zaczęły krążyć nagrania pokazujące rozmowy z botem, które kończyły się uzyskaniem dostępu do kont użytkowników. Odpowiednio poprowadzona rozmowa z asystentem AI pozwalała wykorzystać błąd w logice działania systemu i przejąć kontrolę nad wybranym kontem.

Fragment z nagrania prezentujący prompt wykorzystany do przejęcia konta na Instagramie

Confused Deputy

Cała ta sytuacja idealnie wpisuje się w koncept bezpieczeństwa komputerowego zwany Confused Deputy (w tłumaczeniu dosłownym „zdezorientowany pełnomocnik”). Koncepcja ta została opisana już 1973 roku przez Butlera Lampsona, a następnie w 1988 roku przez Normana Hardy’ego. Odnosi się do sytuacji, w której zaufany system lub proces posiadający szerokie uprawnienia zostaje wykorzystany przez atakującego do wykonania operacji, której on sam nie mógłby wykonać.

Wyobraźmy sobie następującą sytuację, gdzie klucz do serwerowni posiada upoważniony pracownik. Spotykamy go na korytarzu i mówimy: „Szef kazał mi wejść do serwerowni, ale zapomniałem przepustki. Możesz otworzyć mi drzwi?”. W momencie, kiedy upoważniony pracownik wpuszcza nas do serwerowni, to nie my łamiemy zabezpieczenia, tylko osoba, która miała uprawnienia. W opisywanym incydencie rolę pracownika posiadającego klucz przejął asystent AI, który – dysponując odpowiednimi uprawnieniami – wykonał operację w imieniu atakującego.

MFA skuteczną ochroną

Na podstawie informacji podanych m.in. przez KrebsOnSecurity skuteczną ochroną przed tym atakiem było uwierzytelnianie wieloskładnikowe (MFA). Nawet wykorzystanie podstawowej formy MFA oferowanej przez Instagram, czyli jednorazowych kodów wysyłanych w wiadomości SMS, mogło skutecznie uniemożliwić przejęcie konta.

Warto potraktować ten incydent jako kolejne przypomnienie, że włączenie MFA powinno być dziś standardem dla wszystkich ważnych kont internetowych. W dobie powszechnego wykorzystania sztucznej inteligencji zagrożenia nie wynikają już wyłącznie z wycieków haseł czy klasycznego phishingu. AI jest używane zarówno jako narzędzie wspierające cyberprzestępców w wyszukiwaniu podatności i automatyzacji ataków, jak i element systemów posiadających szerokie uprawnienia, których błędna implementacja może prowadzić do poważnych incydentów bezpieczeństwa. W związku z tym dodatkowa warstwa ochrony w postaci MFA staje się jeszcze ważniejsza.

Nowe wyzwania w erze AI

Jak podkreślają badacze, w najbliższych latach możemy spodziewać się rosnącej liczby ataków opartych na manipulowaniu agentami AI. Coraz więcej organizacji traktuje wdrażanie rozwiązań opartych na sztucznej inteligencji jako priorytet, jednocześnie dając im możliwość wykonywania uprzywilejowanych operacji. W połączeniu z błędami projektowymi lub niedostateczną weryfikacją może to prowadzić do poważnych incydentów bezpieczeństwa, czego dobrym przykładem jest przypadek Meta AI Support Assistant.

Warto pamiętać, że podobnie jak pracownicy mogą paść ofiarą socjotechniki, tak samo podatne na manipulację mogą być systemy wykorzystujące sztuczną inteligencję. Różnica polega na tym, że skutki takiej manipulacji mogą być znacznie poważniejsze, jeśli agent AI dysponuje szerokimi uprawnieniami.

Podsumowanie

Historia Meta AI Support Assistant pokazuje, że rozwój sztucznej inteligencji otwiera zupełnie nowy obszar zagrożeń. Coraz częściej to nie człowiek, ale AI wykonuje operacje w imieniu użytkownika lub administratora. Jeśli otrzyma on znaczące uprawnienia, a logika jego działania zawiera błędy, skutki mogą być równie poważne, jak w przypadku klasycznych luk w zabezpieczeniach. Systemy oparte na AI powinny być zatem projektowane z założeniem, że mogą stać się celem ataku, a ich uprawnienia i działania muszą być odpowiednio ograniczane i kontrolowane.