Błąd ChatGPT w systemie macOS pozwalał na umieszczenie szkodliwego oprogramowania w pamięci

Technika ta zdobyła swoją nazwę – SpAIware i może być wykorzystywana do ułatwiania „ciągłej eksfiltracji wszelkich informacji wpisanych przez użytkownika lub odpowiedzi otrzymanych przez ChatGPT, w tym wszelkich przyszłych sesji czatu”, napisał badacz ds. bezpieczeństwa Johann Rehberger na swoim blogu.

Problem polega na nadużywaniu funkcji ChatGPT zwanej Pamięć, którą OpenAI wprowadziło na początku lutego, a następnie udostępniło użytkownikom ChatGPT Free, Plus, Team i Enterprise. W zasadzie pozwala ona na zapamiętywanie pewnych rzeczy w czatach, dzięki czemu użytkownicy nie muszą powtarzać w kółko tych samych informacji. Jest także opcja zapominania wybranych informacji. Warto mieć na uwadze, że Pamięć ChatGPT ewoluuje wraz z interakcjami i nie jest powiązana z konkretnymi rozmowami. Usunięcie czatu nie kasuje jego danych z pamięci lokalnej zapisanej na komputerze.

Technika ataku opiera się na wcześniejszych ustaleniach, które obejmują pośrednie wstrzykiwanie podpowiedzi w celu manipulowania wspomnieniami, aby program zapamiętał fałszywe informacje lub nawet złośliwe instrukcje, które przetrwają między rozmowami.

Ponieważ złośliwe instrukcje są przechowywane w pamięci ChatGPT, wszystkie nowe rozmowy będą zawierać instrukcje atakującego i będą stale wysyłać wszystkie wiadomości czatu i odpowiedzi do atakującego. Dlatego właśnie luka w zabezpieczeniach związana z eksfiltracją danych stała się o wiele bardziej niebezpieczna.

W hipotetycznym scenariuszu ataku użytkownik mógłby zostać oszukany i odwiedzić złośliwą witrynę lub pobrać ukryty dokument, który następnie byłby analizowany za pomocą ChatGPT w celu aktualizacji pamięci. Witryna lub dokument mogłyby zawierać instrukcje, aby potajemnie wysyłać wszystkie przyszłe konwersacje na serwer kontrolowany przez hakera, który następnie mógłby je odzyskać po drugiej stronie poza sesją czatu.

Demonstrację ataku można zobaczyć na poniższym wideo:

Po upublicznieniu błędu OpenAI rozwiązało problem w wersji ChatGPT 1.2024.247, zamykając wektor eksfiltracji.

„Użytkownicy ChatGPT powinni regularnie przeglądać wspomnienia, które system przechowuje na ich temat, pod kątem podejrzanych lub nieprawidłowych, i czyścić je” – stwierdził Rehberger.

„Ten łańcuch ataków był dość interesujący do stworzenia i pokazuje niebezpieczeństwa związane z automatycznym dodawaniem pamięci długoterminowej do systemu, zarówno z punktu widzenia dezinformacji, jak i oszustwa, ale także w odniesieniu do ciągłej komunikacji z serwerami kontrolowanymi przez atakujących”.

Ujawnienie nastąpiło po tym, jak grupa naukowców odkryła nową technikę jailbreakingu AI o nazwie kodowej MathPrompt, która wykorzystuje zaawansowane możliwości dużych modeli językowych (LLM) w zakresie matematyki symbolicznej, aby obejść ich mechanizmy bezpieczeństwa. MathPrompt posługuje się dwuetapowym procesem: najpierw przekształca szkodliwe podpowiedzi języka naturalnego w symboliczne problemy matematyczne, a następnie przedstawia te matematycznie zakodowane podpowiedzi docelowemu modelowi AI. Badanie, po przetestowaniu 13 najnowocześniejszych LLM, wykazało, że modele odpowiadały szkodliwym wyjściem średnio w 73,6% przypadków, gdy przedstawiono im matematycznie zakodowane podpowiedzi, w porównaniu z około 1% w przypadku niezmodyfikowanych szkodliwych podpowiedzi.

Na powyższych przykładach widzimy, jak łatwo jest na razie obejść zabezpieczenia AI, tak aby otrzymać odpowiedź, nawet jeśli jest ona nieetyczna.