Tanie modele AI mogą być większym zagrożeniem niż zamknięte systemy frontier

Nie najpotężniejszy model, lecz ten łatwo dostępny

Meerah Rajavel, dyrektor ds. informacji (CIO) w Palo Alto Networks, ostrzegła, że największe ryzyko dla cyberbezpieczeństwa organizacji może wynikać nie z najnowszych, ściśle kontrolowanych modeli AI, lecz z tanich modeli typu open-weight — takich, których wytrenowane wagi można pobrać i uruchomić samodzielnie. 6

Jej zdaniem modele dostępne publicznie mogą pozostawać zaledwie kilka miesięcy za rozwiązaniami frontier, czyli najbardziej zaawansowanymi systemami rozwijanymi przez firmy takie jak OpenAI czy Anthropic. Źródła przywołują horyzont czterech–sześciu miesięcy, w którym podobne możliwości ofensywne mogą stać się szeroko dostępne za pośrednictwem otwartych modeli.

Co zmienia udostępnienie wag?

W przypadku modelu dostępnego przez API dostawca może rejestrować użycie, wykrywać nadużycia, stosować limity, egzekwować zasady bezpieczeństwa, wdrażać poprawki i zawieszać konto. Model pobrany i uruchomiony lokalnie wypada z tego systemu kontroli.

Jego zabezpieczenia można zmienić albo całkowicie usunąć. Twórca nie ma pewności, czy użytkownik zainstaluje aktualizację, a po udostępnieniu plików modelu nie może skutecznie „odwołać” dostępu do już pobranej wersji. Dodatkowo użycie takiego narzędzia może pozostać niewidoczne dla firmowego zespołu bezpieczeństwa. 6

To szczególnie istotne w organizacjach, w których pracownik może pobrać model na własny komputer lub uruchomić go w prywatnej infrastrukturze chmurowej bez przejścia przez formalny proces zatwierdzania.

Niższy koszt, większa skala ataku

Spadające ceny wynajmu mocy obliczeniowej GPU oraz możliwość lokalnego uruchamiania modeli obniżają zarówno koszty, jak i wymagania techniczne związane z ich wykorzystaniem do celów ofensywnych. Modele mogą pomagać w rozpoznaniu infrastruktury, tworzeniu exploitów, przygotowywaniu phishingu, modyfikowaniu malware’u czy automatyzowaniu doboru celów.

Nie oznacza to, że każdy użytkownik otwartego modelu jest zagrożeniem. Problemem jest przede wszystkim skala dystrybucji: większa liczba osób może uzyskać dostęp do narzędzi, które wcześniej wymagały drogiej infrastruktury albo specjalistycznych umiejętności. Analizy ryzyka związanego z modelami open-weight wskazują, że ich publiczna dostępność może ułatwiać większej liczbie aktorów automatyzowanie i skalowanie cyberataków. 2

Rozmowa z modelem może przełamać zabezpieczenia

Ryzyko nie ogranicza się do samego wykorzystania modelu do tworzenia złośliwego kodu. Istotna jest również jego podatność na manipulację podczas rozmowy.

W badaniu Cisco obejmującym osiem modeli z otwartymi wagami wieloetapowe ataki adversarialne — prowadzone za pomocą serii kolejnych promptów — osiągały skuteczność od 2 do 10 razy wyższą niż ataki jednorazowe. Raportowane wskaźniki powodzenia wynosiły od 25,86% do 92,78%. 3

W praktyce oznacza to, że odmowa odpowiedzi na pierwszy szkodliwy prompt nie musi oznaczać skutecznej ochrony. Atakujący może stopniowo zmieniać sformułowanie pytań, obchodzić ograniczenia i wywierać na model presję konwersacyjną, aż uzyska niepożądaną odpowiedź.

Łańcuch dostaw modelu również może zostać zaatakowany

Firmy, które pobierają modele i wdrażają je samodzielnie, muszą zaufać nie tylko samym wagom. Znaczenie mają także format pliku, szablony rozmowy, serwer inferencyjny oraz wszystkie zależności używane podczas uruchamiania.

Cloud Security Alliance opisało zagrożenia związane z samodzielnie hostowanymi modelami, w których złośliwa logika wykonywalna lub szablony mogą uruchomić się już podczas ładowania modelu. W takim scenariuszu potencjalnymi skutkami są między innymi kradzież danych uwierzytelniających i eksfiltracja danych. 12

Nie udało się jednak niezależnie potwierdzić w pierwotnym materiale CSA, że jedno konkretne ustalenie tej organizacji wskazywało łącznie modele Llama, Mistral i Qwen. Takie sformułowanie należy więc traktować jako niewystarczająco udokumentowane.

Palo Alto Networks koryguje skalę liczb

Ważne jest również prawidłowe odczytanie danych Palo Alto Networks. Dostępny pierwotny dokument firmy mówi o wykrywaniu do 8,9 mln nowych lub wcześniej niewidzianych ataków dziennie oraz blokowaniu do 30,9 mld ataków dziennie. 1

Nie są to zatem wartości „30 mld i 250 mln ataków w ciągu ostatniego roku”. Podane przez firmę liczby pokazują jednak, jak szybkie i zmienne jest środowisko, w którym działają obrońcy. Jeśli podobne możliwości AI będą szeroko dostępne, atakujący mogą jeszcze szybciej testować, modyfikować i powtarzać swoje działania.

Dlaczego to ostrzeżenie ma znaczenie dla firm?

Sedno ostrzeżenia Rajavel nie sprowadza się do tezy, że modele otwarte są zawsze bardziej niebezpieczne od zamkniętych. Chodzi o połączenie trzech cech: niskiej ceny, łatwej dostępności i braku centralnej kontroli po pobraniu modelu.

Z punktu widzenia organizacji oznacza to konieczność kontrolowania nie tylko użycia narzędzi AI przez oficjalnych dostawców, lecz także modeli uruchamianych lokalnie. W przeciwnym razie firma może nie wiedzieć, jaki model działa w jej środowisku, skąd pochodzi, czy został zmodyfikowany i jakie dane przetwarza.