IMDA i Microsoft zamierzają współpracować nad bezpieczeństwem i ochroną systemów AI. Wśród tematów wymieniono agentową AI oraz metody oceny bezpieczeństwa wielojęzycznego. To istotne, ponieważ zabezpieczenia modelu nie muszą działać tak samo, gdy szkodliwa intencja, kontekst kulturowy lub próba obejścia reguł są wyrażone w różnych językach i rejestrach. Memorandum opisuje badania i ewaluację — nie ogłasza wdrożenia konkretnego modelu.
Agentowa AI wymaga również szerszych testów niż zwykła ocena jakości pojedynczej odpowiedzi. Systemy, które potrafią planować i wykonywać działania za pomocą narzędzi lub w ramach całych procesów, trzeba sprawdzać pod kątem zakresu uprawnień, reakcji na niejednoznaczne polecenia oraz skuteczności technicznych ograniczeń chroniących przed szkodliwymi lub niezamierzonymi działaniami.
Strony chcą także wymieniać informacje, dobre praktyki i ramy zarządzania. Pozwala to połączyć testy techniczne z decyzjami operacyjnymi: określić, jakie ryzyka należy badać, jakie progi bezpieczeństwa stosować, kto może korzystać z modelu i co zrobić po wykryciu poważnej słabości.
To szersze podejście niż samo porównywanie wyników modeli w benchmarkach. System może osiągać bardzo dobre rezultaty testowe, a mimo to nie nadawać się do zastosowania w usługach publicznych lub infrastrukturze krytycznej, jeśli ma zbyt szerokie uprawnienia, niewystarczający monitoring, niejasne procedury ujawniania luk albo zbyt słaby nadzór człowieka.
Trzecim elementem jest analiza rozwiązań politycznych dotyczących zaufanego dostępu do modeli frontier. Podstawowa idea jest prosta: bardzo wydajne systemy powinny być dostępne do legalnych testów i pożytecznej pracy, ale nie mogą być udostępniane bez zabezpieczeń odpowiadających ich możliwościom oraz potencjalnym zagrożeniom.
Porozumienie wskazuje więc na wielowarstwowy model bezpieczeństwa AI: najpierw testowanie systemu, następnie wymiana wniosków, ograniczanie dostępu tam, gdzie jest to konieczne, oraz ustanowienie zasad odpowiedzialności.
Przykładem problemu podwójnego zastosowania zaawansowanej AI jest Claude Mythos Preview firmy Anthropic. Według Anthropic firma wraz z około 50 partnerami Project Glasswing wykorzystała ograniczony dostęp do modelu, aby wykryć ponad 10 000 luk o wysokiej lub krytycznej wadze w oprogramowaniu o znaczeniu systemowym. Anthropic podał również, że Mythos potrafił identyfikować i wykorzystywać luki, w tym luki typu zero-day, w głównych systemach operacyjnych i przeglądarkach.
Taka zdolność może pomagać obrońcom: badacze mogą znajdować błędy, zanim wykorzystają je przestępcy. Jednocześnie szerokie udostępnienie modelu lub niewłaściwa kontrola nad nim mogłyby skrócić drogę od wykrycia luki do stworzenia działającego ataku. Z tego powodu Anthropic utrzymywał Mythos za ograniczonym dostępem w ramach Project Glasswing, zamiast udostępniać go publicznie.
Dostępne dowody nie potwierdzają jednak, że to właśnie Claude Mythos spowodował lub zainicjował podpisanie singapursko-microsoftowego memorandum z 12 czerwca. Model należy traktować raczej jako przykład szybko zmieniającego się środowiska ryzyka, w którym coraz większe znaczenie mają uporządkowane testy, kontrolowany dostęp i jasne ramy zarządzania.
Model Project Glasswing udostępniono określonej grupie partnerów do celów obronnych, a nie wszystkim użytkownikom. Taki model dostępu ogranicza ekspozycję na ryzyko, jednocześnie pozwalając zespołom bezpieczeństwa sprawdzać rzeczywiste możliwości systemu.
Sam ograniczony dostęp nie tworzy kompletnego systemu bezpieczeństwa. Wymaga weryfikacji użytkowników, monitorowania, bezpiecznego przechowywania danych i odpowiedzialnego ujawniania luk. Pokazuje jednak zasadę stojącą za pracami nad zaufanym dostępem: uprawnienia powinny zależeć od możliwości i ryzyka modelu, a nie od traktowania każdego systemu frontier jak zwykłego publicznego oprogramowania.
Znalezienie błędu jest dopiero pierwszym krokiem. Singapurska Cyber Security Agency zaleca organizacjom instalowanie poprawek dla luk o krytycznej i wysokiej wadze, włączenie uwierzytelniania wieloskładnikowego we wszystkich interfejsach i bramach oraz przegląd zbędnych uprawnień dostępu. Takie działania ograniczają możliwości atakujących w czasie, gdy organizacja analizuje problem i przygotowuje naprawę.
Dostępne dane nie uzasadniają jednak przedstawiania około 10 000 ustaleń Mythosa jako w dużej mierze naprawionych. Jedna z późniejszych analiz wykazała, że opiekunom oprogramowania zgłoszono 1596 luk, lecz poprawki wprowadzono tylko w 97 przypadkach. Nie oznacza to, że projekt nie przyniósł korzyści obronnych, ale do twierdzeń, że „wiele” ustaleń zostało usuniętych, należy podchodzić ostrożnie.
Wniosek jest zarówno techniczny, jak i organizacyjny: bezpieczeństwo AI wymaga procesu obejmującego identyfikowanie zagrożeń, odpowiedzialne zgłaszanie luk, ustalanie priorytetów napraw oraz ograniczanie ekspozycji do czasu zakończenia prac.
Microsoft wnosi doświadczenie w tworzeniu zaawansowanych modeli, infrastrukturze dla przedsiębiorstw oraz praktycznej ocenie i kontroli dostępu do systemów AI. Zakres memorandum jest jednak szerszy niż pojedynczy model Microsoftu: dotyczy sposobów testowania bezpieczeństwa i zaufanego dostępu do modeli frontier jako kategorii.
Przedstawione materiały nie potwierdzają jako formalnych elementów tego porozumienia bardziej szczegółowych twierdzeń dotyczących modelu MAI Microsoftu, dostępu w Azure AI Foundry do modeli OpenAI i Anthropic ani porównywalnych umów z brytyjskim AI Security Institute i amerykańskim Centre for AI Standards and Innovation. Tych informacji nie należy przedstawiać jako zobowiązań wynikających z memorandum Singapuru i Microsoftu.
Poszczególne elementy porozumienia tworzą praktyczny łańcuch bezpieczeństwa:
Na tym polega znaczenie memorandum. Samo porozumienie nie czyni zaawansowanej AI bezpieczną i nie rozwiązuje problemów pokazanych przez Claude Mythos. Łączy natomiast ocenę techniczną z zarządzaniem dostępem i praktyką cyberbezpieczeństwa — tak, aby systemy AI były bezpieczniejsze, bardziej niezawodne i rozliczalne, zanim sama skala ich możliwości zostanie pomylona z gotowością do wdrożenia.
IMDA i Microsoft zamierzają współpracować nad bezpieczeństwem i ochroną systemów AI. Wśród tematów wymieniono agentową AI oraz metody oceny bezpieczeństwa wielojęzycznego. To istotne, ponieważ zabezpieczenia modelu nie muszą działać tak samo, gdy szkodliwa intencja, kontekst kulturowy lub próba obejścia reguł są wyrażone w różnych językach i rejestrach. Memorandum opisuje badania i ewaluację — nie ogłasza wdrożenia konkretnego modelu.
Agentowa AI wymaga również szerszych testów niż zwykła ocena jakości pojedynczej odpowiedzi. Systemy, które potrafią planować i wykonywać działania za pomocą narzędzi lub w ramach całych procesów, trzeba sprawdzać pod kątem zakresu uprawnień, reakcji na niejednoznaczne polecenia oraz skuteczności technicznych ograniczeń chroniących przed szkodliwymi lub niezamierzonymi działaniami.
Strony chcą także wymieniać informacje, dobre praktyki i ramy zarządzania. Pozwala to połączyć testy techniczne z decyzjami operacyjnymi: określić, jakie ryzyka należy badać, jakie progi bezpieczeństwa stosować, kto może korzystać z modelu i co zrobić po wykryciu poważnej słabości.
To szersze podejście niż samo porównywanie wyników modeli w benchmarkach. System może osiągać bardzo dobre rezultaty testowe, a mimo to nie nadawać się do zastosowania w usługach publicznych lub infrastrukturze krytycznej, jeśli ma zbyt szerokie uprawnienia, niewystarczający monitoring, niejasne procedury ujawniania luk albo zbyt słaby nadzór człowieka.
Trzecim elementem jest analiza rozwiązań politycznych dotyczących zaufanego dostępu do modeli frontier. Podstawowa idea jest prosta: bardzo wydajne systemy powinny być dostępne do legalnych testów i pożytecznej pracy, ale nie mogą być udostępniane bez zabezpieczeń odpowiadających ich możliwościom oraz potencjalnym zagrożeniom.
Porozumienie wskazuje więc na wielowarstwowy model bezpieczeństwa AI: najpierw testowanie systemu, następnie wymiana wniosków, ograniczanie dostępu tam, gdzie jest to konieczne, oraz ustanowienie zasad odpowiedzialności.
Przykładem problemu podwójnego zastosowania zaawansowanej AI jest Claude Mythos Preview firmy Anthropic. Według Anthropic firma wraz z około 50 partnerami Project Glasswing wykorzystała ograniczony dostęp do modelu, aby wykryć ponad 10 000 luk o wysokiej lub krytycznej wadze w oprogramowaniu o znaczeniu systemowym. Anthropic podał również, że Mythos potrafił identyfikować i wykorzystywać luki, w tym luki typu zero-day, w głównych systemach operacyjnych i przeglądarkach.
Taka zdolność może pomagać obrońcom: badacze mogą znajdować błędy, zanim wykorzystają je przestępcy. Jednocześnie szerokie udostępnienie modelu lub niewłaściwa kontrola nad nim mogłyby skrócić drogę od wykrycia luki do stworzenia działającego ataku. Z tego powodu Anthropic utrzymywał Mythos za ograniczonym dostępem w ramach Project Glasswing, zamiast udostępniać go publicznie.
Dostępne dowody nie potwierdzają jednak, że to właśnie Claude Mythos spowodował lub zainicjował podpisanie singapursko-microsoftowego memorandum z 12 czerwca. Model należy traktować raczej jako przykład szybko zmieniającego się środowiska ryzyka, w którym coraz większe znaczenie mają uporządkowane testy, kontrolowany dostęp i jasne ramy zarządzania.
Model Project Glasswing udostępniono określonej grupie partnerów do celów obronnych, a nie wszystkim użytkownikom. Taki model dostępu ogranicza ekspozycję na ryzyko, jednocześnie pozwalając zespołom bezpieczeństwa sprawdzać rzeczywiste możliwości systemu.
Sam ograniczony dostęp nie tworzy kompletnego systemu bezpieczeństwa. Wymaga weryfikacji użytkowników, monitorowania, bezpiecznego przechowywania danych i odpowiedzialnego ujawniania luk. Pokazuje jednak zasadę stojącą za pracami nad zaufanym dostępem: uprawnienia powinny zależeć od możliwości i ryzyka modelu, a nie od traktowania każdego systemu frontier jak zwykłego publicznego oprogramowania.
Znalezienie błędu jest dopiero pierwszym krokiem. Singapurska Cyber Security Agency zaleca organizacjom instalowanie poprawek dla luk o krytycznej i wysokiej wadze, włączenie uwierzytelniania wieloskładnikowego we wszystkich interfejsach i bramach oraz przegląd zbędnych uprawnień dostępu. Takie działania ograniczają możliwości atakujących w czasie, gdy organizacja analizuje problem i przygotowuje naprawę.
Dostępne dane nie uzasadniają jednak przedstawiania około 10 000 ustaleń Mythosa jako w dużej mierze naprawionych. Jedna z późniejszych analiz wykazała, że opiekunom oprogramowania zgłoszono 1596 luk, lecz poprawki wprowadzono tylko w 97 przypadkach. Nie oznacza to, że projekt nie przyniósł korzyści obronnych, ale do twierdzeń, że „wiele” ustaleń zostało usuniętych, należy podchodzić ostrożnie.
Wniosek jest zarówno techniczny, jak i organizacyjny: bezpieczeństwo AI wymaga procesu obejmującego identyfikowanie zagrożeń, odpowiedzialne zgłaszanie luk, ustalanie priorytetów napraw oraz ograniczanie ekspozycji do czasu zakończenia prac.
Microsoft wnosi doświadczenie w tworzeniu zaawansowanych modeli, infrastrukturze dla przedsiębiorstw oraz praktycznej ocenie i kontroli dostępu do systemów AI. Zakres memorandum jest jednak szerszy niż pojedynczy model Microsoftu: dotyczy sposobów testowania bezpieczeństwa i zaufanego dostępu do modeli frontier jako kategorii.
Przedstawione materiały nie potwierdzają jako formalnych elementów tego porozumienia bardziej szczegółowych twierdzeń dotyczących modelu MAI Microsoftu, dostępu w Azure AI Foundry do modeli OpenAI i Anthropic ani porównywalnych umów z brytyjskim AI Security Institute i amerykańskim Centre for AI Standards and Innovation. Tych informacji nie należy przedstawiać jako zobowiązań wynikających z memorandum Singapuru i Microsoftu.
Poszczególne elementy porozumienia tworzą praktyczny łańcuch bezpieczeństwa:
Na tym polega znaczenie memorandum. Samo porozumienie nie czyni zaawansowanej AI bezpieczną i nie rozwiązuje problemów pokazanych przez Claude Mythos. Łączy natomiast ocenę techniczną z zarządzaniem dostępem i praktyką cyberbezpieczeństwa — tak, aby systemy AI były bezpieczniejsze, bardziej niezawodne i rozliczalne, zanim sama skala ich możliwości zostanie pomylona z gotowością do wdrożenia.