Wake Forest-onderzoek: AI-skills en iOS-apps lekken massaal inloggegevens

Twee onderzoeken van Wake Forest University wijzen op een veelvoorkomende zwakke plek in snelgroeiende AI-ecosystemen: inloggegevens worden geregeld opgeslagen op plaatsen waar AI-agenten, apps of aanvallers erbij kunnen. In een studie naar 17.022 skills van derden werden 520 getroffen skills gevonden, met in totaal 1.708 beveiligingsproblemen. Een verwante studie naar 444 iOS-apps met ingebouwde taalmodellen stelde vast dat 282 apps tijdens tests credentials of toegang tot backends blootgaven. 124

Het risico gaat verder dan een losse gelekte tekenreeks. Een blootgestelde API-sleutel of token kan toegang geven tot privégegevens, mogelijkheden van een agent of betaalde modelaanroepen op het account van een ontwikkelaar.

520 getroffen agent-skills

De onderzoekers selecteerden 17.022 skills uit 170.226 artefacten op SkillsMP, een marktplaats voor herbruikbare AI-agent-skills. Ze combineerden statische detectie van geheimen met dynamische tests in een afgeschermde sandbox, waarbij ze onder meer met nepcredentials werkten. Ook vergeleken ze het doel dat een skill beschreef met het gedrag tijdens de uitvoering. 34

De analyse leverde onder meer deze resultaten op:

• 520 skills bevatten samen 1.708 beveiligingsproblemen, verdeeld over 10 patronen van credentiallekken. 416
• Bij 466 van de 520 getroffen skills konden de blootgestelde credentials zonder verhoogde rechten worden gebruikt. Dat komt overeen met een gemelde directe misbruikbaarheid van 89,6 procent. 14
• 76,3 procent van de lekken kon alleen worden vastgesteld door zowel de natuurlijke-taalinstructies als de code te onderzoeken.
• In 3,1 procent van de gevallen was sprake van promptinjectie in natuurlijke taal, zonder uitvoerbare code. 4

Een controle die uitsluitend naar code kijkt, kan daardoor belangrijke risico’s missen. Een skill kan een legitieme taak lijken te beschrijven, terwijl de instructies of ondersteunende scripts tijdens de uitvoering geheimen blootleggen.

Debuglogs maken geheimen leesbaar voor een model

Vooral debuglogging bleek een belangrijk lekmechanisme. In agentframeworks wordt standaarduitvoer soms aan de context van het taalmodel toegevoegd. Een credential die via bijvoorbeeld print of console.log wordt weergegeven, kan dan beschikbaar komen na een gewone vraag in natuurlijke taal. Volgens de samenvatting van het onderzoek was debuglogging de belangrijkste route; 73,5 procent van de lekken werd toegeschreven aan uitvoer die voor LLM’s toegankelijk was. 4

Het probleem beperkt zich niet tot duidelijk herkenbare, hardgecodeerde API-sleutels. Credentials kunnen ook uitlekken via scripts, omgevingsvariabelen, logs, promptinstructies of combinaties van code en taal die pas tijdens normaal gebruik gevaarlijk worden.

Opzettelijk misbruik én slordige ontwikkeling

De onderzoekers onderscheiden twee brede oorzaken van credentiallekken:

• Kwaadwillige ontwikkeling: een skill bevat bewust instructies of payloads om credentials of privégegevens te verzamelen en die mogelijk naar een externe server te sturen.
• Onzorgvuldige ontwikkeling: een ontwikkelaar past beveiligingsprincipes onvoldoende toe en laat daardoor onbedoeld credentials of toegangsroutes beschikbaar voor aanvallers. 1

Dat onderscheid is relevant voor de aanpak. Kwaadwillige content moet worden opgespoord en verwijderd. Onbedoelde blootstelling vraagt daarnaast om beter geheimenbeheer, veiligere logging, sterke authenticatie en tests vóór een skill wordt verspreid.

Nadat de onderzoekers SkillsMP hadden geïnformeerd, meldde Wake Forest dat alle geïdentificeerde kwaadwillige skills waren verwijderd en de meeste kwetsbare skills waren hersteld. De studie waarschuwt wel dat het opschonen van de oorspronkelijke repository niet altijd volstaat: geforkte kopieën kunnen gelekte credentials behouden nadat de bron is aangepast. 14

282 iOS-apps maakten toegang tot LLM’s bloot

Het verwante iOS-onderzoek analyseerde 444 apps met LLM-functies. Daarvan bleken 282 — ongeveer 64 procent — tijdens het testen misbruikbare LLM-credentials of mechanismen voor backendtoegang bloot te geven in netwerkverkeer. 25

De onderzoekers rapporteerden drie belangrijke blootstellingspatronen:

• Herbruikbare tokens op basis van JWT: 48 procent
• Backendproxy’s zonder authenticatie: 33 procent
• API-sleutels die onversleuteld werden verzonden: 19 procent 3

Deze zwakke plekken kunnen zichtbaar zijn tijdens normaal gebruik van een app. Wie een sleutel onderschept, een token opnieuw gebruikt of een open proxy ontdekt, kan mogelijk verzoeken versturen via het LLM-account van de ontwikkelaar. Dat kan betaalde modelcapaciteit en gekoppelde cloudmiddelen verbruiken en leiden tot ongeautoriseerde kosten. 25

De beschikbare gegevens ondersteunen het risico op zeer hoge of potentieel onbeperkte facturen, afhankelijk van accountlimieten en de duur van de inbraak. Ze bewijzen echter niet zelfstandig een specifiek schadebedrag, zoals ‘honderdduizenden dollars’.

Ook het herstel verliep traag. Drie maanden na de verantwoorde melding had slechts 28 procent van de getroffen iOS-apps de gemelde kwetsbaarheid verholpen. In de opvolgmeting bleef 72 procent exploiteerbaar. 311

AI-functies vergroten het aanvalsoppervlak

Samen laten de studies zien dat een AI-functie toevoegen aan een app of een herbruikbare agent-skill installeren het aanvalsoppervlak kan vergroten. Nieuwe risico’s zijn onder meer:

• provider-sleutels die in clientapps of in de context van een agent terechtkomen;
• bevoorrechte tools die bestanden, diensten of privégegevens kunnen benaderen;
• logs die onbedoeld leesbare modelcontext worden;
• backend-eindpunten die verzoeken zonder voldoende authenticatie accepteren;
• tokens die aanvallers opnieuw kunnen afspelen;
• AI-kosten die een aanvaller op het account van een ontwikkelaar kan genereren.

De zorgen nemen toe nu ontwikkelaars met AI-ondersteund ‘vibe coding’ snel software genereren en samenvoegen. Snelheid vervangt geen dreigingsanalyse: authenticatie, geheimenbeheer, autorisatie, logging en controle van afhankelijkheden blijven bewuste engineeringkeuzes. In 72 procent van de gevallen met hardgecodeerde credentials vonden de onderzoekers bovendien kenmerken van AI-ondersteunde ontwikkeling. Dat wijst erop dat onveilige patronen zich via gegenereerde of snel samengestelde code kunnen verspreiden. 4

Security by design als uitgangspunt

De bevindingen ondersteunen een minimale beveiligingsbasis voor teams die AI-producten bouwen of agent-skills verspreiden:

1. Houd langlevende provider-sleutels buiten clientapparaten en modelcontexten. Laat gevoelige modelaanroepen via een geauthenticeerde server verlopen.
2. Gebruik kortlevende credentials met beperkte rechten. Pas het principe van least privilege toe en valideer tokens; alleen het bezit van een token mag niet automatisch voldoende zijn.
3. Scherm geheimen af in logs en standaarduitvoer. Behandel alles wat in de context van een agent terechtkomt als informatie die het model of de gebruiker mogelijk kan terugvinden.
4. Scan code, configuratie, prompts en afhankelijkheden op geheimen. De resultaten rond agent-skills laten zien waarom natuurlijke taal en uitvoerbare code samen moeten worden gecontroleerd.
5. Test netwerkverkeer en backendautorisatie. Controleer of een onderschept verzoek niet opnieuw kan worden gebruikt en niet via een proxy zonder authenticatie kan worden omgeleid.
6. Draai blootgestelde credentials onmiddellijk terug en controleer forks en kopieën. Een geheim uit de oorspronkelijke repository verwijderen betekent niet dat elke verspreide versie is opgeschoond.
7. Voer platformcontroles in vóór verspreiding. Screening van marktplaatsen, richtlijnen voor ontwikkelaars, verantwoorde openbaarmaking en geautomatiseerde controles vullen individuele oplettendheid aan. 34

De hoofdles is eenvoudig: AI-beveiliging kan niet pas na de lancering worden toegevoegd. Credentials, agentrechten, modelcontext en factureringslimieten moeten vanaf het begin tot de kern van productbeveiliging behoren.