Was ist GRAM?

GRAM ist eine Vortrainingsmethode, die Dual-Use-Wissen – also Informationen, die sowohl für nützliche als auch für schädliche Zwecke verwendet werden können – in herausnehmbare neuronale Module innerhalb eines Sprachmodells lokalisiert . Nach dem Training können diese Module ein- oder ausgeschaltet werden, was den Betreibern eine feingranulare Kontrolle darüber gibt, welche gefährlichen Fähigkeiten das Modell behält . Derselbe Ansatz könnte auch unterschiedliche Zugriffsprofile für verschiedene Nutzer ermöglichen: Forscher könnten das Virologie-Wissen aktivieren, während ein öffentlich zugänglicher Chatbot es deaktiviert lässt .

Wie GRAM architektonisch funktioniert

Trainingsphase

GRAM erweitert die standardmäßige Transformer-Architektur um kleine Hilfsmodule – im Grunde spezielle Neuronen in jeder Schicht –, die während des Trainings bestimmte Dual-Use-Fähigkeiten erfassen sollen . Der entscheidende Mechanismus ist das Gradienten-Routing: Während der Rückwärtspropagierung steuern gewichtete Masken, welche Parameter für welche Daten aktualisiert werden .

• Wenn das Modell allgemeine Texte verarbeitet, lernt es wie gewohnt, während die Hilfsmodule so trainiert werden, dass sie mit dem Rest des Modells kompatibel bleiben .
• Wenn das Modell auf Texte aus einer Dual-Use-Kategorie wie Virologie oder Cybersicherheit stößt, lenkt das Gradienten-Routing das Lernsignal in das entsprechende Hilfsmodul, anstatt das Wissen über alle Modellparameter zu verteilen .
• Dadurch wird das Wissen über jede Zieldomäne in einem dedizierten Modul konzentriert, anstatt sich im gesamten Netzwerk auszubreiten .

Inferenzphase

Nach Abschluss des Trainings können einzelne Module entfernt oder deaktiviert werden, um den Zugriff auf eine bestimmte Fähigkeit zu reduzieren, oder belassen werden, wenn die Nutzung dieses Wissens erlaubt ist . Da jede Dual-Use-Kategorie ein eigenes Modul hat, kann ein einzelnes GRAM-trainiertes Modell mit vier Kategorien theoretisch in 2⁴ = 16 verschiedene Fähigkeitsprofile konfiguriert werden, indem jedes Modul unabhängig ein- oder ausgeschaltet wird .

Ergebnisse bei Modellen mit bis zu 5 Milliarden Parametern

Die Forscher testeten GRAM in verschiedenen Umgebungen und Modellgrößen :

1. Synthetischer Datensatz: In einer kontrollierten synthetischen Umgebung ließ GRAM ein Modell ausgewählte Themen „vergessen“, und die Ergebnisse wurden mit Modellen verglichen, die trainiert wurden, als ob diese Themen von Anfang an herausgefiltert worden wären .
2. Realistische Dual-Use-Daten: In einer realistischeren Umgebung mit Webtexten, Code, wissenschaftlichen Papieren und Dual-Use-Domänen reduzierte das Entfernen eines GRAM-Moduls die entsprechende Fähigkeit – was den Effekt einer Datenfilterung annäherte –, während die allgemeine Leistung erhalten blieb .
3. Skalierungsstudie: GRAM wurde bei Modellgrößen von 50 Millionen bis 5 Milliarden Parametern getestet . Wichtigste Erkenntnisse: GRAM folgte dem Verhalten der Datenfilterung; größere Modelle zeigten eine klarere Trennung zwischen ein- und ausgeschaltetem Modulverhalten; und die Methode schnitt in den getesteten Umgebungen im Vergleich mit einigen Ansätzen des nachträglichen „Verlernens“ (Unlearning) günstig ab .

Politischer Kontext: Von modularen Kontrollen zu realen Exportverboten

Die GRAM-Forschung kommt zu einem Zeitpunkt, an dem das Problem, das sie lösen soll, auf der weltpolitischen Bühne exemplarisch ausgetragen wird. Im Juni 2025 verhängte die Trump-Administration aus Cybersicherheitsbedenken Exportkontrollen gegen Anthropics Modelle Claude Fable 5 und Mythos 5. Der Zugriff wurde für alle ausländischen Staatsangehörigen – innerhalb und außerhalb der USA, einschließlich ausländischer Anthropic-Mitarbeiter – blockiert . Das Verbot dauerte 18 Tage, bis das Handelsministerium es nach einer nationalen Sicherheitsprüfung aufhob .

Diese Episode verdeutlicht den aktuellen Stand der KI-Zugriffskontrolle: Ein ganzes Modell mit all seinen Fähigkeiten wird als eine unteilbare Einheit behandelt. Besitzt ein Modell eine gefährliche Fähigkeit, bleibt heute nur die Möglichkeit, das gesamte System zu sperren. GRAM schlägt eine feinere Alternative vor: Anstatt ein ganzes Modell zu blockieren, könnte ein System je nach Einsatzumgebung bestimmte Wissenskategorien erlauben oder deaktivieren .

Offene Fragen und Grenzen

Die Forscher von Anthropic weisen ausdrücklich darauf hin, dass es sich bei GRAM um eine vorläufige Arbeit handelt, und nennen mehrere Einschränkungen :

• Nicht in der Spitzenklasse getestet: GRAM wurde weder in produktiven Claude-Modellen noch in der Größenordnung der leistungsfähigsten Systeme nachgewiesen .
• Bewertungsumfang: Die berichteten Experimente konzentrieren sich auf kontrollierte Evaluierungen; die reale Entfernung von Fähigkeiten (Downstream Capability Removal) könnte schwerer zuverlässig zu messen sein .
• Grundlegendes Verflechtungsproblem: Einige Dual-Use-Fähigkeiten könnten tief mit allgemeinem Wissen verwoben sein, was es für jede Lokalisierungs- oder Filtermethode schwierig macht, sie sauber zu trennen .
• Realistische Datenkennzeichnung: GRAM ist darauf angewiesen, relevante Dual-Use-Daten während des Trainings zu identifizieren und zu lenken. Die zuverlässige Kennzeichnung solcher Daten in großem Maßstab bleibt eine wichtige praktische Herausforderung .
• Vorläufige Ergebnisse: Anthropic präsentiert GRAM als frühe Forschungsrichtung und nicht als eingesetzten Sicherheitsmechanismus – und das Unternehmen ist nicht sicher, ob es jemals eingesetzt wird .

Was ist GRAM?

GRAM ist eine Vortrainingsmethode, die Dual-Use-Wissen – also Informationen, die sowohl für nützliche als auch für schädliche Zwecke verwendet werden können – in herausnehmbare neuronale Module innerhalb eines Sprachmodells lokalisiert . Nach dem Training können diese Module ein- oder ausgeschaltet werden, was den Betreibern eine feingranulare Kontrolle darüber gibt, welche gefährlichen Fähigkeiten das Modell behält . Derselbe Ansatz könnte auch unterschiedliche Zugriffsprofile für verschiedene Nutzer ermöglichen: Forscher könnten das Virologie-Wissen aktivieren, während ein öffentlich zugänglicher Chatbot es deaktiviert lässt .

Wie GRAM architektonisch funktioniert

Trainingsphase

GRAM erweitert die standardmäßige Transformer-Architektur um kleine Hilfsmodule – im Grunde spezielle Neuronen in jeder Schicht –, die während des Trainings bestimmte Dual-Use-Fähigkeiten erfassen sollen . Der entscheidende Mechanismus ist das Gradienten-Routing: Während der Rückwärtspropagierung steuern gewichtete Masken, welche Parameter für welche Daten aktualisiert werden .

• Wenn das Modell allgemeine Texte verarbeitet, lernt es wie gewohnt, während die Hilfsmodule so trainiert werden, dass sie mit dem Rest des Modells kompatibel bleiben .
• Wenn das Modell auf Texte aus einer Dual-Use-Kategorie wie Virologie oder Cybersicherheit stößt, lenkt das Gradienten-Routing das Lernsignal in das entsprechende Hilfsmodul, anstatt das Wissen über alle Modellparameter zu verteilen .
• Dadurch wird das Wissen über jede Zieldomäne in einem dedizierten Modul konzentriert, anstatt sich im gesamten Netzwerk auszubreiten .

Inferenzphase

Nach Abschluss des Trainings können einzelne Module entfernt oder deaktiviert werden, um den Zugriff auf eine bestimmte Fähigkeit zu reduzieren, oder belassen werden, wenn die Nutzung dieses Wissens erlaubt ist . Da jede Dual-Use-Kategorie ein eigenes Modul hat, kann ein einzelnes GRAM-trainiertes Modell mit vier Kategorien theoretisch in 2⁴ = 16 verschiedene Fähigkeitsprofile konfiguriert werden, indem jedes Modul unabhängig ein- oder ausgeschaltet wird .

Ergebnisse bei Modellen mit bis zu 5 Milliarden Parametern

Die Forscher testeten GRAM in verschiedenen Umgebungen und Modellgrößen :

1. Synthetischer Datensatz: In einer kontrollierten synthetischen Umgebung ließ GRAM ein Modell ausgewählte Themen „vergessen“, und die Ergebnisse wurden mit Modellen verglichen, die trainiert wurden, als ob diese Themen von Anfang an herausgefiltert worden wären .
2. Realistische Dual-Use-Daten: In einer realistischeren Umgebung mit Webtexten, Code, wissenschaftlichen Papieren und Dual-Use-Domänen reduzierte das Entfernen eines GRAM-Moduls die entsprechende Fähigkeit – was den Effekt einer Datenfilterung annäherte –, während die allgemeine Leistung erhalten blieb .
3. Skalierungsstudie: GRAM wurde bei Modellgrößen von 50 Millionen bis 5 Milliarden Parametern getestet . Wichtigste Erkenntnisse: GRAM folgte dem Verhalten der Datenfilterung; größere Modelle zeigten eine klarere Trennung zwischen ein- und ausgeschaltetem Modulverhalten; und die Methode schnitt in den getesteten Umgebungen im Vergleich mit einigen Ansätzen des nachträglichen „Verlernens“ (Unlearning) günstig ab .

Politischer Kontext: Von modularen Kontrollen zu realen Exportverboten

Die GRAM-Forschung kommt zu einem Zeitpunkt, an dem das Problem, das sie lösen soll, auf der weltpolitischen Bühne exemplarisch ausgetragen wird. Im Juni 2025 verhängte die Trump-Administration aus Cybersicherheitsbedenken Exportkontrollen gegen Anthropics Modelle Claude Fable 5 und Mythos 5. Der Zugriff wurde für alle ausländischen Staatsangehörigen – innerhalb und außerhalb der USA, einschließlich ausländischer Anthropic-Mitarbeiter – blockiert . Das Verbot dauerte 18 Tage, bis das Handelsministerium es nach einer nationalen Sicherheitsprüfung aufhob .

Diese Episode verdeutlicht den aktuellen Stand der KI-Zugriffskontrolle: Ein ganzes Modell mit all seinen Fähigkeiten wird als eine unteilbare Einheit behandelt. Besitzt ein Modell eine gefährliche Fähigkeit, bleibt heute nur die Möglichkeit, das gesamte System zu sperren. GRAM schlägt eine feinere Alternative vor: Anstatt ein ganzes Modell zu blockieren, könnte ein System je nach Einsatzumgebung bestimmte Wissenskategorien erlauben oder deaktivieren .

Offene Fragen und Grenzen

Die Forscher von Anthropic weisen ausdrücklich darauf hin, dass es sich bei GRAM um eine vorläufige Arbeit handelt, und nennen mehrere Einschränkungen :

• Nicht in der Spitzenklasse getestet: GRAM wurde weder in produktiven Claude-Modellen noch in der Größenordnung der leistungsfähigsten Systeme nachgewiesen .
• Bewertungsumfang: Die berichteten Experimente konzentrieren sich auf kontrollierte Evaluierungen; die reale Entfernung von Fähigkeiten (Downstream Capability Removal) könnte schwerer zuverlässig zu messen sein .
• Grundlegendes Verflechtungsproblem: Einige Dual-Use-Fähigkeiten könnten tief mit allgemeinem Wissen verwoben sein, was es für jede Lokalisierungs- oder Filtermethode schwierig macht, sie sauber zu trennen .
• Realistische Datenkennzeichnung: GRAM ist darauf angewiesen, relevante Dual-Use-Daten während des Trainings zu identifizieren und zu lenken. Die zuverlässige Kennzeichnung solcher Daten in großem Maßstab bleibt eine wichtige praktische Herausforderung .
• Vorläufige Ergebnisse: Anthropic präsentiert GRAM als frühe Forschungsrichtung und nicht als eingesetzten Sicherheitsmechanismus – und das Unternehmen ist nicht sicher, ob es jemals eingesetzt wird .