Skild AI S1: Wie ein einziges Video Robotern neue Aufgaben beibringen soll

Skild AI stellt sein Modell S1 als eine Art Grundmodell für Robotik vor: Ein Roboter sieht ein Video, in dem ein Mensch eine Aufgabe demonstriert, und soll den Ablauf anschließend selbst ausführen. Laut Skild funktioniert das auch bei zuvor unbekannten Aufgaben mit einem Zeithorizont von bis zu 10 Minuten – ohne aufgabenspezifisches Fine-Tuning und ohne die Gewichte des Modells zu verändern. 15

Das wäre ein bemerkenswerter Schritt hin zu anpassungsfähiger „Physical AI“, also künstlicher Intelligenz, die nicht nur Text oder Bilder verarbeitet, sondern in der realen Welt handelt. Bewiesen ist damit aber noch nicht, dass Roboter nun beliebige Haus- oder Fabrikarbeiten zuverlässig erledigen können. Die derzeit stärksten Ergebnisse stammen aus Skilds eigenen Demonstrationen und Benchmarks; unabhängige Tests stehen daher weiterhin aus.

Was S1 anders macht

Viele Systeme für das Roboterlernen werden auf eine bestimmte Aufgabe, einen bestimmten Robotertyp oder klar definierte Betriebsbedingungen zugeschnitten. S1 behandelt dagegen ein Demonstrationsvideo als ausführbare Aufgabenbeschreibung. Das Modell muss daraus Ziel, Reihenfolge der Handlungen, Beziehungen zwischen Objekten und die nötigen körperlichen Anpassungen ableiten. 13

Der Unterschied zu einem reinen Sprachbefehl ist entscheidend. „Bereite Kaffee zu“ beschreibt zwar ein Ziel, zeigt aber nicht, in welcher Reihenfolge die einzelnen Schritte erfolgen, wie ein Gegenstand gegriffen wird, welches Werkzeug zum Einsatz kommt oder wie lange ein Ablauf dauert. Ein Video kann genau diese Informationen vermitteln. Skilds zentrale These lautet, dass S1 dadurch auch lange Aufgabenfolgen verallgemeinern kann, die nicht Teil des ursprünglichen Trainings waren. 15

Das Unternehmen beschreibt den Ansatz als Gegenstück zum Prompting bei Sprachmodellen: Die grundlegenden Fähigkeiten des Modells bleiben unverändert, während die Videodemonstration den konkreten Kontext für die neue Aufgabe liefert.

Kaffee, Pflanzen, Pfannkuchen und Montage

Skild hat S1 unter anderem bei folgenden Abläufen gezeigt:

• der Zubereitung von Pour-over-Kaffee,
• dem Einpflanzen beziehungsweise Umtopfen einer Pflanze,
• dem Zusammenbauen eines Kits,
• dem Wenden eines Pfannkuchens.

Einige Demonstrationen dauern bis zu 10 Minuten und umfassen Dutzende aufeinanderfolgende Aktionen. 135

In qualitativen Tests soll S1 außerdem nicht einfach eine gespeicherte Bewegung abspulen. Laut Skild reagierte das Modell auf Veränderungen in der Szene, versuchte sich nach bestimmten Fehlern erneut, verwendete einen Becher, als die im Video gezeigte Gießkanne nicht verfügbar war, und korrigierte eine ungeschickte Handhabung eines Eis, statt sie wortgetreu zu kopieren. Das deutet auf eine gewisse Verhaltensflexibilität hin. Aus Videodemonstrationen allein lässt sich jedoch keine verlässliche Leistung in einer großen Zahl unterschiedlicher Umgebungen ableiten. 5

Vergleich mit sprachgesteuerten VLA-Modellen

Der konkreteste Vergleich stammt aus einer internen Untersuchung von Skild zu unbekannten Aufgaben. Bei 100.000 Trainingsstunden meldete das Unternehmen für seine videobasierte In-Context-Policy eine durchschnittliche Erfolgsquote von 66 Prozent pro Schritt. Ein vergleichbares, sprachgesteuertes Vision-Language-Action-Modell – kurz VLA – kam demnach auf 9 Prozent. 14

Skild zufolge verschlechterte sich die sprachgesteuerte VLA-Variante bei starken Änderungen der Einsatzbedingungen außerdem bis zu dreimal stärker als S1. Als Beispiele nennt das Unternehmen andere Objekte als in der Demonstration oder einen Ablauf, bei dem der Roboter den jeweils anderen Arm einsetzen musste. 1

Ein weiterer Vergleich von Skild kommt zu dem Ergebnis, dass ein einziges Videoprompt eine ähnliche Leistung erzielen konnte wie ungefähr 380 aufgabenspezifische Nachtrainings-Episoden einer bereits trainierten Policy. 1

Die Zahlen erklären, warum Videoprompting für die Robotik interessant sein könnte: Ein Video vermittelt nicht nur das gewünschte Ergebnis, sondern auch Reihenfolge, Timing, Anordnung der Objekte, Werkzeuggebrauch und die vorgesehene Bewegungsstrategie. Wichtig ist allerdings die Einordnung: Es handelt sich um unternehmensinterne Belege von Skild, nicht um einen unabhängig reproduzierten Vergleich. In den vorliegenden Quellen finden sich weder ein öffentliches Paper noch frei verfügbare Modellgewichte oder eine standardisierte externe Evaluation. 415

Wie schnell beginnt S1 mit der Aufgabe?

Skild beschreibt S1 als Echtzeitsystem. Berichte zur Vorstellung des Modells besagen, dass ein Roboter nach dem Ansehen der Demonstration unmittelbar mit der Ausführung beginnen könne. 25

Eine verlässlich belegte allgemeine Angabe wie „innerhalb weniger Sekunden“ lässt sich aus den vorliegenden Quellen jedoch nicht ableiten. Unklar bleibt insbesondere, wie viel Zeit zwischen dem Ende des Videos und dem tatsächlichen Start der Ausführung vergeht. Für den industriellen Einsatz ist diese Unterscheidung relevant: Einrichtungszeit, Rechenlatenz, Sicherheitsprüfungen und das Verhalten bei Fehlern können ebenso wichtig sein wie die reine Erfolgsquote.

Die Datenstrategie hinter S1

Skild führt seine breite Datenpipeline als wichtigen Grund für den Aufbau eines allgemeineren Robotikmodells an. Zum Einsatz kommen dem Unternehmen zufolge groß angelegte Simulationen, Internetvideos menschlicher Handlungen, Roboterdaten, Teleoperation und Informationen aus realen Einsätzen. In den Materialien zur Series C beschreibt Skild außerdem eine Daten-Rückkopplung: Je mehr Roboter eingesetzt werden, desto mehr Erfahrungen entstehen, die das Modell für weitere Roboter und Umgebungen verbessern können. 37

Auf der SMARTCLOUD SHOW soll Mitgründer Abhinav Gupta erklärt haben, Skild nutze „jede Art“ der Roboterdatenerfassung und verfüge über 100- bis 1.000-mal mehr Daten als Wettbewerber. Diese Größenordnung ist eine Aussage des Unternehmens und kein öffentlich geprüftes Branchenvergleich. 6

Die praktische Idee dahinter: Unterschiedliche Datenquellen decken unterschiedliche Teile des Problems ab. Menschliche Videos zeigen Objekte und Handlungen, Simulationen erweitern die Zahl möglicher Roboterkörper und Umgebungen, und reale Roboterdaten verknüpfen diese abstrakten Muster mit physischer Steuerung.

Was „omni-bodied“ bedeutet

S1 gehört zu Skilds übergeordneter Strategie eines „omni-bodied“ Robotergehirns. Das bedeutet nicht, dass ein zweibeiniger, ein vierbeiniger, ein fahrender Roboter und ein Roboterarm dieselben Bewegungen ausführen. Gelenke, Sensoren, Gliedmaßen, Räder und physisch mögliche Aktionen unterscheiden sich deutlich. 45

Gemeint ist vielmehr eine Architektur, die gemeinsame physikalische Gesetzmäßigkeiten über verschiedene Plattformen hinweg lernt und diese anschließend auf die Fähigkeiten eines konkreten Roboters abbildet. Ein Modell soll so Wissen zwischen unterschiedlichen Robotertypen teilen können, während seine Ausgaben an die jeweils verfügbaren Aktoren und Sensoren angepasst werden. 45

Damit will Skild vermeiden, für jede Roboterkonfiguration ein vollständig eigenes Modell entwickeln und pflegen zu müssen. Das Unternehmen hat außerdem beschrieben, mit sehr vielen simulierten Roboterkörpern zu trainieren, um allgemeinere physische Fähigkeiten zu erlernen. 4245

Wo S1 und Skilds Robotersoftware eingesetzt werden sollen

Skild hat Kooperationen mit ABB Robotics und Universal Robots angekündigt, um seine Software in industrielle Systeme zu integrieren. Reuters berichtete zudem, Skild und Nvidia würden das Robotergehirn an Montagelinien einsetzen, die mit Nvidia-Blackwell-Systemen verbunden sind. 3444

Diese Ankündigungen zeigen einen Weg in Richtung kommerzieller Erprobung. Sie liefern jedoch noch keine vollständige öffentliche Leistungsbilanz. Die vorliegenden Belege enthalten keine unabhängig geprüften Angaben zu Fabrikdurchsatz, Verfügbarkeit, Fehlerquoten, Sicherheitsvorfällen oder Rendite. Ein Einsatz oder eine Integration ist ein Hinweis darauf, dass die Technik getestet wird – kein Beweis dafür, dass sie herkömmliche Automatisierung bereits im großen Maßstab ersetzt.

Was die Bewertung von mehr als 14 Milliarden US-Dollar aussagt

Das Interesse der Investoren an Skild ist erheblich. Bloomberg berichtete über eine Series-C-Finanzierung von 1,4 Milliarden US-Dollar, angeführt von SoftBank, die das Unternehmen mit mehr als 14 Milliarden US-Dollar bewertete. Damit habe sich die Bewertung innerhalb von ungefähr sieben Monaten mehr als verdreifacht. 17

Andere Berichte beziffern die Gesamtfinanzierung von Skild auf mehr als 1,8 Milliarden US-Dollar. Die verfügbaren Angaben unterscheiden sich jedoch je nach Quelle und sollten nicht als endgültige, geprüfte Gesamtsumme verstanden werden. 182122

Der Vergleich mit einem „ChatGPT-Moment für Roboter“ ist deshalb vor allem eine Analogie, keine feststehende Schlussfolgerung. S1 deutet auf einen möglichen Wandel hin: Roboter könnten neue Fähigkeiten künftig weniger durch separates Training für jede Aufgabe und stärker durch Demonstrationen erwerben. Investor Ravi Mhatre bezeichnete die Vorstellung als einen „GPT-3-Moment“ für lang andauernde Aufgaben aus der menschlichen Arbeitswelt. Das ist jedoch eine Einschätzung eines Investors und keine unabhängige wissenschaftliche Validierung. 10

Fazit: Ein wichtiger Ansatz, aber noch kein Beweis für den Universalroboter

Die wichtigste Idee hinter S1 ist nicht bloß, dass ein Roboter ein Video imitieren kann. Entscheidend ist der Anspruch, dass ein Grundmodell eine Demonstration nutzen kann, um Fähigkeiten zu kombinieren, auf eine veränderte Szene zu reagieren und eine lange Handlungskette auszuführen – ohne seine Gewichte für diese konkrete Aufgabe anzupassen.

Skilds gemeldetes Verhältnis von 66 zu 9 Prozent sowie die Demonstrationen mit langen Aufgabenfolgen machen den Ansatz technisch relevant. 14 Ebenso wichtig ist aber die Einschränkung: Die öffentliche Beweislage besteht bislang vor allem aus Unternehmensmaterialien, ausgewählten Videos und ersten Ankündigungen zu Einsätzen. Erst wenn externe Forscher die Ergebnisse unter standardisierten Bedingungen reproduzieren können und Industriekunden Daten zu Zuverlässigkeit und Sicherheit veröffentlichen, lässt sich beurteilen, wie weit S1 tatsächlich trägt.

Bis dahin ist S1 eine vielversprechende Richtung für Physical AI – aber noch kein endgültiger Beleg dafür, dass das allgemeine Robotergehirn bereits angekommen ist.