Skild AI S1 : comment une vidéo pourrait changer l’apprentissage des robots

Skild AI présente S1 comme un modèle de fondation pour la robotique capable d’apprendre dans son contexte : au lieu d’être réentraîné pour chaque nouvelle tâche, un robot regarde une vidéo de démonstration et l’utilise comme spécification pour agir. Selon l’entreprise, S1 peut exécuter des tâches inédites durant jusqu’à 10 minutes, sans ajustement spécifique de ses poids ni post-entraînement dédié. 15

L’idée est importante pour l’IA physique, car elle vise à rendre les robots plus adaptables. Elle ne prouve pas pour autant que des machines polyvalentes sont prêtes à accomplir sans supervision n’importe quelle tâche domestique ou industrielle. Les résultats les plus marquants proviennent pour l’instant des démonstrations et des évaluations internes de Skild AI : des tests indépendants seront donc déterminants.

Une vidéo comme programme pour le robot

De nombreux systèmes d’apprentissage robotique sont conçus autour d’une tâche, d’un robot ou de conditions d’utilisation précises. S1 adopte une approche différente : il traite la démonstration vidéo comme une consigne exécutable. Le modèle doit en déduire l’objectif, l’ordre des actions, les relations entre les objets et les ajustements physiques nécessaires pour reproduire la tâche sur un robot. 13

Dire à un robot « prépare un café » identifie un objectif, mais reste relativement vague. Une vidéo montre aussi la succession des gestes, la manière de saisir un objet, l’utilisation d’un outil et le déroulement de l’opération sur plusieurs étapes. C’est cette richesse que Skild AI met en avant pour expliquer la capacité de S1 à généraliser à des tâches longues et absentes de ses données de préentraînement. 15

L’entreprise décrit cette méthode comme l’équivalent, pour la robotique, du prompting d’un modèle de langage : les capacités de base restent inchangées et la démonstration fournit le contexte propre à la tâche.

Café filtre, rempotage et crêpes : ce que S1 a montré

Skild AI a présenté S1 sur plusieurs séquences de manipulation, notamment :

• la préparation d’un café filtre ;
• le rempotage d’une plante ;
• l’assemblage d’un kit ;
• le retournement d’une crêpe.

Certaines démonstrations durent jusqu’à 10 minutes et comprennent des dizaines d’actions successives. 135

Dans des tests qualitatifs rapportés par l’entreprise, S1 aurait aussi réagi à des changements dans la scène, recommencé après certaines erreurs, remplacé un arrosoir par une tasse lorsque l’objet initial n’était pas disponible et corrigé une manipulation maladroite d’un œuf au lieu de la reproduire à l’identique. Ces exemples suggèrent une certaine souplesse comportementale. Ils ne suffisent toutefois pas à établir la fiabilité du système dans une grande variété d’environnements. 5

Face aux modèles VLA guidés par le langage

Le comparatif le plus précis fourni par Skild AI concerne une évaluation interne de tâches inédites. Avec 100 000 heures de données d’entraînement, l’entreprise indique que sa politique vidéo à apprentissage contextuel a obtenu un taux moyen de réussite par étape de 66 %, contre 9 % pour une référence VLA guidée par le langage. Les modèles VLA — pour vision-language-action — associent perception visuelle, compréhension du langage et commande robotique. 14

Skild AI affirme également que cette politique VLA se dégradait jusqu’à trois fois davantage que S1 lorsque les conditions de déploiement changeaient fortement, par exemple avec des objets différents de ceux de la démonstration ou un plan nécessitant l’utilisation du bras opposé. 1

Selon une autre comparaison de l’entreprise, une seule vidéo de démonstration produisait des performances comparables à environ 380 épisodes de post-entraînement spécifiques à la tâche sur une politique préentraînée. 1

Ces chiffres illustrent l’intérêt potentiel de la vidéo : elle transmet non seulement le résultat recherché, mais aussi la séquence, le rythme, la disposition des objets, l’usage des outils et la stratégie physique. Il faut néanmoins les considérer comme des résultats internes à Skild AI, et non comme un benchmark indépendant reproduit par des chercheurs extérieurs. Les éléments fournis ne comprennent ni article scientifique public, ni poids du modèle, ni évaluation externe standardisée. 415

À quelle vitesse S1 commence-t-il à agir ?

Skild AI décrit S1 comme un système fonctionnant en temps réel après le visionnage de la démonstration. Des informations publiées autour du lancement indiquent que le robot peut exécuter la tâche immédiatement après l’avoir regardée. 25

Les sources disponibles ne permettent toutefois pas de confirmer un délai général précis, comme « quelques secondes » ou « 11 minutes ». Le temps exact entre la fin de la vidéo et le début de l’exécution n’est pas établi pour le système dans son ensemble. Cette nuance compte en usine : le temps de préparation, la latence d’inférence, les contrôles de sécurité et la capacité à récupérer après une erreur peuvent être aussi importants que le taux de réussite brut.

Une stratégie de données très large

Skild AI attribue une partie de ses capacités à une infrastructure de données combinant plusieurs sources : simulation à grande échelle, vidéos d’actions humaines disponibles en ligne, données de robots, téléopération et informations issues de déploiements réels. Dans ses documents consacrés à la série C, l’entreprise décrit aussi une boucle de données : chaque déploiement génère de nouvelles expériences susceptibles d’améliorer le modèle sur d’autres robots et environnements. 37

Lors du SMARTCLOUD SHOW, le cofondateur Abhinav Gupta aurait déclaré que Skild utilise « toutes sortes » de méthodes de collecte de données robotiques et dispose de 100 à 1 000 fois plus de données que ses concurrents. Ce multiplicateur reste une affirmation de l’entreprise, et non une comparaison publique auditée. 6

Chaque source joue un rôle différent : les vidéos humaines montrent des objets et des actions, la simulation élargit la variété des robots et des environnements, tandis que les données de robots réels relient ces apprentissages au contrôle physique.

Que signifie le terme « omni-corps » ?

S1 s’inscrit dans la stratégie plus large de Skild AI autour d’un cerveau robotique « omni-corps ». Cela ne signifie pas qu’un robot bipède, quadrupède, roulant ou doté d’un simple bras effectuerait les mêmes mouvements. Leurs articulations, capteurs, membres, roues et possibilités physiques diffèrent. 45

L’objectif est plutôt d’apprendre des régularités communes du monde physique, puis de traduire ces attentes en commandes compatibles avec chaque robot. Un même modèle peut ainsi partager des connaissances entre plusieurs morphologies tout en adaptant ses sorties aux actionneurs et aux capteurs disponibles. 45

Cette architecture doit réduire la nécessité de créer et de maintenir un modèle entièrement distinct pour chaque configuration matérielle. Skild AI a également décrit un entraînement portant sur un grand nombre de robots simulés afin d’apprendre des comportements physiques plus généraux. 4245

Des premiers déploiements industriels, mais peu de chiffres publics

Skild AI a annoncé des collaborations avec ABB Robotics et Universal Robots pour intégrer ses logiciels à des systèmes industriels. Reuters a par ailleurs rapporté que Skild AI et Nvidia déployaient ce cerveau robotique sur des lignes d’assemblage liées aux systèmes Nvidia Blackwell. 3444

Ces annonces montrent une orientation vers des essais et intégrations commerciales. Elles ne constituent pas encore un bilan public complet. Les informations disponibles ne fournissent pas de chiffres indépendamment audités sur le débit des usines, la disponibilité des équipements, les taux d’erreur, les incidents de sécurité ou le retour sur investissement. Un déploiement prouve que la technologie est testée ou intégrée, pas qu’elle a déjà remplacé l’automatisation conventionnelle à grande échelle.

Une valorisation de plus de 14 milliards de dollars

L’intérêt des investisseurs pour Skild AI est considérable. Bloomberg a rapporté une levée de 1,4 milliard de dollars en série C, menée par SoftBank, qui valorisait l’entreprise à plus de 14 milliards de dollars — soit plus du triple de sa valorisation environ sept mois auparavant. 17

D’autres publications estiment le financement cumulé de Skild AI à plus de 1,8 milliard de dollars, mais les montants varient selon les sources et ne doivent pas être présentés comme un total définitif audité. 182122

La comparaison avec le « moment ChatGPT des robots » doit donc être comprise comme une analogie, et non comme une conclusion établie. S1 suggère un changement possible dans la manière dont les robots acquièrent de nouvelles compétences : passer d’un réentraînement tâche par tâche à un apprentissage à partir de démonstrations. L’investisseur Ravi Mhatre a parlé d’un « moment GPT-3 » pour les tâches humaines longues, mais il s’agit d’un jugement d’investisseur, pas d’une validation scientifique indépendante. 10

À retenir

La nouveauté de S1 ne tient pas seulement à sa capacité à imiter une vidéo. L’ambition est qu’un modèle de fondation puisse utiliser une seule démonstration pour combiner des compétences, s’adapter à une scène modifiée et exécuter une longue séquence sans mettre à jour ses poids pour cette tâche précise.

Le résultat annoncé de 66 % contre 9 %, ainsi que les démonstrations de longue durée, rendent la proposition techniquement intéressante. 14 Mais la réserve est tout aussi importante : les preuves publiques reposent encore surtout sur les documents de l’entreprise, des démonstrations sélectionnées et des annonces de déploiement précoce. Tant que des équipes externes n’auront pas reproduit ces résultats dans des conditions standardisées et que des clients industriels n’auront pas publié de données de fiabilité et de sécurité, S1 doit être considéré comme une piste prometteuse pour l’IA physique — pas comme la preuve définitive de l’arrivée d’un cerveau robotique universel.