Sampura Research : l’alternative humaine à l’IA qui surveille l’IA

Sampura Research est une organisation londonienne à but non lucratif consacrée à la sécurité de l’intelligence artificielle. Elle a été fondée par Rishub Jain et Josh Jacob, deux anciens chercheurs de Google DeepMind. Contrairement à ce qu’affirme la question initiale, Alex Adams n’est pas présenté comme cofondateur dans l’annonce officielle : il y est remercié pour ses retours. L’organisation a été rendue publique le 25 août 2026, avec une dotation initiale de 11 millions de dollars accordée par Coefficient Giving — 7 millions pour la première année et 4 millions supplémentaires promis. 4

Pourquoi Sampura critique l’« IA qui surveille l’IA »

Dans la recherche sur la supervision évolutive (scalable oversight), les laboratoires cherchent à contrôler des systèmes de plus en plus capables sans demander à un humain d’examiner chaque réponse. Une solution courante consiste à confier cette tâche à un autre grand modèle de langage, utilisé comme évaluateur ou « juge » : c’est plus rapide et moins coûteux.

Sampura estime toutefois que cette automatisation ne doit pas faire disparaître le jugement humain. Selon son programme de recherche, les humains pourraient conserver plusieurs avantages spécifiques :

• repérer les défaillances irrégulières et difficiles à anticiper des modèles, parfois qualifiées de comportements « en dents de scie » (jagged failures) ;
• fournir un contrôle indépendant lorsque le modèle évalué et le modèle juge risquent de converger ou de collaborer implicitement ;
• réfléchir à des valeurs humaines nouvelles ou évolutives, que des systèmes entraînés sur des exemples passés pourraient mal interpréter. 4

L’idée n’est donc pas de soumettre chaque action d’une IA à une validation humaine. Sampura veut plutôt identifier les situations dans lesquelles l’intervention d’une personne apporte le plus de valeur en matière de sécurité.

Que sont les « juges » hybrides ?

Chez Sampura, un juge désigne une personne, une IA ou un système combinant les deux, chargé d’évaluer si la réponse ou la trajectoire d’un agent d’IA est correcte et conforme aux objectifs fixés.

L’organisation prévoit notamment de travailler sur :

• des méthodes permettant d’estimer le niveau de confiance d’un juge automatisé et de transmettre les cas incertains à un humain ;
• des systèmes d’aiguillage capables de répartir les tâches ou sous-tâches entre humains et IA ;
• des outils d’assistance adaptés à la tâche, afin qu’un évaluateur humain puisse analyser plus rapidement des comportements complexes.

Cette approche cherche un compromis entre trois contraintes souvent difficiles à concilier : la qualité de l’évaluation, sa rapidité et son coût.

Des tests publics sur plus de 20 sous-jeux de données

Pendant ses six premiers mois, Sampura prévoit de construire un classement public et régulièrement mis à jour, reposant sur plus de 20 sous-jeux de données. Les thèmes annoncés comprennent notamment la détection de la tromperie, les biais culturels et les actions dangereuses d’agents autonomes. 4

L’organisation ne veut pas se limiter à des exemples statiques. Elle entend aussi vérifier si un modèle supervisé peut apprendre à optimiser son comportement pour tromper son évaluateur lors d’un entraînement par renforcement. Ce phénomène, souvent appelé piratage de la récompense (reward hacking), survient lorsqu’un système maximise la mesure utilisée pour l’évaluer sans réellement atteindre l’objectif de sécurité recherché.

Sampura affirme vouloir publier ses articles scientifiques, son code, ses jeux de données et ses classements. Cette ouverture doit permettre à des tiers de comparer les méthodes et de vérifier si un meilleur score d’évaluation se traduit réellement par une réduction des comportements problématiques.

Anticiper des risques plus larges que le scénario de l’IA « rebelle »

Le programme annoncé ne se limite pas aux scénarios spectaculaires dans lesquels une IA échapperait au contrôle de ses créateurs. Il inclut aussi des risques plus progressifs ou plus quotidiens, comme les biais, les interactions dangereuses avec des enfants ou la dépendance à des IA conçues comme des compagnons.

À terme, Sampura souhaite également dépasser l’évaluation des réponses produites. Ses recherches pourraient porter sur la rédaction et l’examen des consignes, des grilles de notation et des cas de test eux-mêmes. L’objectif serait de mieux prévoir les angles morts d’une évaluation avant qu’un modèle ne soit déployé.

Il faut néanmoins distinguer cette ambition d’une capacité de confinement déjà démontrée. Sampura lance un programme de recherche ; ses méthodes n’ont pas encore prouvé qu’elles permettraient de contenir des systèmes très avancés dans des conditions réelles. 4

Le vrai test : le déploiement

La question centrale sera de savoir si ces « juges » améliorés changent effectivement le comportement des modèles. Sampura veut notamment mesurer :

• si de meilleurs évaluateurs réduisent le piratage de la récompense ;
• à quel moment un juge doit être réentraîné, lorsque le modèle supervisé évolue ;
• comment répartir au mieux les tâches entre humains et IA selon le coût, le délai et le niveau de risque.

L’organisation pourrait d’abord tester ses méthodes avec des évaluateurs tiers, avant de viser une utilisation dans l’entraînement, l’évaluation et la surveillance de modèles développés par les laboratoires de pointe. 4

Une course aux spécialistes de l’évaluation

Le recrutement est un enjeu à part entière. Une offre publiée par METR, une organisation spécialisée dans l’évaluation indépendante des modèles, annonçait entre 285 548 et 503 116 dollars de salaire annuel de base pour un poste lié à l’exécution d’évaluations, avec la possibilité d’aller au-delà pour des profils exceptionnels. 9

Ces montants illustrent la rareté des spécialistes capables de tester des systèmes d’IA avancés. Sampura indique recruter ses premiers profils techniques à Londres. En revanche, les sources primaires disponibles ne suffisent pas à confirmer l’affirmation selon laquelle l’organisation embaucherait « au moins six » personnes pour des salaires compris entre 100 000 et 290 000 livres sterling : son annonce officielle se contente de mentionner le recrutement de son équipe technique fondatrice. 4

Un complément, pas un substitut à la gouvernance

Plus de 1 100 professionnels de l’IA ont signé en juillet 2026 une lettre demandant la création d’une capacité internationale permettant de ralentir le développement de l’IA de pointe si celui-ci dépassait les capacités de supervision humaine. 1

Les travaux de Sampura pourraient fournir une brique technique utile à cette ambition : des évaluations plus crédibles, comparables et auditables. Mais une organisation de recherche ne peut pas, à elle seule, créer une autorité juridique, obtenir l’accès aux modèles, organiser une coordination internationale ou imposer un ralentissement aux entreprises.

Sa mission complète donc les mécanismes de gouvernance ; elle ne les remplace pas.

Ce que l’on peut réellement conclure du départ de Jain

Le départ de Rishub Jain s’inscrit dans une période marquée par plusieurs départs de Google DeepMind. En revanche, la formule selon laquelle le laboratoire aurait perdu « cinq chercheurs clés en six jours » provient de sources secondaires de qualité inégale et ne doit pas être considérée comme un fait établi indépendamment. 5

De même, les éléments disponibles ne permettent pas d’affirmer de manière générale que les entreprises d’IA « ne parviennent pas encore à contenir ce qu’elles ont construit ». La conclusion la plus solide est plus mesurée : la supervision robuste de modèles toujours plus capables reste à démontrer, les compétences en évaluation sont rares et Sampura cherche à rendre la participation humaine plus efficace et plus résistante — plutôt que de supposer que l’IA peut, à elle seule, surveiller l’IA en toute sécurité.