Sampura Research veut que les humains continuent de juger l’IA

Sampura Research est une organisation londonienne à but non lucratif consacrée à la sécurité de l’intelligence artificielle. Sa question de départ est très concrète : qui doit déterminer si un système d’IA de plus en plus performant se comporte correctement et sans danger ? Sa réponse n’est pas de retirer les humains de la boucle, mais de concevoir des systèmes où humains et IA se partagent la surveillance.

L’organisation indique avoir reçu une première subvention de 11 millions de dollars de Coefficient Giving : 7 millions pour sa première année, auxquels s’ajoutent 4 millions promis. 1

L’annonce officielle de lancement est datée du 25 août 2026, et non du 24 août. Elle cite Rishub Jain et Josh Jacob comme fondateurs. Des publications antérieures sur les réseaux sociaux évoquaient le travail d’Alex Adams, mais l’annonce ne permet pas d’affirmer que les trois personnes ont officiellement fondé l’organisation. 112

Qu’est-ce qu’un « juge » pour une IA ?

Dans le vocabulaire de Sampura, un juge peut être une personne, un modèle d’IA ou un dispositif hybride chargé d’évaluer si le comportement d’un autre système est correct et aligné. L’objet de l’évaluation peut être une réponse isolée, une conversation entière ou la suite d’actions d’un agent accomplissant une tâche en plusieurs étapes. 1

Cette distinction est importante. On confond souvent les capacités d’un modèle avec la capacité à le surveiller. Une IA peut produire des réponses fluides et réussir des tâches complexes tout en trompant son évaluateur, en exploitant les failles d’une fonction de récompense ou en prenant une décision dangereuse au fil d’une longue séquence d’actions. Sampura veut précisément améliorer les outils capables de détecter ces échecs.

L’organisation parle de complémentarité homme-IA pour une supervision à grande échelle : automatiser les étapes où les machines sont fiables, tout en conservant une intervention humaine lorsque le jugement, l’interprétation ou des choix liés aux valeurs sont en jeu. 1

Pourquoi Sampura refuse une supervision 100 % automatisée

Les IA semblent particulièrement adaptées à la surveillance parce qu’elles sont rapides et peu coûteuses à déployer à grande échelle. Mais, pour Sampura, la vitesse ne suffit pas à garantir la fiabilité d’un évaluateur. Dans son annonce, l’organisation met en avant plusieurs risques :

• Des capacités inégales : les performances d’une IA peuvent être « accidentées » — excellentes sur certaines tâches, mais étonnamment faibles sur d’autres.
• Des erreurs qui se recoupent : les évaluateurs humains et artificiels peuvent échouer de manière similaire, notamment lorsqu’un modèle est optimisé pour contourner le processus d’évaluation.
• La manipulation et la collusion : le système surveillé pourrait exploiter, tromper ou influencer l’évaluateur automatisé.
• Les situations inédites : les cas nouveaux ou ambigus peuvent nécessiter une délibération humaine sur les valeurs en jeu, plutôt que l’application mécanique de préférences apprises.

Ces arguments ne signifient pas que les humains sont toujours de meilleurs juges. Ils expliquent pourquoi Sampura veut mesurer quelle combinaison d’évaluateurs humains et artificiels résiste le mieux à la pression, au lieu de supposer que l’un ou l’autre doit tout prendre en charge. 1

Des tests conçus pour mettre les évaluateurs à l’épreuve

Le premier programme de six mois de Sampura prévoit un classement de juges diversifié, composé de plus de 20 sous-ensembles de données. Les domaines annoncés comprennent la détection de la tromperie, les biais culturels et les actions dangereuses d’agents d’IA. 1

Les évaluations ne se limiteront pas à des questions-réponses statiques. Sampura prévoit également des scénarios dans lesquels le modèle surveillé optimise directement son comportement contre le juge pendant un apprentissage par renforcement. L’objectif est de voir si l’évaluateur reste efficace lorsque le système évalué a intérêt à trouver puis à exploiter ses faiblesses. 1

La comparaison portera sur trois grandes approches :

1. Les juges humains, qui évaluent directement le comportement du modèle.
2. Les juges exclusivement constitués d’IA, plus rapides et plus faciles à déployer à grande échelle.
3. Les juges hybrides, qui répartissent ou coordonnent le travail entre humains et machines.

L’ambition n’est pas d’obtenir un bon score sur un test très spécialisé. Sampura veut des juges capables de rester robustes sur un large éventail d’évaluations, y compris lorsque les modèles supervisés deviennent meilleurs pour exploiter les failles du contrôle. 1

À quoi pourrait ressembler une supervision hybride ?

Sampura envisage plusieurs façons d’associer jugement humain et automatisation :

• une IA pourrait estimer son niveau de confiance et transmettre à une personne les cas incertains ;
• un système d’aiguillage pourrait confier une tâche entière à un humain ou à une IA ;
• une tâche complexe pourrait être découpée en sous-tâches, chacune étant attribuée à une personne ou à une machine ;
• des interfaces spécialisées pourraient aider les évaluateurs humains à examiner plus vite les cas difficiles et à produire des décisions plus cohérentes.

L’idée est donc de considérer l’intervention humaine comme une ressource à optimiser, et non comme une obligation présente dans tous les cas — ou absente de tous les cas. Une vérification automatisée peut être économique et fiable pour certaines situations ; d’autres justifient une attention humaine plus lente. Le véritable arbitrage oppose ainsi moins « humains et IA » que plusieurs critères : précision, coût, rapidité et résistance aux tentatives de contournement. 1

Une feuille de route qui dépasse la simple classification

Après avoir renforcé les juges, Sampura souhaite déterminer s’ils peuvent réduire le reward hacking, c’est-à-dire le fait pour un modèle d’exploiter un système de récompense sans réellement atteindre l’objectif recherché pendant son entraînement. L’organisation veut aussi étudier la quantité d’intervention humaine nécessaire, la manière d’adapter la supervision lorsque les modèles apprennent à la contourner, et la possibilité d’utiliser les juges pour autre chose que la simple classification de sorties. 1

Ces travaux pourraient notamment porter sur la rédaction ou l’évaluation des spécifications, consignes, grilles de notation et cas de test utilisés pour entraîner et évaluer les systèmes d’IA. Sampura prévoit de publier ses recherches sous forme d’articles, de code, de jeux de données et de classements. 1

Les éléments disponibles confirment ce programme général de données, de benchmarks, d’aiguillage des tâches et d’assistance aux évaluateurs humains. Ils ne permettent pas, en revanche, d’établir l’existence de chaque projet présenté ailleurs, notamment un jeu de données précisément baptisé « forward-looking harm » ou une plateforme open source confirmée de notation humaine. Ces descriptions doivent donc être considérées comme non vérifiées, et non comme des produits officiellement annoncés.

Pourquoi le recrutement est un enjeu majeur

Sampura affirme recruter ses premiers profils techniques à Londres. Son programme demande des compétences en apprentissage automatique, conception d’évaluations, interaction humain-machine, opérations sur les données et déploiement. 1 Des publications antérieures évoquaient le recrutement d’au moins six chercheurs supplémentaires et des salaires compris entre 100 000 et 290 000 livres sterling, mais ces montants précis ne sont pas confirmés par l’annonce officielle de l’organisation. 1213

Le secteur de l’évaluation de l’IA se dispute par ailleurs un vivier limité de spécialistes. L’offre publiée par METR pour un poste de Member of Technical Staff, Evaluation Execution affiche un salaire de base compris entre 285 548 et 503 116 dollars et précise que les candidatures de profils exceptionnellement expérimentés pourraient donner lieu à une rémunération supérieure. 18

Ce contraste illustre la difficulté à laquelle Sampura est confrontée : une supervision fiable exige à la fois de la recherche technique et une évaluation minutieuse dans des conditions réelles, alors que les organisations qui travaillent sur ces questions cherchent souvent les mêmes experts.

Une initiative qui s’inscrit dans une inquiétude plus large

Le lancement de Sampura intervient alors que les craintes se multiplient de voir le développement de l’IA dépasser les dispositifs chargés de la surveiller. En juillet 2026, plus de 1 100 employés de grandes entreprises du secteur ont signé une lettre ouverte demandant au gouvernement américain de soutenir des outils techniques et de gouvernance internationaux capables, si nécessaire, de ralentir volontairement le développement des IA de pointe. Le texte ne réclamait pas l’arrêt immédiat de la recherche en IA. 40

Le secteur connaît aussi d’importants mouvements de personnel parmi ses chercheurs les plus expérimentés. Reuters a rapporté une réorganisation de la direction de l’IA chez Google ainsi que le départ d’ingénieurs et de chercheurs de premier plan vers d’autres entreprises et jeunes pousses. 49 Ces évolutions donnent un contexte à la création de Sampura, mais ne prouvent pas que l’organisation ait résolu le problème de fond de la sécurité de l’IA.

Ce que Sampura peut — et ne peut pas encore — affirmer

Les éléments les plus solides présentent Sampura comme une organisation de recherche en phase de démarrage, qui construit une infrastructure de mesure et de décision pour la supervision de l’IA. Ses benchmarks et ses méthodes d’évaluation hybride pourraient, à terme, servir à des laboratoires d’IA, à des évaluateurs indépendants ou à d’autres organisations qui testent le comportement des modèles. 1

Cela ne revient pas à démontrer que Sampura peut contenir les systèmes de pointe. Sa contribution immédiate consiste à étudier la manière de concevoir et de tester une supervision lorsque le modèle évalué est performant, adaptable et potentiellement incité à réussir ses évaluations en exploitant leurs failles.

Son pari central tient en une formule : la sécurité à grande échelle nécessitera l’automatisation, mais pas une automatisation qui écarterait les humains des décisions les plus lourdes de conséquences.