RéponsesPublié15 sources
V4 : garder les tests utiles, maîtriser les documents
Conservez les tests de régression et les contrôles contractuels durables ; séparez les des scripts et résultats de validation ponctuels. Distinguez trois questions : ce qui est suivi dans Git, ce qui entre dans le paquet distribué et ce qui est transmis au modèle.
Publié parImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Conservez les tests de régression et les contrôles contractuels durables ; séparez les des scripts et résultats de validation ponctuels.
- Distinguez trois questions : ce qui est suivi dans Git, ce qui entre dans le paquet distribué et ce qui est transmis au modèle.
- Clarifiez le rôle des analyses, décisions, plans et brouillons sans chercher à réduire le nombre de fichiers à tout prix.
- L’enquête reste partielle : des éléments du dépôt ont été examinés, mais les tests n’ont pas été relancés et certaines recherches n’ont pas abouti.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W](https://d15bya8fi85z1v.cloudfront.net/chat/oBMfTzLzQzYo7VcXQdEGj2yQgAw1/images/73E9D63489E02AC46209/BEDABC175BE8FCADFC63.png)
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you produce requests for client side execution. W. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"两个痛点都适合纳入 V4 的“产物生命周期背压”，但不应简化成“测试全部不提交”或“文档全部合并”。建议保留长期质量资产，隔离一次性验证材料，并分别控制仓库维护、安装分发和模型上下文。\n\n本次交付为阶段性调研：仓库静态证据、Geoffrey Huntley 的作者资料及部分学术资料已取得；Python 官方布. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Le problème n’est pas simplement qu’il y ait « trop de tests » ou « trop de documents ». Dans V4, l’enjeu est de savoir lesquels constituent des ressources durables, lesquels ne servent qu’à une vérification ponctuelle, et lesquels risquent d’être distribués ou relus inutilement.
La recommandation centrale est donc de préserver les contrôles qualité utiles, tout en séparant les matériaux temporaires et en clarifiant les règles de lecture et de distribution. Supprimer les tests en bloc ou fusionner tous les documents dans un seul fichier ne réglerait pas ces différents problèmes.
Tests : isoler les vérifications temporaires, pas la qualité
Les éléments examinés montrent que la configuration CI s’appuie sur un répertoire de tests centralisé. Celui-ci contient notamment des contrôles de configuration, de distribution et de préservation des ressources. Leur apparence encombrante ne suffit donc pas à les qualifier de fichiers jetables. Les tests n’ont pas été relancés dans le cadre de cette analyse et leur valeur de maintenance n’a pas été évaluée un par un.
Les règles de .gitignore excluent certains environnements de test, caches et fichiers temporaires, mais ne mentionnent pas explicitement les répertoires de brouillons et de résultats de validation relevés dans le dépôt. Leur présence ne prouve toutefois pas que ces fichiers sont suivis par Git : l’état de l’index n’a pas été vérifié.
Il faut aussi distinguer la mise à jour du dépôt de la préparation des ressources installées. L’entrée de mise à jour concerne le dépôt (bs.sh:298), tandis que le mécanisme de collecte de la source de déploiement lit les suites sélectionnées (scripts/deployment_source.py:64). Ce sont deux périmètres différents : voir les tests dans le dépôt ne signifie pas qu’ils sont installés avec le produit.
La collecte récursive des fichiers ordinaires dans une suite, puis leur transmission comme ressources de déploiement, suggère qu’un matériau temporaire mal placé pourrait être distribué. Rien ne démontre cependant que cela se soit déjà produit (scripts/deployment_source.py:47, scripts/deployment_source.py:81).
Une politique pratique peut distinguer trois catégories :
- Tests durables — tests de régression, tests de contrat et intégrations nécessaires : à maintenir avec le code, mais à exclure par défaut des ressources d’exécution lorsqu’ils n’y ont pas leur place.
- Vérifications ponctuelles — diagnostics, scripts d’essai et données expérimentales : à garder dans un emplacement temporaire autorisé, sans les placer dans les répertoires destinés aux ressources livrées.
- Traces d’exécution — journaux, rapports de couverture et résultats : à séparer du code des tests et à ne conserver que lorsque leur utilité le justifie.
Ce sont des propositions, pas des règles déjà appliquées dans V4.
Le choix d’emplacement doit aussi respecter les conventions de chaque langage. Le tutoriel officiel de Go place le fichier de test près du paquet testé ; il n’y a donc pas lieu d’imposer le déplacement de tous les tests Go vers un répertoire externe commun.15 Dans ce dépôt, le répertoire centralisé existant peut servir de point de départ pour les tests déjà organisés ainsi. Les éléments disponibles ne suffisent pas à trancher la question d’une disposition universelle pour Python.
Surtout, deux objectifs sont souvent confondus : rendre l’arborescence de développement plus lisible et alléger ce que reçoit l’utilisateur. Le premier relève de l’organisation des sources ; le second, des règles de paquetage ou d’installation. Déplacer des fichiers ne répond pas nécessairement aux deux.
Documents : clarifier les rôles plutôt que compter les fichiers
Les règles existantes séparent déjà plusieurs types de livrables — analyses, décisions d’architecture (ADR), plans et contrats — et prévoient de demander des précisions quand leur destination est incertaine (bmad-suite-v4/rules/bmad-core.md:129). Une autre règle de brouillon indique toutefois un chemin différent (bmad-suite-v4/rules/bmad-core.md:117). Cela suggère une couverture incomplète du cycle de vie des documents, sans permettre d’affirmer pourquoi chaque répertoire a été créé.
Plutôt que d’ajouter une nouvelle série de dossiers, V4 pourrait préciser la fonction de ceux qui existent :
- Analyse durable : conserver les éléments probants, les comparaisons, les contre-arguments et les inconnues. Une réponse ponctuelle peut rester dans la conversation si aucune conservation n’est nécessaire.
- ADR : consigner une décision importante, ses raisons et ses contraintes, sans recopier toute l’analyse ni l’historique de mise en œuvre.
- Plan d’exécution : préciser le périmètre autorisé, les dépendances et les critères d’acceptation, en renvoyant aux décisions pertinentes plutôt qu’en répétant la recherche.
- Matériel temporaire : ranger brouillons, entrées de diagnostic et sorties brutes dans un emplacement temporaire approuvé. Le mot « brouillon » dans un titre ne devrait pas, à lui seul, transformer un fichier en analyse officielle.
- Documentation opérationnelle durable : ne la conserver comme référence que si elle sert réellement de guide réutilisable. Une opération ponctuelle ne justifie pas automatiquement un nouveau répertoire de documentation.
Le nombre de fichiers, leur suivi dans Git, leur inclusion dans une livraison et leur présence dans le contexte du modèle sont des décisions distinctes. Tout regrouper dans un même dossier ne remplace pas ces règles.
Ce que les écrits de Geoffrey Huntley permettent — et ne permettent pas — de conclure
Geoffrey Huntley défend l’idée d’un retour automatisé sur la qualité et la correction pour aider les agents à avancer sur des tâches plus longues.12 Cela ne revient pas à traiter les fichiers de test comme du bruit à éliminer.
Dans un contexte précis de portage de code vers un autre langage, il propose de condenser les comportements testés en spécifications avant de guider la migration.14 Cette méthode ne prouve pas que les tests devraient être remplacés par de la documentation dans tous les projets.
Pour V4, la conclusion raisonnable est plus limitée : conserver les moyens exécutables de vérifier le comportement, tout en réduisant les contrôles redondants ou ponctuels. Une spécification décrit ce qui est attendu ; un test fournit une vérification exécutable. Il ne faut pas considérer l’un comme un substitut automatique à l’autre.
Les éléments consultés ne permettent pas d’établir que Huntley applique une politique générale sur la soumission des tests, les répertoires de brouillons ou l’exclusion des fichiers des distributions. Ils ne permettent pas non plus d’affirmer qu’un consensus se dégage sur les forums évoqués : ces recherches n’ont pas été menées à terme.
Pour les modèles, mieux vaut maîtriser la lecture que compter les dossiers
Des travaux sur les longues fenêtres de contexte examinent la difficulté qu’ont certains modèles à exploiter des informations situées au milieu d’un long texte. D’autres soulignent que leur évaluation doit couvrir plusieurs types de tâches, au-delà de tests de recherche simples.3
4 Ces résultats ne démontrent pas qu’un fichier dépassant une taille précise provoque des hallucinations, ni ne mesurent directement le risque propre à V4.
Des pratiques prudentes restent néanmoins possibles :
- organiser les documents par sujet et par décision, plutôt que de laisser grossir un fichier unique sans limite ;
- charger en priorité les sections utiles à la tâche en cours et rechercher les éléments historiques au besoin ;
- résumer les preuves, les incertitudes et les obligations encore ouvertes, tout en conservant les sources originales pour vérification ;
- utiliser les index pour orienter vers les documents, sans recopier leur contenu dans une seconde version faisant autorité ;
- éviter d’injecter systématiquement dans le contexte les journaux et rapports anciens.
Une amélioration minimale pour V4
Une règle légère, applicable de la création à la livraison des fichiers, serait plus utile qu’un nouveau processus lourd :
- Avant de créer : préciser l’usage prévu et vérifier si un test ou un document existant peut être complété au lieu d’en créer un nouveau par réflexe.
- Avant d’enregistrer : choisir un emplacement autorisé et déterminer si le contenu est durable ou temporaire, doit être suivi par Git ou inclus dans une livraison. En cas de doute, ne pas inventer de répertoire.
- Avant de soumettre : repérer les sorties temporaires, contenus sensibles, tests redondants et documents répétitifs — sans « nettoyer » en ignorant tous les tests.
- Avant de distribuer : vérifier explicitement les ressources installées pour empêcher l’inclusion de matériaux temporaires, tout en préservant les contrôles nécessaires à la protection des ressources.
- Avant de supprimer : vérifier que le contenu n’est pas une preuve d’échec, un support de tâche active ou la cible d’une référence historique. La réussite d’une tâche ne vaut pas autorisation automatique de suppression.
La priorité devrait être de définir les limites entre matériaux temporaires et ressources distribuées, puis de clarifier le rôle des documents et leur chargement à la demande. Les éléments disponibles ne justifient pas de déplacer tous les tests Go, d’arrêter de soumettre les tests durables ou de fusionner toute la documentation.
Cette analyse est partielle : des éléments statiques du dépôt ainsi que des sources sur Geoffrey Huntley et les longues fenêtres de contexte ont été consultés, mais les recherches sur les pratiques officielles Python et plusieurs forums n’ont pas été achevées. Les tests n’ont pas été relancés ; aucun fichier n’a été modifié, aucun nettoyage n’a été effectué et aucun plan de travail existant n’a été avancé.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « V4 : garder les tests utiles, maîtriser les documents » ?
Conservez les tests de régression et les contrôles contractuels durables ; séparez les des scripts et résultats de validation ponctuels.
Quels sont les points clés à valider en premier ?
Conservez les tests de régression et les contrôles contractuels durables ; séparez les des scripts et résultats de validation ponctuels. Distinguez trois questions : ce qui est suivi dans Git, ce qui entre dans le paquet distribué et ce qui est transmis au modèle.
Que dois-je faire ensuite en pratique ?
Clarifiez le rôle des analyses, décisions, plans et brouillons sans chercher à réduire le nombre de fichiers à tout prix.
Sources
go.devAdd a test
ghuntley.comdon't waste your back pressure
doi.orgFound in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding