ОтветыОпубликовано11 источники
Цена тестирования в BMAD V4.2: проблема может быть не в строгости проверок
Глобальные правила BMAD требуют проверять изменения по их масштабу, но не предписывают запускать полную матрицу тестов после каждого патча. Лог подтверждает, что перед тестированием устанавливались пакеты, однако не доказывает, что каждый запуск загружал все 198,1 МиБ.
ОпубликовалИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Глобальные правила BMAD требуют проверять изменения по их масштабу, но не предписывают запускать полную матрицу тестов после каждого патча.
- Лог подтверждает, что перед тестированием устанавливались пакеты, однако не доказывает, что каждый запуск загружал все 198,1 МиБ.
- Предложенная модель разделяет подготовку среды, проверку отдельного смыслового изменения и итоговый этапный контроль.
- Аудит и рекомендации носят только читающий характер: правила не меняли, тесты и развёртывание не запускали.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/QuPfET7ftYd6An8JH1fI8Jq25Ow2/images/5A9530F1F6D0FC021B39/86DE7A18882BB9D494FC.png)
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"建议把 BMAD V4.2 的“物理背压”改成“隔离强度不降级、验证范围分级、环境准备独立、证据按需进入上下文”。当前证据指向的不是“测试太严格”，而是阶段粒度被细化、测试入口携带环境安装、详细输出直接回灌，以及执行记录反复对账共同放大了成本。\n\n本次仅交付只读审计和替换条款：不修改规则文件，不运行测试或部署. Topic tags: general web, workflow, code, data. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake
Ускорить тестирование в BMAD V4.2 можно, не отказываясь от изоляции. Главный вывод аудита: издержки, судя по доступным материалам, могут складываться из нескольких факторов — слишком мелкого деления работы на этапы, подготовки окружения внутри тестового запуска, многословных логов и повторной сверки записей. Но имеющиеся данные не позволяют утверждать, что каждый тест заново загружает большой объём пакетов или что все сообщения из логов попадают в запрос модели.
Рекомендация — разделить жизненные циклы среды, проверки и отчётности. Тогда подготовку инструментария можно выполнять отдельно, тесты запускать в прежних ограничениях безопасности, а полный контроль проводить на этапе сдачи, а не после каждого промежуточного изменения.
Что подтверждают материалы
В глобальных правилах BMAD говорится о проверке изменений на соответствующем этапе; требования запускать полную контейнерную матрицу после каждого патча там нет. Правило находится в bmad-suite-v4/roo/rules/02-bmad-core.md:27. Инженерный режим также разрешает использовать хостовую систему или одобренный контейнер и выбирать проверку по масштабу изменений (bmad-suite-v4/roo/rules-bmad-engineer/01-bmad-engineer-core.md:23). Более жёсткая формулировка — «физическая проверка после каждого шага» — встречается в историческом плане проекта (docs/logs/aurora_roocodedownload.md:462).
Поэтому объяснять затраты одной лишь глобальной политикой BMAD некорректно. Возможная цепочка выглядит иначе: правила не задают границы между этапами и подготовкой среды; проектный план усиливает частоту проверок; тестовая команда одновременно несёт часть затрат на подготовку; затем добавляются объёмный вывод и повторная сверка результатов.
Лог docs/logs/aurora.log показывает установку 14 пакетов до начала тестовых событий. В конце установки указано, что 31 пакет вместе занимал 198,1 МиБ. Это не доказывает, что именно столько было загружено или распаковано в ходе данного запуска.
Операция началась примерно в 14:04:04, а тестовые события — в 14:04:09.330: разница составляет около 5,3 секунды. На тесты пакета ушло примерно 2,72 секунды, вся операция заняла около 8 секунд. Из этих временных отметок нельзя отдельно определить, сколько заняли установка, запуск контейнера, сборка или проверка кэша.
Шум в выводе — тоже отдельная часть проблемы. Установка занимает около 16 строк, тогда как тестовые события повторяются в разных форматах. В предоставленном логе также есть примерно 76 000 символов маркера пропуска фрагментов. Это повод рассмотреть сокращение и структурирование вывода, но не основание считать, что весь текст оказался в запросе модели или повлиял на оплату токенов.
В истории проекта зафиксированы отдельные вызовы сборки и тестирования, в том числе в разных контейнерах. При этом команда тестирования в логе запускает go test, а значит, может включать подготовку к сборке. Тела изолирующего скрипта в материалах нет: нельзя установить, на каком именно уровне выполнялась установка, и нельзя утверждать, что она повторялась при каждом запуске.
Четыре разных жизненных цикла
Аудит предлагает не смешивать:
- Изоляцию — тест не должен загрязнять исходный код, хостовую систему или следующее выполнение.
- Инструментарий — компилятор, системные библиотеки и разрешённые зависимости относятся к окружению, а не к каждому изменению бизнес-логики.
- Проверки — повторно запускать нужно те проверки, чьи входные данные или условия применимости изменились.
- Записи о ходе работы — сохранение результата не должно само по себе делать недействительными все функциональные проверки.
В истории проекта есть требование перепроверять привязанные к плану документы после их обновления, а также повторные записи результатов (docs/logs/aurora_roocodedownload.md:748 и :1682). Это может поддерживать целостность учёта. Но если не разделять входные данные проверки и её результаты, возникает риск цикла «записали результат — изменился документ — повторили тест — снова записали». Материалы указывают на такой риск, но не доказывают, что бесконечный цикл уже возник.
Важно и другое: повторно использовать неизменяемый инструментарий — не то же самое, что сохранять загрязнённое тестовое состояние. Временную тестовую среду можно создавать заново, не переустанавливая каждый раз инструменты.
Предлагаемая схема: три уровня
Это проект рекомендуемого контракта, а не описание уже внедрённой системы.
| Уровень | Назначение | Когда запускать |
|---|---|---|
| L0 — среда исполнения | Заранее подготовленные инструменты, библиотеки и разрешённые зависимости; зафиксированные версии и параметры безопасности | Когда меняются сама среда, инструментарий или зависимости |
| L1 — короткий цикл разработки | Релевантные модульные тесты, проверки затронутых компонентов и необходимые проверки конкурентного доступа | После завершения смысловой группы изменений и до начала зависящей от неё работы |
| L2 — этапный контроль | Обязательный набор проверок для замороженного кандидата, включая отдельное измерение RSS и сверку доказательств | Перед завершением этапа или разрешённой поставкой |
Для L0 предлагается фиксировать идентификатор образа и версии инструментов, а тестовый запуск не должен незаметно устанавливать системные пакеты, скачивать образ или разрешать зависимости из сети. Если подготовленной среды нет, запуск следует остановить и сообщить, что она не готова. Саму подготовку нужно учитывать отдельно, а не прятать внутри команды тестирования.
При этом изоляция остаётся в силе: исходный код доступен только для чтения, внешняя сеть отключена, права минимальны, временное пространство ограничено. Кэш нужно разделять по проекту, платформе, версии инструментария и границе доверия. Попадание в кэш означает лишь повторное использование артефактов, но не успешное прохождение тестов.
Для L1 предлагается группировать изменения по смыслу, а не по числу правок или вызовов инструментов. Например, одна проверяемая поведенческая доработка вместе с соответствующими тестами может включать несколько точечных изменений. Проверка должна оставаться в одобренной изолированной среде: историческая авторизация проекта ограничивает работу контейнером без доступа к сети (docs/logs/aurora_roocodedownload.md:18). Переход на тестирование прямо на хосте потребовал бы отдельного разрешения.
L2 следует запускать на зафиксированном кандидате. Если после него меняются релевантные входные данные, прежний результат нельзя автоматически переносить на новую версию. Допускается повторить только затронутые проверки, если доказано, что остальные результаты всё ещё применимы; иначе область проверки нужно расширить. Измерение RSS должно выполняться отдельно от запуска с инструментацией. Проверки ресурсов и конкурентного доступа следует учитывать раздельно. Детектор гонок Go помогает обнаруживать проблемы в тех сценариях, которые были фактически выполнены, но не доказывает отсутствия гонок во всей программе 9.
Когда нужна более широкая проверка
- После смысловой группы изменений — один запуск L1 по затронутому функционалу; не автоматический пересбор среды и не полный L2.
- Если меняются блокировки, параллельный доступ, отмена операций или освобождение ресурсов — добавить целевые проверки конкурентности и жизненного цикла уже в текущем цикле.
- При изменении интерфейса между компонентами или общей зависимости — расширить тестирование на затронутую цепочку вызовов.
- При изменении инструментария, системных зависимостей или настроек изоляции — заново оценить L0 и применимость предыдущих результатов.
- При заморозке кандидата для сдачи этапа — провести обязательную матрицу L2 один раз.
- Если изменились только запись о ходе работы или текст прогресса — проверить целостность документов, но не запускать бизнес-тесты и измерение RSS автоматически.
Какие правила предлагается уточнить
В глобальном правиле стоит определить, что физическая проверка означает реальный запуск в одобренной среде, но не пересоздание базового окружения после каждой правки. План должен заранее указывать смысловые группы изменений, границы этапов, набор относящихся к ним проверок и условия, при которых проверку нужно расширить.
Среду, сборку, выполнение тестов и очистку следует учитывать отдельно: у каждой части должны быть собственные входные данные, бюджет времени и результат. Ошибку окружения нужно отличать от провала утверждения, тайм-аута, отсутствия тестовых попаданий, повреждения доказательств и неудачной очистки. Любой обязательный непрошедший пункт блокирует продвижение, но не должен запрещать диагностику и исправления в пределах текущей работы.
Отдельно предлагается добавить контракт на вывод. Полные логи следует хранить как диагностические артефакты с ограниченным сроком хранения, а в контекст передавать краткую сводку. В качестве начальных, не измеренных на практике ориентиров названы пределы 2 КиБ для успешного запуска и 8 КиБ для неуспешного. В сводке должны быть идентификатор проверки, число завершённых и пропущенных тестов, ошибки, длительность, код завершения и результат очистки. Отсутствие финального события, нулевое число попаданий, необъяснённые пропуски или недоступный артефакт не должны считаться успехом только на основании нулевого кода возврата.
Такое сокращение важно выполнять до передачи результата инструментом в историю модели. Просьба «не обращать внимания» на длинный лог или его сворачивание в интерфейсе сами по себе объём переданного текста не ограничивают.
Что делать дальше
Сначала обновить правила и шаблон плана: определить L0/L1/L2, смысловую группу изменений, лимиты вывода и условия, при которых результаты перестают быть применимыми. Затем проверить, что те же определения используются в инженерных правилах и в других точках входа BMAD, включая нативную версию. После этого можно менять исполнитель: заранее готовить инструментарий, разделять стадии сборки и тестирования и формировать структурированные сводки.
Приёмочные проверки должны подтвердить, что повторные тестовые запуски не устанавливают системные пакеты, обычное обновление записи не запускает L2, а вывод укладывается в заданные пределы. При этом намеренно вызванные ошибка утверждения, нулевое число тестовых попаданий, тайм-аут и сбой очистки по-прежнему должны блокировать успешное завершение.
Сам аудит был только читающим: файлы правил не менялись, тесты и развёртывание не запускались, исторические планы не переводились в активные и не архивировались. Поэтому предложенные уровни и бюджеты — рекомендации, а не уже проверенные свойства системы. Снижать стоимость процесса предлагается сначала за счёт устранения повторной подготовки и избыточного вывода, а не за счёт ослабления изоляции или отказа от важных проверок.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Цена тестирования в BMAD V4.2: проблема может быть не в строгости проверок»?
Глобальные правила BMAD требуют проверять изменения по их масштабу, но не предписывают запускать полную матрицу тестов после каждого патча.
Какие ключевые моменты необходимо проверить в первую очередь?
Глобальные правила BMAD требуют проверять изменения по их масштабу, но не предписывают запускать полную матрицу тестов после каждого патча. Лог подтверждает, что перед тестированием устанавливались пакеты, однако не доказывает, что каждый запуск загружал все 198,1 МиБ.
Что мне делать дальше на практике?
Предложенная модель разделяет подготовку среды, проверку отдельного смыслового изменения и итоговый этапный контроль.