AnswersPublished11 sources
Перевіряти розумніше, а не рідше: як упорядкувати тестування BMAD V4.2
Глобальні правила BMAD вимагають релевантної перевірки на кожному етапі, але не наказують після кожної правки запускати повну матрицю контейнерних тестів. Один журнал підтверджує встановлення пакетів перед тестами, але не доводить, що кожного разу завантажували 198,1 MiB.
ОпублікувавЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Глобальні правила BMAD вимагають релевантної перевірки на кожному етапі, але не наказують після кожної правки запускати повну матрицю контейнерних тестів.
- Один журнал підтверджує встановлення пакетів перед тестами, але не доводить, що кожного разу завантажували 198,1 MiB.
- Рекомендована модель має три рівні: незмінне середовище інструментів, перевірки під час розробки та окремий етапний контроль перед передачею.
- Скорочувати варто повторну підготовку й надмірний вивід, а не рівень ізоляції чи важливі перевірки конкурентного доступу.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/QuPfET7ftYd6An8JH1fI8Jq25Ow2/images/5A9530F1F6D0FC021B39/86DE7A18882BB9D494FC.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"建议把 BMAD V4.2 的“物理背压”改成“隔离强度不降级、验证范围分级、环境准备独立、证据按需进入上下文”。当前证据指向的不是“测试太严格”，而是阶段粒度被细化、测试入口携带环境安装、详细输出直接回灌，以及执行记录反复对账共同放大了成本。\n\n本次仅交付只读审计和替换条款：不修改规则文件，不运行测试或部署. Topic tags: general web, workflow, code, data. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake
У чому проблема — і чого насправді не вимагають правила
Аудит BMAD V4.2 вказує на кілька чинників, що можуть разом збільшувати вартість перевірок: надто дрібне визначення етапів, підготовка середовища всередині тестового запуску, великий обсяг виводу та повторне звіряння доказів після оновлення записів.
Водночас у переглянутих правилах немає вимоги запускати повну контейнерну матрицю після кожної правки. 02-bmad-core.md вимагає виконувати релевантні перевірки на кожному етапі, а 01-bmad-engineer-core.md дозволяє обирати перевірки відповідно до обсягу змін. Суворіша вимога — «фізично перевіряти після кожного кроку» — міститься в історичному плані проєкту, а не в глобальному правилі (docs/logs/aurora_roocodedownload.md:462).
Тому коректніше описати проблему так: правила не визначають межі етапу та вартість підготовки; проєктний план вимагає фізичної перевірки після кожного кроку; а один і той самий запуск може охоплювати і підготовку середовища, і тестування. До цього додаються об’ємні журнали та повторне оформлення доказів.
Що показують наявні журнали
В одному записі видно, що перед початком тестового етапу встановлювали 14 пакетів. Наприкінці встановлення журнал повідомляє про 31 пакет загальним обсягом 198,1 MiB, однак це число не доводить, що саме стільки даних завантажили або розпакували під час цього запуску.
Операція почалася приблизно о 14:04:04, а тестовий етап — о 14:04:09.330: між ними минуло близько 5,3 секунди. Тести пакетів тривали приблизно 2,72 секунди, а вся операція — близько 8 секунд (docs/logs/aurora.log:4, :229). Із наявних часових позначок неможливо окремо визначити, скільки часу забрали встановлення, запуск, компіляція чи перевірка кешу.
Проблема з виводом теж не зводиться до журналу встановлення: воно займає близько 16 рядків, тоді як тестові події повторюють повідомлення про початок і успішне завершення. У наданому журналі є також маркер пропуску приблизно на 76 000 символів (docs/logs/aurora.log:25, :63). Але за експортом чату чи виглядом інтерфейсу не можна встановити, що весь цей текст потрапив до запиту моделі, або порахувати фактичні платні токени.
Є й записи про окремі виклики компіляції та тестування, але сам тестовий запуск використовував команду Go, яка може залучати етапи підготовки до збірки (docs/logs/aurora_roocodedownload.md:1129; docs/logs/aurora.log:6). Тексту ізоляційного сценарію немає, тож не можна достеменно сказати, де саме відбувалося встановлення, або стверджувати, що всі історичні запуски повторно встановлювали пакети. Висновок має розрізняти три речі: встановлення зафіксовано в одному запуску; в історії є кілька викликів контейнерів; повторне встановлення під час кожного виклику ще треба перевірити.
Три рівні замість одного важкого циклу
Щоб зберегти ізоляцію, але не повторювати зайві етапи, аудит пропонує розділити роботу на три рівні. Це цільова модель, а не опис уже впровадженого рішення.
| Рівень | Для чого потрібен | Коли запускати |
|---|---|---|
| L0 — незмінне середовище | Заздалегідь підготовлені інструменти, системні бібліотеки й дозволені залежності | Коли змінюється саме середовище або його конфігурація |
| L1 — перевірка під час розробки | Релевантні модульні, інтеграційні та, за потреби, конкурентні перевірки | Після завершення семантично цілісної зміни |
| L2 — етапний контроль | Необхідна для етапу матриця перевірок, окремий вимір RSS і звіряння доказів | Перед завершенням етапу або дозволеною передачею результату |
L0: готувати середовище окремо
Ідентичність образу, версії інструментів і налаштування безпеки варто фіксувати. Тестовий запуск не повинен потай установлювати системні пакети, завантажувати образи чи розв’язувати залежності онлайн. Якщо потрібного середовища немає, запуск має зупинитися й повідомити, що воно не готове, а не самостійно підключатися до мережі.
Повторно використовувати незмінне середовище — не те саме, що зберігати брудний стан тестів. Перевірки мають лишатися ізольованими: з доступом до коду лише для читання, без зовнішньої мережі, з мінімальними правами та обмеженим тимчасовим сховищем. Кеші слід розділяти за проєктом, інструментами, платформою та межею довіри. Влучання в кеш саме по собі не означає, що тест пройшов.
L1: менша перевірка — не привід виходити із sandbox
Історичний дозвіл у матеріалах проєкту обмежує перевірки офлайн-запуском в ізольованому контейнері (docs/logs/aurora_roocodedownload.md:18). Тож замінювати його перевірками на хості лише заради швидкості не можна без окремого дозволу. Пропозиція — легший цикл у межах тих самих вимог безпеки.
Одиницею такого циклу має бути семантично завершена зміна поведінки разом із тестом, а не одна команда чи один файл. До наступної залежної зміни перевірка має пройти; водночас не потрібно без кінця відкладати накопичені зміни до фінального запуску.
L2: перевіряти заморожений кандидат
Перед етапною передачею перевірки мають бути прив’язані до конкретного стану коду й тестів, залежностей, середовища, конфігурації запуску та набору перевірок. RSS варто вимірювати в окремому процесі без інструментування; результати вимірювання ресурсів і перевірки конкурентного доступу слід фіксувати окремо. Вимогу незалежного вимірювання RSS історичний план уже містить (docs/logs/aurora_roocodedownload.md:640).
Якщо після фінального контролю змінюються важливі для результату вхідні дані, старі докази не можна автоматично переносити на новий кандидат. Можна повторити лише зачеплені перевірки, якщо є підстави вважати решту результатів чинними; якщо таких підстав немає — потрібно розширити перевірку.
Які зміни мають запускати перевірки
- Завершено зміну поведінки разом із тестом: один цикл L1; без автоматичної перебудови L0 чи повного L2.
- Змінилися блокування, спільний доступ, скасування операцій або звільнення ресурсів: додати цільові перевірки конкурентного доступу й життєвого циклу в поточний цикл.
- Змінився міжмодульний інтерфейс або спільна залежність: розширити перевірку на зачеплений ланцюг викликів.
- Змінилися інструменти, системні залежності чи параметри ізоляції: переоцінити L0 і докази, на які це впливає; не встановлювати потрібне всередині тестового запуску.
- Заморожено кандидата для передачі: виконати обов’язкову матрицю L2.
- Змінився лише запис про виконання чи текст про прогрес: перевірити повноту й відповідність запису, але не запускати автоматично бізнес-тести та вимірювання RSS.
Останнє правило має допомогти уникнути циклу, коли запис результату змінює документ, а це запускає нову перевірку й новий запис. Це структурний ризик, а не підтвердження того, що такий нескінченний цикл уже виник. Повний контроль цілісності файлів при цьому треба зберегти: відокремлювати вхідний контракт від результату — не означає послаблювати захист від підміни.
Вивід тестів: короткий підсумок, повний журнал — окремо
Детальну діагностику варто зберігати в дозволеному сховищі артефактів із визначеним строком зберігання, а в робочий контекст передавати стислий структурований підсумок. Як початкові, а не виміряні оптимальні межі пропонуються до 2 KiB для успішного запуску й до 8 KiB для невдалого.
У підсумку мають бути ідентифікатор перевірки, її рівень, кількість запущених і завершених тестів, невдачі чи пропуски, тривалість етапів, код завершення, результат очищення та посилання на початковий артефакт. Для помилки важливо зберегти першу першопричину й необхідний стек. Якщо підсумок обрізаний, це слід позначити явно.
Структуровані тестові події потрібно розбирати й підсумовувати, а не просто видаляти рядки, де зустрічається слово «помилка». Відсутня фінальна подія, помилка розбору, нуль запущених тестів, нез’ясований пропуск або недоступний артефакт не дають підстав оголошувати перевірку успішною лише на підставі нульового коду виходу. Повідомлення про підготовку середовища теж не є доказом того, що функціональні тести пройшли.
Що змінити в правилах і планах
У глобальному правилі доцільно зафіксувати, що фізична перевірка означає реальне виконання в дозволеному середовищі з результатом, який можна перевірити, але не вимагає заново готувати базове середовище після кожної правки. До початку роботи слід визначати семантичні групи змін, межі етапів, потрібні перевірки та умови, за яких перевірку треба розширити.
Правила для інженерного режиму можуть доповнити цю модель: вибір перевірок має залежати від масштабу й ризику зміни, а не лише від кількості файлів; компіляція, тестування й очищення мають мати окремі часові бюджети; підготовка середовища, зміни безпеки й розгортання потребують окремого дозволу. Створення тестового контейнера не слід називати розгортанням продукту.
Шаблон плану реалізації (implementation-plan.template.md) варто доповнити рівнем кожної перевірки, її тригером, очікуваним охопленням, середовищем і дозволом, бюджетом підготовки, компіляції, тестування й очищення, умовами чинності доказів та місцем зберігання журналу. Вхідні вимоги й результати виконання треба вести окремо, щоб оновлення запису не запускало повторно ту саму функціональну перевірку.
Як впроваджувати — і що не послаблювати
Раціональна послідовність — спершу оновити правила й шаблон плану, узгодивши основні та альтернативні шляхи запуску BMAD. Далі — налаштувати виконавець так, щоб він використовував заздалегідь підготовлені інструменти, відокремлював підготовку від тестування й формував обмежені підсумки. Лише після цього варто провести невелике порівняльне випробування: перевірити, що звичайні зміни не запускають L2 автоматично, тестовий етап не встановлює системні пакети, а навмисно спричинені помилка тесту, нуль запусків, тайм-аут і невдале очищення все ще блокують перехід далі.
Перевірка Go з прапорцем -race може виявити перегони даних у виконаних тестах, але успішний результат не доводить, що в програмі взагалі немає таких перегонів 9. Тому скорочувати частоту або охоплення важливих конкурентних перевірок лише заради швидкості не варто.
Головний висновок аудиту: спершу слід усунути зайву підготовку середовища та надмірний вивід, а вже потім налаштовувати частоту перевірок. Економити час варто без переходу на хост замість ізольованого контейнера, без послаблення безпеки й без втрати критично важливих доказів.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Перевіряти розумніше, а не рідше: як упорядкувати тестування BMAD V4.2"?
Глобальні правила BMAD вимагають релевантної перевірки на кожному етапі, але не наказують після кожної правки запускати повну матрицю контейнерних тестів.
What are the key points to validate first?
Глобальні правила BMAD вимагають релевантної перевірки на кожному етапі, але не наказують після кожної правки запускати повну матрицю контейнерних тестів. Один журнал підтверджує встановлення пакетів перед тестами, але не доводить, що кожного разу завантажували 198,1 MiB.
What should I do next in practice?
Рекомендована модель має три рівні: незмінне середовище інструментів, перевірки під час розробки та окремий етапний контроль перед передачею.