작은 코드 수정에도 컨테이너 준비부터 전체 검증, 로그 정리까지 매번 반복된다면 문제는 테스트의 엄격함만이 아닐 수 있다. 환경 설치와 테스트 실행, 결과 기록의 경계가 흐릿해져 비용이 누적되고 있을 가능성이 있다.

BMAD V4.2를 다룬 이번 감사의 핵심 제안은 간단하다. 격리 수준은 유지하되, 환경 준비와 검증을 분리하고, 변경 범위에 맞춰 검증을 단계화하자는 것이다. 이번 검토는 읽기 전용 감사와 규칙 대체안에 한정되며, 실제 규칙 파일 수정이나 테스트·배포는 진행하지 않았다.

전역 규칙이 매번 전체 테스트를 요구하는 것은 아니다

저장소의 02-bmad-core.md는 각 단계에서 관련 검증을 수행하도록 규정한다. 엔지니어링 규칙인 01-bmad-engineer-core.md도 변경 범위에 따라 검증을 선택하도록 안내한다. 매 수정 뒤 물리적 검증을 요구하는 더 강한 조건은 전역 규칙이 아니라 과거 프로젝트 계획에서 확인된다.

따라서 부담의 원인을 “BMAD가 모든 패치마다 전체 컨테이너 테스트를 강제한다”고 단정하기는 어렵다. 기록을 바탕으로 한 더 신중한 설명은 이렇다. 전역 규칙이 단계의 크기와 환경 준비 비용을 구체적으로 나누지 않은 상태에서, 프로젝트 계획이 ‘매 단계 검증’을 강화했고, 테스트 진입 과정에서 환경 준비까지 함께 이뤄지며 비용이 커졌을 수 있다.

로그가 말해주는 것과 말해주지 않는 것

aurora.log에는 테스트 이벤트가 시작되기 전 패키지 14개를 설치한 기록이 있다. 설치 결과에는 패키지 31개의 합계가 198.1MiB로 표시돼 있다. 그러나 이 숫자만으로 실제 다운로드량이나 새로 풀린 용량이 198.1MiB였다고 결론 내릴 수는 없다.

로그의 시간 기록을 보면 작업 시작부터 테스트 이벤트 시작까지 약 5.3초, 패키지 테스트는 약 2.72초, 전체 작업은 약 8초였다. 준비 구간에 설치·시작·컴파일·캐시 확인이 각각 얼마나 기여했는지는 기록만으로 나눠 알기 어렵다. 따라서 확인 가능한 결론은 테스트 시작 전에 준비 단계가 있었고, 그 구간의 정확한 비용은 추가 측정이 필요하다는 정도다.

컨텍스트 부담도 설치 로그만의 문제는 아니다. 설치 부분은 약 16줄이지만, 테스트 로그에는 시작·통과 정보가 서로 다른 형식으로 반복된다. 제공된 로그에는 약 7만6천 자의 생략 표식도 포함돼 있다. 다만 채팅 내보내기나 화면에 보이는 내용만으로 이 텍스트가 전부 모델 요청에 포함됐거나 실제 사용 토큰에 반영됐다고 단정할 수는 없다.

환경 재사용과 테스트 격리는 서로 다른 문제

기록에는 컴파일과 테스트를 나눠 실행한 사례가 여러 건 남아 있다. 반면 실제 테스트 진입점에서는 빌드 준비가 개입할 수 있는 Go 테스트 명령도 확인된다. 격리 스크립트의 본문은 검토 자료에 없어, 설치가 스크립트·컨테이너 이미지 진입점·다른 래퍼 가운데 어디에서 발생했는지까지는 확인되지 않았다.

따라서 증거 수준을 나눠야 한다. 한 차례의 설치는 로그로 확인됐고, 여러 컨테이너 호출은 기록돼 있지만, 매번 설치가 반복됐다는 점은 추가 대조가 필요하다.

여기서 구분해야 할 생명주기는 네 가지다.

1. 격리: 한 번의 테스트가 소스 코드나 호스트, 다음 테스트를 오염시키지 않도록 한다.
2. 도구 환경: 컴파일러와 시스템 라이브러리 등 실행 기반을 관리한다.
3. 검증: 변경으로 무효가 된 증거를 판단하고 다시 만든다.
4. 기록: 결과와 진행 상태를 저장한다.

이 네 가지를 한데 묶으면 결과를 기록한 뒤 문서가 바뀌고, 문서가 바뀌었으니 다시 테스트하고, 다시 결과를 기록하는 식의 반복이 생길 수 있다. 이는 구조상 생길 수 있는 위험이지, 무한 반복이 실제로 일어났다는 뜻은 아니다.

핵심은 도구 환경을 재사용한다고 해서 지저분한 테스트 현장까지 재사용해야 하는 것은 아니며, 임시 테스트 현장을 새로 만든다고 해서 도구를 매번 다시 설치할 필요도 없다는 것이다.

세 단계로 검증을 나누는 방안

아래는 권장 계약이며, 현재 구현된 기능을 뜻하지 않는다.

단계	역할	실행 시점
L0: 고정된 실행 환경	승인된 도구와 의존성을 준비하고, 이미지와 도구 버전을 기록한다.	환경 입력이 달라질 때 준비한다. 업무 코드 수정만으로 시스템 패키지를 다시 설치하지 않는다.
L1: 변경 단위 검증	의미 있는 코드 변경에 관련 단위·모듈 테스트와 필요한 경쟁 상태 검사를 수행한다.	하나의 의미 있는 변경 묶음이 끝날 때 실행한다.
L2: 단계별 인수 검증	동결한 후보에 대해 단계에 필요한 테스트 묶음, 독립 RSS 측정, 증거 대조를 수행한다.	단계 완료나 승인된 인도 전에 실행한다.

L0: 환경은 재사용하되, 테스트 현장은 깨끗하게

테스트 진입점에서 시스템 패키지를 설치하거나 이미지를 내려받고, 온라인 의존성 해석을 하는 일은 금지하는 편이 좋다. 필요한 이미지나 도구가 없으면 자동으로 인터넷에 접속해 채우지 말고, 환경 미준비로 분류해 멈춰야 한다. 환경 준비는 별도 승인과 시간 예산으로 관리한다.

반면 테스트는 소스 읽기 전용, 외부 네트워크 차단, 최소 권한, 제한된 임시 공간 등 승인된 격리 조건에서 수행한다. 캐시를 사용하더라도 프로젝트·도구 버전·플랫폼·신뢰 경계를 구분해야 한다. 캐시가 적중했다는 사실은 계산 산출물의 재사용을 뜻할 뿐, 테스트 통과를 뜻하지 않는다.

L1: 빠른 검증도 승인된 격리 안에서

과거 권한 기록은 오프라인 격리 컨테이너에서의 검증을 범위로 삼고 있다. 그러므로 시간을 줄이기 위해 호스트에서 테스트하는 것을 기본 대안으로 제시해서는 안 된다. 기본값은 같은 보안 제약을 지키는 가벼운 격리 검증이어야 한다. 호스트 실행이 필요하다면 별도의 명시적 승인과 적용 조건이 있어야 한다.

의미 있는 변경 묶음은 하나의 동작 변화와 그에 대응하는 테스트를 뜻한다. 여러 번의 정밀한 편집이 하나의 묶음에 포함될 수 있지만, 다음 동작에 의존하는 변경으로 넘어가기 전에 L1을 통과해야 한다. 반대로 파일 개수나 도구 호출 횟수만으로 기계적으로 묶음을 나누는 것도 적절하지 않다.

L2: 후보를 동결하고 필요한 증거를 한 번에

단계 인수 검증은 소스와 테스트의 특정 상태, 의존성, 실행 환경, 설정, 검증 범위에 연결해야 한다. RSS 측정은 삽입 계측이 없는 별도 프로세스에서 수행하고, 경쟁 상태 결과와 자원 측정 결과도 분리해 기록하는 방안이 적절하다.

검증 뒤 관련 입력이 바뀌면 기존 결과를 새 후보에 그대로 적용해서는 안 된다. 영향을 받은 부분만 다시 실행하려면 나머지 증거가 여전히 유효하다는 근거가 필요하다. 그 근거를 대기 어렵다면 검증 범위를 넓혀야 한다.

Go의 경쟁 상태 감지기는 실제로 실행된 경로에서 발견되는 문제를 찾는 데 도움을 주지만, 프로그램에 데이터 경쟁이 전혀 없음을 증명하지는 않는다. 따라서 “절대적으로 안전하다”는 표현 대신, 차단한 외부 네트워크·허용한 쓰기 범위·실행한 테스트 경로처럼 확인 가능한 경계를 명시해야 한다. 9

무엇이 바뀔 때 어떤 검증을 할까

• 같은 동작의 구현과 테스트를 수정했다면 관련 L1을 한 차례 실행한다. 이 일만으로 환경을 다시 만들거나 전체 L2를 시작하지 않는다.
• 잠금, 동시 접근, 취소, 자원 해제가 바뀌었다면 해당 변경 묶음에 경쟁 상태와 수명주기 검증을 추가한다.
• 모듈 간 계약이나 공유 의존성이 바뀌었다면 영향을 받는 호출 경로까지 검증 범위를 넓힌다.
• 도구 버전·시스템 의존성·격리 설정이 바뀌었다면 L0을 다시 확인하고 관련 증거가 무효가 됐는지 평가한다. 테스트 도중 임시 설치로 해결하지 않는다.
• 단계 후보를 동결했다면 필요한 L2 검증을 수행한다. 단순한 진행 기록 갱신만으로 업무 테스트나 RSS 측정을 다시 시작하지 않는다.

실패도 구분해야 한다. 환경 미준비, 컴파일 실패, 테스트 실패, 시간 초과, 테스트 미실행, 증거 손상, 정리 실패를 서로 다른 상태로 기록한다. 종료 코드가 0이어도 테스트 결과가 없거나, 예상하지 못한 건너뛰기가 있거나, 결과 파일을 확인할 수 없다면 통과로 처리해서는 안 된다.

규칙과 기록은 어디까지 바꿔야 하나

규칙에는 ‘물리 검증’을 실제 실행과 확인 가능한 결과로 정의하되, 이를 매번 기본 환경을 다시 만드는 일과 동일시하지 않는다고 명시할 필요가 있다. 의미 있는 변경 묶음마다 L1, 단계 인수 시 L2를 실행하고, 테스트 진입점이 설치나 다운로드를 암묵적으로 수행하지 않도록 하는 방식이다.

로그도 원본 진단 자료와 모델에 전달하는 요약을 분리하는 편이 좋다. 예를 들어 성공 요약은 2KiB, 실패 요약은 8KiB를 시작 예산으로 둘 수 있다. 요약에는 첫 번째 원인, 필요한 오류 정보, 종료 상태, 통과·실패·건너뜀 개수, 실행 시간, 정리 결과, 원본 로그 위치를 담는다. 이 용량은 제안 출발점이지 업계 표준이나 최적값으로 측정된 수치는 아니다. 로그를 화면에서 접어 보이는 것만으로는 충분하지 않다. 모델 입력에 들어가기 전에 출력량을 제어해야 한다.

계획서에는 검증 단계와 발동 조건, 의도한 범위와 제외 범위, 승인된 환경, 준비·컴파일·실행·정리 예산, 증거가 무효가 되는 조건, 로그 요약 및 원본 보관 위치를 적도록 할 수 있다. 실행 결과를 저장하는 일 자체가 같은 기능 검증을 반복 발동하지 않도록, 계약 입력과 실행 결과도 분리해야 한다. 다만 파일 전체의 무결성을 확인하는 보호 장치까지 없애자는 뜻은 아니다.

먼저 규칙과 계획 템플릿을 정비하고, 그다음 실행기에서 환경 준비와 테스트를 분리하는 순서가 현실적이다. 마지막에는 여러 변경 묶음을 연속 실행해 테스트 단계의 패키지 설치가 발생하지 않는지, 단순 기록 갱신이 L2를 촉발하지 않는지, 출력 요약이 제한되는지 확인하면 된다. 일부러 넣은 테스트 실패·시간 초과·정리 실패가 여전히 진행을 막는지도 함께 점검해야 한다.

결론은 테스트를 덜 하자는 것이 아니다. 격리를 희생해 시간을 줄이기보다 반복 설치와 로그 과잉을 먼저 걷어내고, 검증 범위는 변경의 영향에 따라 정하자는 것이다.

작은 코드 수정에도 컨테이너 준비부터 전체 검증, 로그 정리까지 매번 반복된다면 문제는 테스트의 엄격함만이 아닐 수 있다. 환경 설치와 테스트 실행, 결과 기록의 경계가 흐릿해져 비용이 누적되고 있을 가능성이 있다.

BMAD V4.2를 다룬 이번 감사의 핵심 제안은 간단하다. 격리 수준은 유지하되, 환경 준비와 검증을 분리하고, 변경 범위에 맞춰 검증을 단계화하자는 것이다. 이번 검토는 읽기 전용 감사와 규칙 대체안에 한정되며, 실제 규칙 파일 수정이나 테스트·배포는 진행하지 않았다.

전역 규칙이 매번 전체 테스트를 요구하는 것은 아니다

저장소의 02-bmad-core.md는 각 단계에서 관련 검증을 수행하도록 규정한다. 엔지니어링 규칙인 01-bmad-engineer-core.md도 변경 범위에 따라 검증을 선택하도록 안내한다. 매 수정 뒤 물리적 검증을 요구하는 더 강한 조건은 전역 규칙이 아니라 과거 프로젝트 계획에서 확인된다.

따라서 부담의 원인을 “BMAD가 모든 패치마다 전체 컨테이너 테스트를 강제한다”고 단정하기는 어렵다. 기록을 바탕으로 한 더 신중한 설명은 이렇다. 전역 규칙이 단계의 크기와 환경 준비 비용을 구체적으로 나누지 않은 상태에서, 프로젝트 계획이 ‘매 단계 검증’을 강화했고, 테스트 진입 과정에서 환경 준비까지 함께 이뤄지며 비용이 커졌을 수 있다.

로그가 말해주는 것과 말해주지 않는 것

aurora.log에는 테스트 이벤트가 시작되기 전 패키지 14개를 설치한 기록이 있다. 설치 결과에는 패키지 31개의 합계가 198.1MiB로 표시돼 있다. 그러나 이 숫자만으로 실제 다운로드량이나 새로 풀린 용량이 198.1MiB였다고 결론 내릴 수는 없다.

로그의 시간 기록을 보면 작업 시작부터 테스트 이벤트 시작까지 약 5.3초, 패키지 테스트는 약 2.72초, 전체 작업은 약 8초였다. 준비 구간에 설치·시작·컴파일·캐시 확인이 각각 얼마나 기여했는지는 기록만으로 나눠 알기 어렵다. 따라서 확인 가능한 결론은 테스트 시작 전에 준비 단계가 있었고, 그 구간의 정확한 비용은 추가 측정이 필요하다는 정도다.

컨텍스트 부담도 설치 로그만의 문제는 아니다. 설치 부분은 약 16줄이지만, 테스트 로그에는 시작·통과 정보가 서로 다른 형식으로 반복된다. 제공된 로그에는 약 7만6천 자의 생략 표식도 포함돼 있다. 다만 채팅 내보내기나 화면에 보이는 내용만으로 이 텍스트가 전부 모델 요청에 포함됐거나 실제 사용 토큰에 반영됐다고 단정할 수는 없다.

환경 재사용과 테스트 격리는 서로 다른 문제

기록에는 컴파일과 테스트를 나눠 실행한 사례가 여러 건 남아 있다. 반면 실제 테스트 진입점에서는 빌드 준비가 개입할 수 있는 Go 테스트 명령도 확인된다. 격리 스크립트의 본문은 검토 자료에 없어, 설치가 스크립트·컨테이너 이미지 진입점·다른 래퍼 가운데 어디에서 발생했는지까지는 확인되지 않았다.

따라서 증거 수준을 나눠야 한다. 한 차례의 설치는 로그로 확인됐고, 여러 컨테이너 호출은 기록돼 있지만, 매번 설치가 반복됐다는 점은 추가 대조가 필요하다.

여기서 구분해야 할 생명주기는 네 가지다.

1. 격리: 한 번의 테스트가 소스 코드나 호스트, 다음 테스트를 오염시키지 않도록 한다.
2. 도구 환경: 컴파일러와 시스템 라이브러리 등 실행 기반을 관리한다.
3. 검증: 변경으로 무효가 된 증거를 판단하고 다시 만든다.
4. 기록: 결과와 진행 상태를 저장한다.

이 네 가지를 한데 묶으면 결과를 기록한 뒤 문서가 바뀌고, 문서가 바뀌었으니 다시 테스트하고, 다시 결과를 기록하는 식의 반복이 생길 수 있다. 이는 구조상 생길 수 있는 위험이지, 무한 반복이 실제로 일어났다는 뜻은 아니다.

핵심은 도구 환경을 재사용한다고 해서 지저분한 테스트 현장까지 재사용해야 하는 것은 아니며, 임시 테스트 현장을 새로 만든다고 해서 도구를 매번 다시 설치할 필요도 없다는 것이다.

세 단계로 검증을 나누는 방안

아래는 권장 계약이며, 현재 구현된 기능을 뜻하지 않는다.

단계	역할	실행 시점
L0: 고정된 실행 환경	승인된 도구와 의존성을 준비하고, 이미지와 도구 버전을 기록한다.	환경 입력이 달라질 때 준비한다. 업무 코드 수정만으로 시스템 패키지를 다시 설치하지 않는다.
L1: 변경 단위 검증	의미 있는 코드 변경에 관련 단위·모듈 테스트와 필요한 경쟁 상태 검사를 수행한다.	하나의 의미 있는 변경 묶음이 끝날 때 실행한다.
L2: 단계별 인수 검증	동결한 후보에 대해 단계에 필요한 테스트 묶음, 독립 RSS 측정, 증거 대조를 수행한다.	단계 완료나 승인된 인도 전에 실행한다.

L0: 환경은 재사용하되, 테스트 현장은 깨끗하게

테스트 진입점에서 시스템 패키지를 설치하거나 이미지를 내려받고, 온라인 의존성 해석을 하는 일은 금지하는 편이 좋다. 필요한 이미지나 도구가 없으면 자동으로 인터넷에 접속해 채우지 말고, 환경 미준비로 분류해 멈춰야 한다. 환경 준비는 별도 승인과 시간 예산으로 관리한다.

반면 테스트는 소스 읽기 전용, 외부 네트워크 차단, 최소 권한, 제한된 임시 공간 등 승인된 격리 조건에서 수행한다. 캐시를 사용하더라도 프로젝트·도구 버전·플랫폼·신뢰 경계를 구분해야 한다. 캐시가 적중했다는 사실은 계산 산출물의 재사용을 뜻할 뿐, 테스트 통과를 뜻하지 않는다.

L1: 빠른 검증도 승인된 격리 안에서

과거 권한 기록은 오프라인 격리 컨테이너에서의 검증을 범위로 삼고 있다. 그러므로 시간을 줄이기 위해 호스트에서 테스트하는 것을 기본 대안으로 제시해서는 안 된다. 기본값은 같은 보안 제약을 지키는 가벼운 격리 검증이어야 한다. 호스트 실행이 필요하다면 별도의 명시적 승인과 적용 조건이 있어야 한다.

의미 있는 변경 묶음은 하나의 동작 변화와 그에 대응하는 테스트를 뜻한다. 여러 번의 정밀한 편집이 하나의 묶음에 포함될 수 있지만, 다음 동작에 의존하는 변경으로 넘어가기 전에 L1을 통과해야 한다. 반대로 파일 개수나 도구 호출 횟수만으로 기계적으로 묶음을 나누는 것도 적절하지 않다.

L2: 후보를 동결하고 필요한 증거를 한 번에

단계 인수 검증은 소스와 테스트의 특정 상태, 의존성, 실행 환경, 설정, 검증 범위에 연결해야 한다. RSS 측정은 삽입 계측이 없는 별도 프로세스에서 수행하고, 경쟁 상태 결과와 자원 측정 결과도 분리해 기록하는 방안이 적절하다.

검증 뒤 관련 입력이 바뀌면 기존 결과를 새 후보에 그대로 적용해서는 안 된다. 영향을 받은 부분만 다시 실행하려면 나머지 증거가 여전히 유효하다는 근거가 필요하다. 그 근거를 대기 어렵다면 검증 범위를 넓혀야 한다.

Go의 경쟁 상태 감지기는 실제로 실행된 경로에서 발견되는 문제를 찾는 데 도움을 주지만, 프로그램에 데이터 경쟁이 전혀 없음을 증명하지는 않는다. 따라서 “절대적으로 안전하다”는 표현 대신, 차단한 외부 네트워크·허용한 쓰기 범위·실행한 테스트 경로처럼 확인 가능한 경계를 명시해야 한다. 9

무엇이 바뀔 때 어떤 검증을 할까

• 같은 동작의 구현과 테스트를 수정했다면 관련 L1을 한 차례 실행한다. 이 일만으로 환경을 다시 만들거나 전체 L2를 시작하지 않는다.
• 잠금, 동시 접근, 취소, 자원 해제가 바뀌었다면 해당 변경 묶음에 경쟁 상태와 수명주기 검증을 추가한다.
• 모듈 간 계약이나 공유 의존성이 바뀌었다면 영향을 받는 호출 경로까지 검증 범위를 넓힌다.
• 도구 버전·시스템 의존성·격리 설정이 바뀌었다면 L0을 다시 확인하고 관련 증거가 무효가 됐는지 평가한다. 테스트 도중 임시 설치로 해결하지 않는다.
• 단계 후보를 동결했다면 필요한 L2 검증을 수행한다. 단순한 진행 기록 갱신만으로 업무 테스트나 RSS 측정을 다시 시작하지 않는다.

실패도 구분해야 한다. 환경 미준비, 컴파일 실패, 테스트 실패, 시간 초과, 테스트 미실행, 증거 손상, 정리 실패를 서로 다른 상태로 기록한다. 종료 코드가 0이어도 테스트 결과가 없거나, 예상하지 못한 건너뛰기가 있거나, 결과 파일을 확인할 수 없다면 통과로 처리해서는 안 된다.

규칙과 기록은 어디까지 바꿔야 하나

규칙에는 ‘물리 검증’을 실제 실행과 확인 가능한 결과로 정의하되, 이를 매번 기본 환경을 다시 만드는 일과 동일시하지 않는다고 명시할 필요가 있다. 의미 있는 변경 묶음마다 L1, 단계 인수 시 L2를 실행하고, 테스트 진입점이 설치나 다운로드를 암묵적으로 수행하지 않도록 하는 방식이다.

로그도 원본 진단 자료와 모델에 전달하는 요약을 분리하는 편이 좋다. 예를 들어 성공 요약은 2KiB, 실패 요약은 8KiB를 시작 예산으로 둘 수 있다. 요약에는 첫 번째 원인, 필요한 오류 정보, 종료 상태, 통과·실패·건너뜀 개수, 실행 시간, 정리 결과, 원본 로그 위치를 담는다. 이 용량은 제안 출발점이지 업계 표준이나 최적값으로 측정된 수치는 아니다. 로그를 화면에서 접어 보이는 것만으로는 충분하지 않다. 모델 입력에 들어가기 전에 출력량을 제어해야 한다.

계획서에는 검증 단계와 발동 조건, 의도한 범위와 제외 범위, 승인된 환경, 준비·컴파일·실행·정리 예산, 증거가 무효가 되는 조건, 로그 요약 및 원본 보관 위치를 적도록 할 수 있다. 실행 결과를 저장하는 일 자체가 같은 기능 검증을 반복 발동하지 않도록, 계약 입력과 실행 결과도 분리해야 한다. 다만 파일 전체의 무결성을 확인하는 보호 장치까지 없애자는 뜻은 아니다.

먼저 규칙과 계획 템플릿을 정비하고, 그다음 실행기에서 환경 준비와 테스트를 분리하는 순서가 현실적이다. 마지막에는 여러 변경 묶음을 연속 실행해 테스트 단계의 패키지 설치가 발생하지 않는지, 단순 기록 갱신이 L2를 촉발하지 않는지, 출력 요약이 제한되는지 확인하면 된다. 일부러 넣은 테스트 실패·시간 초과·정리 실패가 여전히 진행을 막는지도 함께 점검해야 한다.

결론은 테스트를 덜 하자는 것이 아니다. 격리를 희생해 시간을 줄이기보다 반복 설치와 로그 과잉을 먼저 걷어내고, 검증 범위는 변경의 영향에 따라 정하자는 것이다.