2026년 11월 14일 직접 실행 · 클로드 코드 2.1.322 · 판정 1회(1분 47초) · 수정 1회 · 재현용 '주말 코딩 스터디' 신청 페이지(Node.js 기본 테스트 도구 node --test)

바이브코딩을 하다 보면 클로드가 "구현 완료, 테스트 전부 통과했습니다"라고 말하는 순간이 옵니다. 그런데 막상 브라우저에서 눌러 보면 아무 일도 안 일어나는 경우가 있습니다. 테스트가 통과했다는 말과 기능이 된다는 말은 같은 뜻이 아니기 때문입니다. 이 글은 그 상황을 일부러 재현하고, 코드를 쓰지 않은 다른 클로드에게 판정만 맡겼을 때 무엇이 잡히는지 기록한 것입니다.
영상에서 말씀드린 판정 지시 한 문장, 건너뛴 검사 찾는 한 줄, 확인 3가지는 아래 '그래서 어떻게 확인하면 되나요?' 절에 있어요.
테스트가 다 통과했는데 왜 버튼이 안 눌리나요?
테스트가 정작 버튼을 누르는 부분을 검사하지 않았기 때문입니다. 재현용으로 이름을 적고 '신청하기'를 누르면 명단에 올라가는 페이지를 만들고, 요즘 자주 보이는 '가짜 통과' 두 가지를 그대로 넣었습니다. 버튼 클릭 검사는 test.skip으로 건너뛰고, 서버 저장 검사는 진짜 서버 대신 가짜 응답(mock)으로만 확인하게 했습니다.

npm test 결과는 3개 통과, 1개 건너뜀, 실패 0개였습니다. 실제로 이름 '민지'를 넣고 버튼을 네 번 눌러도 명단은 0명 그대로였습니다. 위 화면의 빨간 원이 실제로 클릭한 자리입니다.

테스트 파일을 열어 보면 이유가 바로 보입니다. 버튼을 누르면 명단에 보인다는 검사는 "브라우저 환경이 없어서 나중에"라는 주석과 함께 건너뛰기로 빠져 있습니다. 저장 검사는 무조건 { ok: true }를 돌려주는 가짜 함수를 넣어 놓고 결과가 true인지만 봅니다. 주소가 틀려도 이 검사는 언제나 통과합니다.
판정은 누구에게, 어떻게 맡겼나요?
코드를 쓰지 않은 새 클로드 코드 창에 요구사항 문서(REQUIREMENTS.md)만 있는 프로젝트를 열고 한 문장을 보냈습니다. 이 클로드는 앞서 코드를 짠 대화를 모릅니다. 만든 쪽의 설명이 아니라 실행 결과로만 판단하게 하려는 것입니다.

실제로 보낸 문장은 이렇습니다.
REQUIREMENTS.md 요구사항대로 됐는지 확인해 줘. 코드는 고치지 말고, 직접 실행해서 요구사항마다 PASS/FAIL만 보고해.
이 클로드에는 크롬을 조작하는 Chrome DevTools MCP를 붙여 두었습니다. 클로드는 npm start로 서버를 띄우고, 크롬으로 페이지를 열어 이름을 입력하고 버튼을 눌렀습니다. 그다음 네트워크 요청과 콘솔을 확인하고, 새로고침과 빈 이름 클릭까지 해 본 뒤 서버와 탭을 닫았습니다.
판정 결과는 어땠나요?
요구사항 세 개 중 두 개가 FAIL이었습니다. 처음부터 끝까지 1분 47초 걸렸습니다(1회 실행).

| 요구사항 | 판정 | 판정한 클로드가 실제로 본 것 |
|---|---|---|
| 1. 이름을 넣고 누르면 명단에 바로 보인다 | FAIL | 눌러도 명단 0개, 서버로 나간 요청도 없음 |
| 2. 새로고침해도 명단에 남아 있다 | FAIL | 서버 목록이 빈 배열, 화면이 쓰는 저장 주소 /api/signup은 404 |
| 3. 빈 이름은 신청되지 않는다 | PASS | 다만 버튼이 아예 동작하지 않아서 통과한 것이라고 따로 밝힘 |
눈여겨볼 부분은 3번입니다. 판정한 클로드는 PASS를 주면서도 "기능이 제대로 돼서가 아니라 버튼이 아예 동작하지 않아서 통과한 것"이라고 적었습니다. 결과 표만 보면 놓치기 쉬운 부분을 보고서가 먼저 짚은 셈입니다.

원인도 보고서에 함께 나왔습니다. HTML의 버튼은 id="join-btn"인데 화면 코드는 #joinBtn을 찾고 있어서 클릭 처리가 연결되지 않았습니다. 저장 주소도 화면은 /api/signup(s 없음)으로 보내고 서버는 /api/signups만 받고 있었습니다.
고친 뒤에는 정말 눌리나요?
판정 보고서를 그대로 넘겨 "FAIL 두 개를 고쳐 줘"라고만 했더니 고쳐졌습니다. 고친 사람은 또 다른 새 클로드 창이었고, 바뀐 곳은 public/app.js의 두 줄입니다.

고친 페이지에서 '민지'를 넣고 한 번 누르자 명단이 1명으로 바뀌었습니다. 수정을 맡은 클로드는 버튼을 못 찾으면 조용히 넘어가게 만들던 ?.도 지웠습니다. 저장 테스트가 보낸 주소까지 확인하도록 바꾸고, 실제 서버를 띄워 저장과 조회를 해 보는 테스트(tests/server.test.js)도 더했습니다.
제가 직접 다시 돌려 보니 고친 코드의 npm test는 5개 통과, 1개 건너뜀이었습니다. 새 테스트를 고치기 전 코드에 붙여 돌리면 저장 관련 2개가 실패했습니다. 같은 주소 실수가 다시 생기면 이제는 테스트가 잡습니다. 버튼 클릭 검사는 브라우저 테스트 도구가 필요해서 여전히 건너뛰기로 남아 있습니다. 그래서 클릭 확인은 앞으로도 판정 단계에서 직접 눌러 보는 것으로 해야 합니다.
그래서 어떻게 확인하면 되나요?
클로드가 "다 됐어요"라고 하면 아래 세 가지를 순서대로 합니다.
건너뛴 검사부터 찾기. 프로젝트 폴더에서 아래 한 줄을 돌립니다. 결과가 나오면 그 검사가 무엇을 확인하려던 것인지부터 봅니다. 이번 재현에서는 정확히 버튼 검사 한 줄이 나왔습니다.
grep -rn "skip" tests/(테스트 폴더 이름이 다르면 그 이름으로 바꾸세요.
.only나xit,xdescribe도 같은 식으로 찾을 수 있습니다.)가짜 응답 말고 진짜 주소로 확인하기. 테스트에
fake,mock같은 이름이 보이면 그 검사가 실제 서버 주소를 한 번이라도 부르는지 봅니다. 이번처럼 가짜 함수가 늘 성공을 돌려주면 주소가 틀려도 통과합니다.판정은 코드를 안 쓴 클로드에게. 새 창을 열어 요구사항 문서만 주고 아래 문장을 보냅니다. 화면 기능이라면 Chrome DevTools MCP처럼 브라우저를 직접 조작할 수 있는 도구를 붙여 두는 편이 좋습니다.
REQUIREMENTS.md 요구사항대로 됐는지 확인해 줘. 코드는 고치지 말고, 직접 실행해서 요구사항마다 PASS/FAIL만 보고해.
판정 보고서가 나오면 FAIL 항목만 원래 창(또는 또 다른 새 창)에 넘겨 고치게 합니다. 판정과 수정을 한 창에서 같이 하면 "고쳤으니 통과"로 끝나기 쉬워서 나눠 두는 것입니다.
| 단계 | 누가 | 하는 일 |
|---|---|---|
| 만들기 | 원래 클로드 | 기능 구현, 테스트 작성 |
| 판정 | 코드를 안 쓴 새 클로드 | 직접 실행해서 요구사항마다 PASS/FAIL, 코드는 안 고침 |
| 고치기 | 원래 클로드 또는 새 창 | 판정 보고서의 FAIL만 고침 |
| 다시 판정 | 판정 쪽 | 고친 뒤 같은 요구사항으로 다시 확인 |
주의할 점은 없나요?
이번 결과는 일부러 버그를 넣은 작은 페이지에서 한 번씩 돌려 본 것입니다. 실제 프로젝트에서는 요구사항이 많고 로그인 같은 준비가 필요해서 판정에 더 오래 걸릴 수 있습니다. 판정용 클로드에 붙이는 브라우저는 개인 계정에 로그인된 크롬이 아니라 새 프로필(헤드리스 등)로 두는 편이 안전합니다. 판정 비용도 따로 듭니다. 이번 판정 1회는 22번의 단계를 거쳤습니다.
요즘IT의 'AI가 "개발 완료"라고 하면, 어디까지 믿어도 될까' 글도 비슷한 방향을 정리하고 있습니다. 테스트 통과를 완료로 보지 말고, 실제 응답과 사람이 쓴 스펙으로 확인하고, 코드를 안 쓴 쪽이 판정하게 하라는 내용입니다. 반복되는 지적은 린트나 CI로 옮기라는 조언도 있습니다.

한 번에 정리
- '테스트 전부 통과'는 테스트가 검사한 범위 안에서만 맞는 말입니다. 건너뛴 검사와 가짜 응답 검사는 실제 동작을 보지 않습니다.
- 판정은 코드를 안 쓴 새 클로드에게 "고치지 말고, 직접 실행해서 PASS/FAIL만"으로 맡깁니다. 이번 재현에서는 1분 47초 만에 FAIL 2개와 원인 2개가 나왔습니다.
- 고친 뒤에는 같은 요구사항으로 다시 판정하고, 잡힌 실수는 진짜 서버를 부르는 테스트로 남겨 둡니다.
해 보니 만든 쪽이 채점까지 하면 안 된다는 게 확실히 보였습니다. 다음 편은 내 바이브코딩 앱의 보안 구멍을 찾는 법입니다.
출처
- 직접 재현 · 실행: 재현용 신청 페이지,
npm test, 새 창 클로드 코드 2.1.322 판정 실행 기록과 수정 실행 기록 (2026년 11월 14일) - 요즘IT, 'AI가 "개발 완료"라고 하면, 어디까지 믿어도 될까' — https://yozm.wishket.com/magazine/detail/4039
- 영상: 유튜브 AItoZ 쇼츠 '클로드 코드 '테스트 통과', 눌러 보니 먹통이었다'
