2026년 11월 14일 직접 실행 · open-code-review 1.13.9(깃허브 별 50,551 · Apache-2.0, 같은 날 README 확인) · 리뷰 모델은 Gemini 3.8 Flash · 클로드 쪽은 Claude Code 2.1.322(Sonnet) · 모든 실행은 한 번씩 · 시간과 비용은 그때 잰 값입니다

바이브코딩으로 앱을 만들면 배포 전에 "리뷰해 줘"를 한 번 보내는 경우가 많습니다. 그런데 같은 부탁을 두 번 하면 같은 답이 나올까요? 알리바바가 사내에서 쓰던 AI 코드 리뷰 도구를 오픈소스로 공개했다고 해서, 클로드 코드로 만든 작은 앱 하나에 클로드 리뷰와 이 도구를 각각 두 번씩 돌려 비교했습니다.
Open Code Review는 어떤 도구인가요?
Git 변경분(diff)을 읽어 AI 모델에게 보내고, 줄 번호가 붙은 리뷰 지적을 만들어 주는 명령줄 도구입니다. 명령 이름은 ocr이고, 결과에는 지적 내용과 함께 '기존 코드'와 '고칠 코드'가 붙어 나옵니다.
README에 따르면 알리바바 그룹 안에서 공식 AI 코드 리뷰 도우미로 쓰이던 도구입니다. 알리바바는 README에서 "지난 2년간 수만 명의 개발자가 썼고 결함 수백만 건을 찾았다"고 밝혔습니다. 이 숫자는 알리바바의 발표이고 우리가 확인한 값은 아닙니다.
README가 내세우는 차이는 '정해진 공정 + 에이전트'입니다. 어떤 파일을 검사할지, 어떤 파일을 묶을지, 어떤 규칙을 붙일지는 프로그램이 정하고, 그 안에서만 AI가 판단합니다. 같은 README에는 "범용 에이전트(Claude Code)보다 정밀도가 높고, 대신 재현율(찾아내는 비율)은 일부러 낮췄다"는 벤치마크 설명도 있습니다. 내장 규칙에는 NPE · 스레드 안전성 · XSS · SQL 인젝션 같은 항목이 있고, OpenAI · Anthropic 호환 모델을 붙일 수 있습니다.
어떤 앱으로 시험했나요?
클로드 코드에 아래 부탁을 그대로 보내 만든 메모 앱입니다. 빈 폴더에서 한 번 돌렸고 93초가 걸렸습니다.
로그인하고 메모를 저장하는 작은 웹앱을 Express + SQLite로 만들어 줘. 회원가입, 로그인, 메모 쓰기, 메모 목록, 메모 검색까지. 파일은 최대한 적게, 바로 npm start로 돌아가게.
결과는 server.js(160줄)와 index.html(118줄) 두 파일이었습니다. 의존성은 express 하나, DB는 Node 내장 node:sqlite였습니다. 비밀번호는 scrypt로 해시하고, SQL은 모두 파라미터 바인딩, 화면 출력은 textContent라서 기본기는 꽤 탄탄한 코드였습니다. 그래서 "뻔한 구멍"보다는 놓치기 쉬운 지적이 무엇인지 보는 시험이 됐습니다.
클로드에게 두 번 리뷰를 시키면 어떻게 나오나요?
두 번 다 13개를 짚었지만, 가장 먼저 고치라는 1순위가 바뀌었습니다. 같은 폴더에서 같은 문장 "이 코드 리뷰해 줘"를 보냈고(읽기 도구만 허용), 한 번에 약 30초가 걸렸습니다.

- 1회차 1순위:
package.json의 Node 버전 조건(22.13 전에는node:sqlite에 플래그가 필요) - 2회차 1순위: 로그인 · 가입에 속도 제한이 없음(무차별 대입 · 서버 멈춤)
- 두 번 다 나온 주제: 11개(scryptSync 동기 처리, 쿠키 Secure, 삭제 · 로그아웃 오류 처리, 세션 만료 처리, CSP의 unsafe-inline, 아이디 대소문자, 검색 응답 순서, 메모 200개 제한, 세션 토큰 평문 저장, autocomplete 등)
- 1회차에만: 메모 id가 숫자가 아닐 때(NaN) 처리, 큰 요청 본문의 413 처리
- 2회차에만: 클릭재킹(frame-ancestors), 저장 버튼 연타 중복 저장, 로그아웃 뒤 입력값 남음, 테스트 없음
넓게 찾는 힘은 확실했습니다. 다만 어떤 것을 먼저 고치라고 할지는 매번 달라서, "1순위만 고치고 배포"하는 식으로 쓰면 그때그때 다른 것을 고치게 됩니다.
ocr을 두 번 돌리면 같은 결과가 나오나요?
두 번 다 7개였고, 그중 6개는 같은 문제를 다시 짚었습니다. 다만 완전히 똑같지는 않았습니다.

| 항목 | 1회차 | 2회차 |
|---|---|---|
| 지적 수 | 7개 | 7개 |
| 걸린 시간 | 6분 59초 | 4분 37초 |
| 사용 토큰 | 230,211 | 225,810 |
| scryptSync 지적 심각도 | high | medium |
같은 문제 6개는 scryptSync 동기 처리(32~41줄), 쿠키 Secure, 삭제 오류 처리, 검색 요청 경쟁, 요청마다 SQL 다시 준비, setInterval 예외였습니다. 로그아웃(80줄)은 같은 줄을 짚었는데 1회차는 "입력값이 안 지워진다", 2회차는 "오류 처리가 없다"로 내용이 달랐습니다. ocr의 세션 뷰어가 자동으로 비교한 결과는 더 엄격해서, 위치와 내용이 그대로 겹친 지적은 3개(Persisting), 바뀐 것은 4개였습니다.
해 보니 "규칙 기반이라 늘 같은 결과"라고 기대하면 안 되고, "같은 범위를 비슷하게 다시 짚는다" 정도로 보는 게 맞았습니다.
클로드가 놓치고 ocr만 잡은 게 있나요?
두 개 있었습니다. 둘 다 클로드는 두 번 모두 언급하지 않았고, ocr은 두 번 모두 짚었습니다.

- 만료 세션 정리 코드(server.js 157줄):
setInterval안에서 DB 오류가 나면 잡아 주는 곳이 없어 서버 프로세스가 통째로 꺼질 수 있다는 지적입니다. - 요청마다 SQL 다시 준비(66~70줄):
db.prepare()를 요청이 올 때마다 새로 해서 CPU를 낭비한다는 지적입니다.
반대로 속도 제한, 세션 토큰 평문 저장, Node 버전 조건처럼 클로드가 두 번 다 짚은 것은 ocr이 한 번도 말하지 않았습니다. README가 말한 "정밀도 우선, 재현율은 낮게"가 이 작은 시험에서도 그대로 보였습니다.

설치하고 돌리는 순서는요?
명령 세 개면 됩니다. Git 2.41 이상이 필요합니다.

- 설치:
npm install -g @alibaba-group/open-code-review - 모델 연결:
ocr config provider→ocr config model(화면 안내대로 제공자와 키를 고르면 연결 시험까지 해 줍니다. 저희는 내장 제공자 목록의gemini를 골랐습니다) - 검사: 프로젝트 폴더에서
ocr review(아직 커밋하지 않은 변경 전부를 봅니다. 파일 전체를 보려면ocr scan) - 결과를 파일로:
ocr review --format json --output result.json - 결과 보기:
ocr viewer를 켜면 브라우저에서 지적 · 기존 코드 · 고칠 코드를 보고, 두 번의 검사를 비교할 수 있습니다.
package-lock.json 같은 잠금 파일은 알아서 빼고 4개 파일만 검사했습니다. 모델 키가 없다면 ocr delegate 모드가 있습니다. ocr이 파일 고르기와 규칙만 정하고, 실제 리뷰는 클로드 코드 같은 에이전트의 모델이 하는 방식입니다(README). 저희 환경에서 ocr delegate preview는 키 없이 검사 대상 파일 목록을 보여 줬고, 클로드 코드 플러그인까지 붙인 전체 delegate 리뷰는 이번에 해 보지 않았습니다.
윈도우에서 한 가지 걸린 점이 있었습니다. 저희 PC는 '스마트 앱 컨트롤'이 켜져 있어 npm으로 받은 윈도우용 실행 파일이 막혔고(spawn UNKNOWN), WSL(Ubuntu)에 같은 명령으로 설치해서 돌렸습니다.
고친 뒤 다시 돌리면 어떻게 되나요?
원래 7개는 모두 해결로 바뀌었고, 고친 코드에서 새 지적 5개가 나왔습니다.
ocr 결과 파일을 앱 폴더에 넣고 클로드 코드에 "ocr-result.json에 있는 코드 리뷰 지적을 전부 고쳐 줘" 한 줄을 보냈습니다. 66초 만에 server.js와 index.html이 고쳐졌고(94줄 추가 · 38줄 삭제), 저희가 직접 node --check와 가입 · 메모 저장 · 검색 요청을 돌려 동작을 확인했습니다.

다시 돌린 ocr은 13분 56초가 걸렸고, 뷰어 비교에서 해결 7 · 그대로 0 · 새 지적 5가 나왔습니다. 새 지적은 빈 아이디 · 비밀번호가 검사를 통과함(117119줄), 메모 id 숫자 검사 없음(161165줄), 저장 버튼 연타(96103줄), 로그아웃 때 오류 문구가 남음(8186줄), 로그아웃 때 검색 타이머를 안 지움(87~88줄)이었습니다. 이 중 id 검사와 저장 연타는 처음에 클로드가 짚었던 것입니다. 한 번 고치고 끝내기보다 "검사 → 고치기 → 다시 검사"를 한 바퀴 더 도는 게 맞았습니다.
비용은 얼마나 들었나요?
ocr 세 번을 합쳐 약 34센트였습니다. Gemini 3.8 Flash 공개 단가(2026년 12월 31일까지 100만 토큰당 입력 $0.75 · 캐시 입력 $0.075 · 출력 $3.75)에 ocr이 보고한 토큰 수를 곱해 계산한 값입니다.
| 실행 | 걸린 시간 | 토큰 | 계산한 비용 |
|---|---|---|---|
| ocr 1회차 | 6분 59초 | 230,211 | 약 $0.09 |
| ocr 2회차 | 4분 37초 | 225,810 | 약 $0.09 |
| ocr 재검사 | 13분 56초 | 476,661 | 약 $0.16 |
| 클로드 리뷰(각) | 약 30초 | — | Claude Code 표시 약 $0.14 |
2027년 1월 1일부터는 Gemini 3.8 Flash 단가가 두 배가 됩니다. 시간은 클로드 리뷰가 훨씬 빨랐습니다.
한 번에 정리
- 클로드에게 두 번 리뷰를 시키면 13개씩 넓게 찾지만, 1순위와 일부 항목이 바뀝니다.
- ocr은 7개씩 적게 찾고, 그중 6개는 같은 문제를 다시 짚습니다. 서버가 꺼질 수 있는 setInterval 예외는 ocr만 잡았습니다.
- 쓰는 법은 설치 →
ocr config provider→ocr review, 결과 파일을 클로드에게 주고 "전부 고쳐 줘"면 됩니다. - 고친 뒤 다시 돌리면 새 지적이 또 나옵니다. 한 바퀴 더 도는 것까지가 배포 전 점검입니다.
- 해 보니 넓게 찾는 건 클로드, 같은 기준으로 한 번 더 거르는 건 ocr이었습니다. 둘 중 하나가 아니라 둘 다 쓰는 쪽을 권합니다.
작은 앱 하나로 한 번씩 돌린 비교라서, 큰 프로젝트나 다른 모델에서는 결과가 다를 수 있습니다.
출처
- Open Code Review 저장소 · README: https://github.com/alibaba/open-code-review (2026.11.14 확인, 별 50,551 · Apache-2.0)
- Gemini API 단가: https://aistudio.google.com/docs/pricing (2026.11.14 확인)
- 직접 실행 기록: ocr 1.13.9 · Gemini 3.8 Flash · Claude Code 2.1.322(Sonnet), 2026.11.14 각 1회
