AItoZ
← 에디토리얼

해외 AI 소식 · 2026.10.25 · 1분

비싼 하네스, 코딩 에이전트 성능은 그대로였다

AItoZ 개발팀 · 2026.10.25 발행

비싼 하네스, 코딩 에이전트 성능은 그대로였다 — 해외 AI 소식

중국 산둥대 연구진이 같은 모델에 클로드 코드 · 오픈코드 · mini-SWE-agent를 붙여 SWE-bench Verified로 비교했더니, 하네스 사이 점수 차이는 2점 미만(447개 과제)이었고 같은 설정을 다시 돌리기만 해도 최대 6점이 달라졌습니다. 반면 과제당 비용은 하네스에 따라 최대 3배 차이 났습니다(기본 프롬프트 · 도구 설명 토큰: 클로드 코드 약 1.66만, 오픈코드 약 7천, mini-SWE-agent 1천 미만). 연구진은 하네스가 사 주는 것은 주로 토큰이라고 결론지었습니다. 다만 어려운 과제 45개 중심이라 표본이 작다는 한계가 있습니다.

비싼 하네스, 정말 코딩 에이전트를 똑똑하게 만들까요? 중국 산둥대가 재 봤어요.

비싼 하네스, 정말 코딩 에이전트를 똑똑하게 만들까요? 중국 산둥대가 재 봤어요.

같은 모델에 하네스 세 개를 바꿔 붙였더니, 점수 차이는 2점도 안 났어요.

같은 모델에 하네스 세 개를 바꿔 붙였더니, 점수 차이는 2점도 안 났어요.

같은 설정을 다시 돌려도 6점까지 오르내리니, 사실상 오차 수준이죠.

같은 설정을 다시 돌려도 6점까지 오르내리니, 사실상 오차 수준이죠.

대신 비용은 최대 3배까지 벌어졌어요. 기본 설명에만 토큰 만 육천 개를 쓰기도 했고요.

대신 비용은 최대 3배까지 벌어졌어요. 기본 설명에만 토큰 만 육천 개를 쓰기도 했고요.

다만 문제 수가 적은 연구예요. 결론은, 하네스가 사 주는 건 점수보다 토큰이라는 거죠.

다만 문제 수가 적은 연구예요. 결론은, 하네스가 사 주는 건 점수보다 토큰이라는 거죠.

출처

영상으로 보기

다음 글할 일 없이 둔 AI 에이전트들이 놀기 시작했다→