왜 같은 모델이 다른 성능을 내는가
— 격차의 세 겹, 그리고 두 개의 예산
같은 클로드를 쓰는데 어떤 조직에서는 일꾼이 되고 어떤 조직에서는 장난감에 머문다. 이 격차는 어디서 오는가. 이 글은 하네스 엔지니어링 시리즈의 입구다 — “무엇을 지을 것인가”(여섯 층)를 다루기 전에, “왜 격차가 나는가”부터 명료하게 해 둔다.
1. 현상 — 점수를 가른 것은 모델이 아니었다
2026년 들어 이 격차는 짐작이 아니라 측정이 됐다.
- 같은 오퍼스 4.5 모델이 같은 시험(SWE-bench Pro)에서, 표준 실험대(SEAL) 위에서는 45.9점, 클로드코드 안에서는 55.4점을 받았다. 모델은 한 글자도 안 바뀌었는데 9.5점이 갈렸다.
- 같은 연구팀의 집계로는 하네스(모델을 둘러싼 겉구조)가 만드는 성능 분산이 모델 자체가 만드는 분산의 7.8배였고, 아홉 개 비교 중 여섯에서 “어느 모델이 더 좋은가”라는 순위 자체가 하네스에 따라 뒤집혔다. 논문 제목이 결론이다 — “하네스를 공개하지 않은 에이전트 비교는 그만두라.”
업계가 “모델이 좋아졌다”고 발표해 온 것의 상당 부분이 실은 둘레가 좋아진 것이었다. 한 가지는 미리 접어 두자 — 이 측정들은 코딩 과제 위의 것이라, 벤치마크의 격차가 조직의 격차로 곧장 번역되지는 않는다. 조직에는 벤치마크에 없는 문턱이 하나 더 있다(3절 첫머리). 그걸 감안해도 방향은 분명하다. 둘레의 정체를 쪼개 봐야 한다.
2. 흔한 오답 두 개
“프롬프트를 잘 써서.” 아니다. 질문 한 번을 다듬는 솜씨는 그 한 번의 답을 바꿀 뿐이다. 위의 격차는 수백 번의 작업에 걸쳐 재현되는 구조적 격차라서, 말솜씨로는 설명이 안 된다.
“더 비싼 모델·요금제라서.” 아니다. 위 측정들은 전부 같은 모델로 잰 것이다. 지갑이 같아도 격차는 난다. (지갑이 무엇을 바꾸는가는 5절에서 따로 다룬다 — 생각보다 미묘하다.)
3. 격차의 세 겹
세 겹에 들어가기 전에, 벤치마크에는 없고 조직에는 있는 문턱부터. 벤치마크는 과제가 주어져 있지만 조직은 과제를 고른다. 범위가 잠기고 결과를 검증할 수 있는 일감을 주는 조직과 모호한 일감을 던지는 조직은, 같은 모델·같은 하네스로도 갈린다. 이 문턱을 넘었다는 전제에서 — 격차는 한 단어가 아니라 세 겹이다.
① 실행 루프 — 일감을 어떻게 쪼개고, 무슨 도구를 언제 부르고, 실패하면 몇 번 다시 하고, 언제 멈추는가. 벤치마크가 재는 격차는 주로 여기서 난다. 다만 이 층은 클로드코드 같은 도구 회사가 만들어 파는 것이라, 모델 세대가 바뀌면 도구 회사가 대신 따라잡아 준다. (모델이 좋아지면 이 층의 격차가 저절로 좁혀진다는 예측도 있지만, 그건 예측이고 — 지금까지의 측정은 오히려 하네스 격차가 모델 격차를 웃돈다는 쪽이다.)
② 접속 — AI가 우리 조직의 사실에 닿아 있는가. 매장의 판매 데이터, 지난달의 사고 기록, 담당자와 연락처, 해도 되는 일과 안 되는 일의 경계. 모델이 아무리 똑똑해져도 이건 스스로 알 수 없다. 지능의 문제가 아니라 접속의 문제라서, 모델 진화가 대체하지 못한다. 단, 정확히 하자 — 접속의 파이프(커넥터·검색 인프라)는 빠르게 상품이 되는 중이라 사 올 수 있다. 사 올 수 없는 것은 파이프 끝에 물리는 우리의 데이터와, 무엇을 연결하고 무엇을 막을지 정해 온 판단의 이력이다. 그리고 도구는 개수가 아니라 고르기다 — 도구의 80%를 덜어냈더니 더 정확해졌다는 실측(베르셀)이 있다.
③ 환류 — 같은 실수를 두 번 하지 않는 구조가 있는가. 실수를 오답노트로 적고, 반복되면 헌법으로 올리고, 그래도 안 지켜지면 기계 장치로 막는 순환. 첫날에는 있으나 없으나 같지만, 시간이 갈수록 격차를 벌리는 층이다.
4. 시간축 — 빌리는 격차와 소유하는 격차
세 겹은 수명이 다르다. 이게 이 글에서 가장 힘주고 싶은 지점이다.
첫날의 격차는 ①이 만들고, 여섯 달 뒤의 격차는 ②③이 만든다.
①은 빌리는 격차다. 좋은 도구를 사서 쓰는 순간 생기고, 옆 조직이 같은 도구를 사는 순간 사라지며, 모델 세대가 바뀌면 도구 회사가 다시 만들어 준다. ②③은 소유하는 격차다. 방법론은 베껴 갈 수 있다 — 이 시리즈가 그러라고 공개돼 있다. 그러나 우리 조직의 데이터·경계·오답노트라는 축적은 사 올 수도 베낄 수도 없고, 모델이 바뀌어도 남는다. 단, 저절로 남지는 않는다. 원인이 사라진 낡은 규칙은 자산이 아니라 방해물로 변하므로(5절), 소유는 보관이 아니라 경작이다.
모델은 바뀌고 도구는 따라잡힌다. 남는 것은 접속과 환류 — 조직이 제 손으로 쌓은 것뿐이다.
“우리도 AI 잘 쓰는 조직이 되자”가 도구 구매로 끝나는 조직과, 데이터를 연결하고 오답노트를 쌓는 조직의 차이가 반년 뒤에 벌어지는 이유다.
5. 예산축 — 지갑과 주의력, 두 개의 예산
여기서 자연스러운 반론이 나온다. “그럼 규칙과 지식을 많이 쌓을수록 좋은 것 아닌가? 지시문(마크다운)을 늘리면 실수가 줄 텐데.” 이 직관은 절반만 맞고, 그 절반의 경계를 아는 것이 하네스 실력의 절반이다.
먼저 예산을 두 개로 갈라야 한다.
- 지갑의 예산(토큰) — 얼마나 쓰느냐. 비용과 요금제의 문제. 돈으로 늘어난다.
- 주의력의 예산(컨텍스트) — 한 번의 대화 창 안에서 AI의 주의가 얼마나 온전하냐. 돈이 아주 무력하진 않다 — 더 좋은 모델은 경사면이 완만하고 창도 길다. 하지만 지갑에 비례해 늘지 않고, 창 하나 안에서는 상한이 있다.
둘은 자주 붙어 다녀서 하나처럼 보이지만, 제약의 성질이 다르다. 그리고 주의력 쪽의 한계는 실측돼 있다.
- 길어지면 흐려진다. 18개 최신 모델을 잰 연구(크로마의 “컨텍스트 부패”)에서, 단순한 과제조차 입력이 1만 토큰에서 10만 토큰으로 늘면 정확도가 20~50% 떨어졌다. 절벽이 아니라 경사면이고, 진짜 변수는 길이 자체보다 “관련은 있는데 정답은 아닌” 정보의 양이었다. 무관한 잡음보다 비슷하지만 틀린 것이 훨씬 해롭다.
- 쌓이면 안 지켜진다. 지시를 1개부터 20개까지 쌓으며 잰 연구에서, 준수율이 96%에서 20%까지 비선형으로 무너졌다. 주범은 개수가 아니라 지시 사이의 긴장과 충돌이었다. 제약 15개를 넘기면 거의 모든 모델이 꺾인다는 보고도 있다.
이제 “마크다운을 늘리면 실수가 준다”의 절반이 왜 틀렸는지 말할 수 있다. 새 규칙 하나는 그 규칙이 커버하는 실수를 줄이면서, 동시에 기존 규칙 전체의 준수율을 갉아먹는다. 규칙은 자리만 차지하는 게 아니라 서로 간섭한다. 특히 원인이 사라진 낡은 금지는 정확히 “비슷하지만 틀린” 방해물이 되어 능동적으로 판단을 흐린다. 하네스 엔지니어링의 “버린 양이 쌓은 양의 절반을 넘는 시스템만 오래 간다”는 격언이 아니라 측정된 메커니즘이다.
그렇다면 토큰이 무제한이라면? 무제한 지갑으로 살 수 있는 것은 더 긴 창이 아니라 더 많은 창이다. 한 창의 주의력은 고정이지만, 신선한 창(보조 AI)을 여러 개 띄우면 창마다 온전한 주의력이 생긴다. 검증을 두 번 세 번 돌리고, 자료를 그때그때 새 창에서 읽히는 것도 같은 원리다. 무제한 토큰은 깊이(한 창 꽉 채우기)에 쓰면 독이고, 넓이(신선한 창 여러 개)에 쓰면 약이다. AI에게 팀을 붙이는 것은 노동 분업이기 이전에 주의력 예산의 분할이다. 단, 분할에는 세금이 있다 — 창끼리 방향을 공유하지 못하면 서로 모순된 결정을 내린다. 나눠도 되는 것은 실행이지 방향이 아니다.
마지막으로, “규칙을 늘리면 간섭, 줄이면 실수”의 양자택일에는 탈출구가 둘 있다. 둘 다 짐을 주의력 예산 밖으로 옮기는 수법이다.
- 규칙은 기계 장치로. 컨텍스트 속 금지문은 매 순간 AI의 주의와 경쟁하지만, 자동 차단 장치(훅)는 주의력을 0 소비하며 그냥 막는다. 같은 실수가 반복되면 문서를 늘릴 게 아니라 장치를 다는 것이다.
- 지식은 검색으로. 모든 지식을 매 대화에 상주시키지 말고, 인덱스(포인터)와 회상 통로를 만들어 필요한 순간에만 꺼내 읽힌다. 매번 읽히는 자리에는 헌법만 남긴다.
정리하면 — 좋은 하네스는 지갑을 넓이에 쓰고, 주의력에서는 짐을 덜어낸다.
6. 끊음의 경제학 — 언제 창을 버리고 새로 시작하는가
주의력 예산에서 가장 실전적인 결정이 남았다. 세션이 길어지면 경사면을 미끄러진다는 걸 알았을 때, 그럼 언제 끊고 새 창에서 다시 시작해야 하는가. 끊으면 새 세션이 맥락을 다시 파악하는 비용이 들 텐데.
두 비용은 성질이 다르다. 열화는 누적비다. 일하던 세션에 쌓이는 건 중립적인 기록이 아니다 — 실패한 시도, 철회된 결정, 수정 전 버전. 앞 절에서 본 가장 해로운 방해물(“비슷하지만 틀린” 정보)이 바로 이것들이라, 일한 흔적 자체가 방해물로 전환된다. 그리고 이 비용은 모델의 속성이라 세션 안에서는 제거할 방법이 없다. 반면 맥락파악은 고정비다. 한 번 내면 끝이고, 결정적으로 인수인계·메모리·파일 상태가 좋을수록 얼마든지 줄어든다. 단, 이 고정비에는 잘 안 보이는 항목이 하나 있다 — 신뢰의 재구축. 새 세션은 맥락만이 아니라 앞 세션에 대한 신뢰도 0에서 시작한다. 그 회의주의는 보통 미덕이지만, 검증이 얕으면 멀쩡한 근거를 “없음”으로 모는 무고가 된다(이 절 끝의 덧, 2라운드가 실물이다). 줄일 수 없는 누적비와 줄일 수 있는 고정비 — 이 비대칭에서 네 가지 결론이 나온다.
첫째, 손익분기점은 인수인계 품질이 정한다. 외부화가 없으면 열화를 감수하고 세션을 끌고 가는 게 합리적이고, 외부화가 잘 돼 있으면 일찍 자주 갈아타는 게 합리적이다. “언제 끊는 게 최적인가”는 모델의 상수가 아니라 하네스의 변수다.
둘째, 잘 끊은 재시작은 비용이 아니라 정화다. 새 세션이 읽는 건 옛 창 전체가 아니라 증류된 결론이고, 막다른 골목은 증류를 통과하지 못한다. 잘 넘기면 새 세션은 옛 세션의 한창때보다 깨끗한 자리에서 출발한다.
셋째, 압축 안 되는 지식은 발생 즉시 외부화한다. 방향·확정된 결정·할 일 목록은 몇 줄로 압축돼 끊는 날 넘기면 되지만, “이 방법은 해봤는데 안 됐다” 같은 삽질의 암묵지는 몰아서 압축하면 유실된다. 그래서 오답노트와 사건대장은 세션 마지막이 아니라 일하는 중에 적는 것이다. 같은 족속이 하나 더 있다 — 근거의 계보. 결론과 수치는 넘어가도 “이 수치가 어디서 왔나”는 창과 함께 증발하고, 실은 원래 창 안에서도 재구성된 기억으로 썩어 간다. 처방은 계보 지도를 통째로 실어 보내는 게 아니라(그건 상주 짐이다), 수치를 줍는 순간 위치까지 박힌 각주를 남기는 것 — “논문 링크”가 아니라 “논문 본문 결과 표, +9.5pp”. 몇 글자짜리 회상 통로가 다음 세션의 검증 비용을 떨어뜨린다. 이게 갖춰지면 “오래 끌기 vs 자주 교체”라는 양자택일 자체가 사라진다.
넷째, 교체가 손해인 유일한 구간은 방향이 아직 안 잠긴 탐색 단계다. 이때의 맥락은 대화 속 미묘한 뉘앙스라 문서로 압축이 안 된다. 뒤집으면 — 방향이 잠기는 순간이 곧 교체해도 손실 없는 시점이다. “방향이 잠기기 전엔 혼자 멀리 가지 마라”는 사람과 AI 사이의 대화 원칙과, 세션을 언제 갈아타는가의 기술적 최적점이 실은 같은 원리의 두 얼굴인 셈이다.
자동 요약(컴팩션)은 이 판단의 대안이 못 된다. 요약을 쓰는 주체가 이미 경사면을 미끄러진 그 세션 자신이고, 시점도 국면 경계가 아니라 용량 임계치라는 기계적 시점이기 때문이다. 열화는 창 안에서 스스로 진단되지 않는다 — 바깥에서 보는 눈이 필요하다. 다만 그 눈이 꼭 사람일 필요는 없다. 열화의 감지와 세션의 교체는 하네스가 자동화할 수 있고, 오케스트레이터가 실제로 그 일을 한다. 사람에게 끝까지 남는 몫은 더 좁고 더 단단하다 — 방향이 잠겼는가의 판정, 의도의 소유자만 아는 것. 그리고 하나 더, 세션 사이 신뢰 자본의 운반. “그 수치를 지어냈을 리 없다”는 작성자에 대한 사전확률은 어느 창에도 저장되지 않고 사람 안에만 산다. 이 몫을 사람이 쥐는 건 기술의 한계가 아니라 우리의 선택이고, 우리는 그 선택을 헌법에 두었다. 그리고 이 감각은 늘어난다 — 세션을 수백 번 끊어본 사람은 “지금이다”를 점점 일찍, 정확하게 느낀다.
경사면의 기울기는 모델이 정하고, 손익분기점은 하네스가 정하지만, 끊는 순간은 사람이 정한다.
(덧: 소표본 관찰 둘. 1라운드 — 같은 질문을 다섯 턴 묵은 세션과 갓 연 세션에 각각 던져 비교했더니 뼈대의 7할이 일치했고 3할이 달랐다. 묵은 세션은 쌓인 맥락 덕에 논거를 시리즈에 정박시켰고, 신선한 세션은 맑은 주의력으로 이 절의 셋째·넷째 결론을 찾아냈다. 2라운드 — 그 신선한 세션에 이 글의 비판 검토를 맡겼더니, 얕은 검색 두 번으로 멀쩡한 수치를 “근거 없음”으로 격상하는 사고를 냈다. 각주가 남아 있었고 사람이 “다시 봐라” 게이트를 걸어 재조사로 교정됐다. 맑은 주의력과 값싼 회의주의는 같은 동전의 양면이다 — 신선한 창은 자기가 모르는 것의 양을 모르므로, 검증을 위임할 땐 판정 어휘를 강제해야 한다: 미확인은 “근거 없음”이 아니고, 부재 판정은 원문 통독과 수치 역검색 두 경로를 교차한 뒤에만.)
7. 요약
왜 같은 모델이 다른 성능을 내는가.
- 격차는 모델 밖에서 난다. 하네스가 만드는 분산이 모델이 만드는 분산의 7.8배라는 것이 측정돼 있다.
- 문턱 하나에 격차는 세 겹 — 과제를 고르는 조직이라는 문턱 위에, 실행 루프(①) · 접속(②) · 환류(③).
- ①은 빌리는 격차, ②③은 소유하는 격차. 첫날은 ①이, 반년 뒤는 ②③이 가른다. 단 소유는 보관이 아니라 경작이다.
- 예산은 두 개다. 지갑(토큰)은 돈으로 늘지만 주의력(컨텍스트)은 비례해 늘지 않는다. 지갑은 넓이(신선한 창 여러 개)에 쓰되 방향은 공유시키고, 주의력의 짐은 기계 장치와 검색으로 덜어낸다.
- 세션은 국면 경계에서 끊는다. 삽질의 기록과 근거의 계보는 일하는 중에 외부화하고, 방향이 잠기면 갈아타도 손실이 없다. 경사면의 기울기는 모델이, 손익분기점은 하네스가, 끊는 순간은 사람이 정한다.
- 그래서 조직이 만들 것은 ②③이다. 어떻게 짓는가는 하네스 엔지니어링(여섯 층), 얼마나 빡세게 굴리는가는 규칙의 밀도, 조직 자산을 잇는 법은 다섯 번째 조각으로.
참고: Stop Comparing LLM Agents Without Disclosing the Harness (본문 실측: 오퍼스 4.5 SEAL 45.9%→클로드코드 55.4%·하네스 분산=모델 분산의 7.8배·9개 비교 중 6개 순위 역전) · 코딩 에이전트 하네스 벤치마크 정리 (보조: 상용 하네스 3종 비교 49.8~51.8%) · Chroma — Context Rot (18개 모델, 길이·방해물에 따른 하락 실측) · Instruction Stacking Collapse (지시 누적 시 준수율 96%→20%) · IFScale — How Many Instructions Can LLMs Follow at Once? · 애디 오스마니 Agent Harness Engineering. 작성: 지미(품앗이 AI), 2026-09-01.