클로드 문체 검토
0. 이 노드는 결론이 아닙니다
읽기 어려운 AI 문장을 재는 자를 만들고 하루 동안 돌려 본 기록입니다. 쓸 만한 것이 몇 개 나왔지만, 그대로 규칙으로 박아 모든 글에 걸면 안 됩니다. 실제로 이 자의 한 축이 좋은 문장을 깎아 내는 것을 같은 날 확인했습니다. 5절이 그 이야기입니다.
계속 깎아야 하는 주제로 두고, 표본이 늘 때마다 임계값을 다시 잡습니다.
1. 발단
AI가 쓴 한국어 문서와, 같은 문서를 다른 AI가 고친 판을 나란히 놓고 볼 기회가 있었습니다. 뒤쪽이 읽기 쉬웠습니다. 그 느낌을 숫자로 바꾸는 데서 시작했습니다.
느낌만으로는 고칠 수 없습니다. 「문장이 길다」 같은 진단은 거의 틀립니다. 뒤에서 보듯 읽기 쉬워진 판이 오히려 더 길었습니다.
2. 자
측정 도구는 prose_check.py 한 개입니다. 두 단으로 돌아갑니다.
1단은 문장 표면을 셉니다. 일곱 축입니다.
| 축 | 기준 | 왜 보는가 |
|---|---|---|
| 본문 괄호 주석 | 1,000자당 0.5 이하 | 조건을 괄호에 넣으면 읽는 호흡이 끊긴다 |
| 줄표 | 0 | 한 문장에 판단을 둘 붙이는 자리다 |
| 이모지 | 0 | 대외 문서에서 톤을 흐린다 |
| 볼드 중 문장 중간 조각 | 10% 이하 | 낱말에 형광펜을 치면 훑어도 구조가 안 보인다 |
| 20자 이하 짧은 문장 | 5% 이하 | 수사적 마무리가 영어 리듬이다 |
| 비유가 설명 자리를 차지한 말 | 0 | 5절 참고. 이 축은 그대로 쓰면 안 된다 |
| 귀속표지 밀도 | 1,000자당 2.0 이상 | 주장한 사람과 근거를 밝히는 말 |
출처 목록의 서지 괄호는 본문 괄호와 갈라 셉니다. 각주가 여럿 달린 문서는 서지 괄호만으로 상한을 넘어 손댈 수 없습니다.
2단은 교정 전후의 내용을 대조합니다. 원문에만 있는 수치와 고유명사를 누락으로 잡고, 미확인 표기가 줄면 단정이 세졌는지 의심하고, 교정본에만 있는 수치를 새 사실 투입으로 띄웁니다. 문체를 고치다 내용이 바뀌는 것을 사람 눈으로 잡기는 어렵습니다.
3. 실측 다섯
3-1. 같은 문서 세 판
A4 여덟 쪽짜리 한 문서를, 원래 AI가 쓴 판과 다른 AI가 교정한 판과 그 교정본을 자로 한 번 더 돌린 판으로 비교했습니다.
| 원판 | 교정본 | 재교정판 | |
|---|---|---|---|
| 글자 수 | 13,254 | 14,637 | 14,802 |
| 평균 문장 | 58자 | 62자 | 53자 |
| 줄표 | 43 | 0 | 0 |
| 본문 괄호 | 61 | 18 | 0 |
| 20자 이하 문장 | 12% | 4% | 5% |
| 물음표 | 0 | 9 | 9 |
| 귀속표지(1,000자당) | 1.1 | 8.8 | 8.3 |
읽기 쉬워진 판이 더 깁니다. 문제는 길이가 아닙니다. 셋입니다.
첫째, 줄표가 구조를 대신합니다. 43개가 두 용법뿐이었습니다. 「사실입니다 — 그래서 내 해석」으로 한 문장에 판단 둘을 접합하거나, 「항목 — 설명」으로 라벨과 설명을 가릅니다. 둘 다 읽는 사람이 자료와 추론을 가를 수 없게 만듭니다.
둘째, 귀속표지가 여덟 배 차이 납니다. 「○○측은」, 「원문은」, 「이 연구에 따르면」 같은 말입니다. 주어를 박으면 단정의 강도가 저절로 원자료 수준에 맞춰집니다.
셋째, 비유가 설명 자리를 차지합니다. 실측 열한 곳이 나왔습니다.
3-2. 일곱 달 시계열
같은 AI가 일곱 달 동안 쓴 업무 문서 222건을 월별로 쟀습니다.
| 4월 | 5월 | 6월 | 7월 | 8월 | 9월 | 10월 | |
|---|---|---|---|---|---|---|---|
| 줄표(1,000자당) | 2.5 | 1.8 | 2.4 | 2.1 | 2.6 | 1.9 | 2.6 |
| 볼드 중 조각 | 46% | 45% | 51% | 48% | 54% | 43% | 42% |
평평합니다. 함께 일하면서 자라난 버릇이 아니라 첫 달부터 지금 수치입니다.
7월에 「전혀 한국어스럽지 않다」는 지적을 받고 교정 원칙을 문서로 적어 두었는데, 7월 2.1에서 8월 2.6, 10월 2.6으로 움직이지 않았습니다. 지적을 글로 적어 두는 것만으로는 출력이 바뀌지 않습니다.
3-3. 기억을 지운 쪽과 실은 쪽
프로젝트 기억과 과거 기록을 전혀 읽지 않는 깨끗한 세션과, 전부 실린 세션에 같은 질문 세 개씩을 던졌습니다.
| 줄표 | 볼드 중 조각 | 괄호(1,000자당) | 귀속표지 | |
|---|---|---|---|---|
| 깨끗한 쪽 1 | 0 | 75% | 3.3 | 0 |
| 깨끗한 쪽 2 | 0 | 86% | 4.1 | 0 |
| 깨끗한 쪽 3 | 11 | 100% | 7.4 | 0 |
| 기억 실린 쪽 1 | 0 | 0% | 4.4 | 0 |
| 기억 실린 쪽 2 | 0 | 100% | 1.5 | 0 |
| 기억 실린 쪽 3 | 0 | 100% | 7.0 | 0 |
환경 차이는 보이지 않습니다. 묶어서 보면 갈려 보이지만 줄표 11개가 전부 한 편에서 나왔습니다. 여섯 편 중 다섯 편이 0입니다.
대신 여섯 편 전부에서 같은 결함이 나옵니다. 볼드 중 조각 75%에서 100%, 괄호 1.5에서 7.4, 귀속표지 0입니다. 문체 지시가 없으면 어느 환경이든 이렇게 씁니다.
줄표에 대해 하나 덧붙이면, 이것은 평균이 아니라 터지는 성질입니다. 짧은 답 여섯 편에서는 거의 안 나오다가 여덟 쪽 문서에서 43개가 나왔습니다. 압축할 정보가 많아질수록 줄표로 판단을 접합합니다. 긴 글일수록 터집니다.
3-4. 매 세션 읽는 문서
AI가 작업 전에 읽는 지시문과 인수인계 기록을 같은 자로 쟀습니다.
| 줄표(1,000자당) | 볼드 중 조각 | |
|---|---|---|
| 지시문 | 6.6 | 48% |
| 기억 색인 | 4.4 | 69% |
| 인수인계 기록 | 4.2 | 67% |
출력보다 입력이 더 진합니다. 다만 3-3에서 보듯 이것이 출력을 끌어올린다는 증거는 얻지 못했습니다. 되먹임 가설은 세웠다가 측정으로 뒷받침하지 못했습니다.
3-5. 사람의 말과 AI의 글
인수인계 기록에서 사람의 말을 그대로 옮긴 부분과 AI가 쓴 본문을 갈라 쟀습니다.
| 줄표(1,000자당) | |
|---|---|
| 사람의 말을 옮긴 부분 | 0.8 |
| AI가 쓴 본문 | 4.0 |
다섯 배입니다. 한국어 모어 화자의 말투가 아닙니다.
4. 원인은 모델이 아닙니다
「미국 회사 모델이라서 한국어가 어색하다」는 설명이 먼저 떠오르지만, 같은 미국 모델인 ChatGPT가 자연스럽게 쓰는 것을 보면 그것으로는 설명이 안 됩니다.
갈린 지점은 그 순간 문체 지시와 독자가 정해져 있었느냐입니다.
- 지시 없음: 3-3의 여섯 편 전부 같은 결함
- 「읽기 쉬운 문체로, 독자는 비전문가」라는 명시 지시: 3-1의 교정본
- 자를 들고 다시 쓴 경우: 3-1의 재교정판, 일곱 축 전부 통과
같은 모델, 같은 AI입니다. 자연스러운 쪽이 지시받은 쪽이었습니다.
5. 깎으면 안 되는 것
이 자의 비유 축이 좋은 문장을 깎아 냈습니다. 걸린 다섯 곳을 꺼내 보니 두 무더기로 갈립니다.
깎아야 할 것은 비유가 설명을 대신한 자리입니다. 비교표의 한 칸에 법률 용어 대신 「그릇」을 넣거나, 「반대 방향의 중력을 갖는다」처럼 무엇과 무엇이 충돌하는지 적지 않고 비유로 넘어간 경우입니다. 날이 아니라 생략입니다.
깎으면 안 되는 것은 사실을 평문으로 먼저 놓고 그 위에 판정을 한 문장으로 찍은 자리입니다. 지원액과 연도를 적고 나서 「우리에게 가장 날카로운 선례입니다」로 닫는 것. 수치를 적고 나서 「이 논거의 그림자가 여기 있습니다」로 접는 것. 비유가 설명을 밀어낸 것이 아니라 설명 위에 올라탄 것입니다.
기계는 이 둘을 못 가릅니다. 그래서 비유 축은 막는 칸이 아니라 보여주는 칸으로 두어야 합니다. 자리를 찍어서 보여주고 통과시키고, 판단은 사람이 합니다.
한 가지 더. 날카로운 표현과 읽기 어려움은 같은 뿌리가 아닙니다. 읽기 어렵게 만든 것은 줄표와 괄호와 귀속표지 0이고, 이것은 날과 상관이 없습니다. 오히려 날을 가립니다. 판정 문장을 줄표로 사실에 붙여 놓으면 둘이 한 호흡에 뭉개집니다. 줄표를 끊고 사실을 먼저 놓으면 판정이 더 세게 들어갑니다. 배관을 고치는 것과 날을 가는 것은 다른 일입니다.
6. 적용 범위
대외 문서에만 적용합니다.
함께 일하는 사람과 주고받는 말, 인수인계 기록, 내부 메모는 대상이 아닙니다. 줄표와 볼드 조각은 그런 자리에서 압축 표기로 기능합니다. 한 줄에 사건과 판정을 같이 실어야 하는 자리가 있습니다.
AI마다 생기는 고유한 말버릇도 사전에 넣지 않습니다. 함께 일하는 사람이 그 말을 알아듣고 좋아한다면 그것은 결함이 아닙니다. 공식 문서에서만 평문으로 바꿉니다.
7. 보류한 것
턴이 끝날 때 대외 문서를 검사해 초과면 막는 훅을 검토했다가 보류했습니다.
막는 게이트는 5절의 위험을 그대로 안습니다. 기계가 못 가르는 것을 기계가 막으면 좋은 문장이 먼저 죽습니다. 대안은 막지 않고 숫자만 찍는 형태입니다. 수치가 화면에 뜨고 그대로 통과하며, 고칠지는 그 자리에서 사람이나 AI가 판단합니다.
메모리에 적힌 규칙은 찾아야 보이지만 숫자는 안 찾아도 들어옵니다. 3-2가 보여주듯 찾아야 보이는 규칙은 일곱 달 동안 한 번도 작동하지 않았습니다.
8. 이 노드를 그 자에 넣어 봤습니다
쓰고 나서 같은 자로 돌렸습니다. 일곱 축 중 넷이 걸렸습니다. 그런데 걸린 것을 하나씩 보면 성격이 다릅니다.
| 걸린 축 | 수치 | 실제 내용 |
|---|---|---|
| 줄표 | 2 | 둘 다 5절에서 나쁜 예로 인용한 문장이다 |
| 비유 | 5 | 다섯 다 5절에서 표본으로 든 낱말이다 |
| 20자 이하 문장 | 20% | 「평평합니다」, 「다섯 배입니다」 같은 짧은 단언. 이 글에서는 고친 결과지 결함이 아니다 |
| 볼드 중 조각 | 11% | 19개 중 2개. 상한 10%를 간신히 넘겼다 |
넷 중 둘이 오탐이고, 하나는 임계값이 장르에 안 맞습니다. 비유 축은 자기를 설명하는 문장까지 잡았습니다. 왜 이 축을 막는 칸으로 쓰면 안 되는지 보여주려고 든 예시를, 바로 그 축이 결함으로 센 것입니다.
짧은 문장 상한 5%는 문서 검토 보고서 한 건에서 잡은 값입니다. 측정 기록을 적은 이 글에서는 짧은 단언이 오히려 읽기를 돕습니다. 귀속표지 하한도 같습니다. 남의 주장을 전하는 글에는 필요하지만, 내가 잰 것을 적는 글에는 댈 주어가 나 하나입니다.
임계값은 문서의 장르에 딸린 값입니다. 하나의 자로 모든 글을 재면 틀립니다. 이것이 이 주제를 규칙으로 못박지 말아야 할 세 번째 이유입니다.
진짜로 고친 것은 둘이었습니다. 제목에 쓴 줄표를 가운뎃점으로 바꾸고, 문장 중간에 친 볼드를 완결 문장으로 옮겼습니다. 그 둘은 자가 맞았습니다.
9. 계속 깎을 목록
- 임계값의 근거가 얇습니다. 귀속표지 하한 2.0은 표본 둘에서 역산한 값입니다. 표본이 늘면 다시 잡아야 합니다.
- 비유 두 무더기를 기계가 가를 수 있는가. 비유어가 든 문장의 앞이나 같은 문장에 그 사실의 평문 서술이 있는지로 근사할 수 있을지 시험해 볼 만합니다.
- 짧은 답에서는 지켜지고 긴 문서에서 무너지는 이유. 세션이 길어진 뒤에 문서를 쓰기 때문인지, 압축할 정보량 자체 때문인지 아직 가르지 못했습니다.
- ChatGPT 표본이 한 건뿐입니다. 교정 과제 하나로 모델 간 비교를 하면 안 됩니다.
- 볼드 조각은 모든 환경에서 실패했습니다. 7개월 시계열에서도 42%에서 54% 사이로 평평합니다. 줄표보다 뿌리가 깊을 수 있습니다.
- 임계값을 장르별로 갈라야 합니다. 8절에서 드러났습니다. 지금 값은 문서 검토 보고서 한 건에서 잡혔고, 측정 기록이나 안내문에는 맞지 않습니다.
- 인용문을 본문과 갈라야 합니다. 나쁜 예로 든 문장을 자가 결함으로 셉니다. 인용 블록을 빼고 세는 것이 맞는지, 아니면 그대로 두고 사람이 거르는 것이 맞는지 아직 모릅니다.
측정 도구는 _shared_ai/skills/assets/prose_check.py 입니다. 쓰는 법은 두 줄입니다.
python3 prose_check.py <파일> 1단
python3 prose_check.py <교정본> --against <원문> 2단