문체 점검기 만들기

이 노드는 클로드-문체-검토의 짝입니다. 그쪽은 점검기를 돌려서 무엇을 쟀는지 적은 기록이고, 여기는 점검기를 왜 만들었고 어떻게 돌아가며 다른 조직이 어떻게 자기 것을 만들 수 있는지 적습니다.

1. 만든 이유

지적을 적어 두는 것으로는 글이 바뀌지 않았습니다

2026년 7월에 AI가 쓴 한국어가 「전혀 한국어스럽지 않다」는 지적을 받았습니다. 줄표를 쓰지 말 것, 괄호 주석을 줄일 것, 번역투를 피할 것 같은 원칙을 AI가 매번 읽는 기억 문서에 적어 두었습니다.

석 달 뒤 같은 AI가 쓴 문서 222건을 월별로 쟀더니 줄표 밀도가 7월 1,000자당 2.1에서 10월 2.6으로 그대로였습니다. 적어 둔 규칙은 쓰는 순간에 떠오르지 않았습니다. 찾아야 보이는 규칙은 작동하지 않는다는 것을 숫자로 확인한 셈입니다.

「읽기 어렵다」는 느낌으로는 고칠 곳을 찾을 수 없었습니다

같은 문서를 AI가 쓴 판과 다른 사람이 다른 AI로 고친 판을 나란히 놓고 보니 뒤쪽이 훨씬 읽기 쉬웠습니다. 처음 진단은 「문장이 길다」였는데 틀렸습니다. 읽기 쉬운 판이 오히려 1,400자 더 길었습니다.

느낌은 어디를 고쳐야 하는지 알려 주지 않습니다. 두 판을 같은 기준으로 세어 보고 나서야 격차가 줄표, 본문 괄호, 볼드가 붙는 자리, 주장한 사람을 밝히는 말에서 난다는 것이 드러났습니다. 그 세는 방법을 스크립트 하나로 굳힌 것이 점검기입니다.

문체를 고치다 내용이 바뀌는 것을 잡아야 했습니다

AI에게 문체를 고치라고 하면 수치 하나가 빠지거나, 「확인되지 않았다」가 사라져 단정이 세지거나, 원문에 없던 숫자가 들어옵니다. 여덟 쪽짜리 문서에서 이것을 사람 눈으로 대조하기는 어렵습니다. 그래서 교정 전후를 기계로 대조하는 단계를 같이 넣었습니다.

2. 돌아가는 방식

점검기는 외부 라이브러리를 쓰지 않는 파이썬 파일 하나이고, 문장 겉모양을 세는 1단과 교정 전후 내용을 대조하는 2단으로 나뉩니다.

python3 prose_check.py 문서.md                     1단만
python3 prose_check.py 교정본.md --against 원문.md  1단과 2단

결과는 종료 코드로 냅니다. 통과는 0, 기준을 넘은 항목이 있으면 1, 쓰는 법이 틀리면 2입니다. 다른 스크립트나 훅이 결과를 읽기 쉽게 하려는 것입니다.

1단은 문장의 겉모양을 셉니다

축세는 방법기준
본문 괄호 주석세 글자 이상 든 괄호 개수를 1,000자당으로0.5 이하
줄표— 글자 개수0
이모지이모지 유니코드 범위0
볼드 중 조각볼드를 라벨, 완결 문장, 조각으로 가른 뒤 조각의 비율10% 이하
짧은 문장20자 이하 문장의 비율5% 이하
비유미리 적은 낱말 목록과 맞춰 봄0
귀속표지「에 따르면」, 「원문은」, 「봅니다」 같은 말의 1,000자당 횟수2.0 이상

볼드를 가르는 규칙은 단순합니다. 여덟 글자 이하면 라벨로 봅니다. 「다.」, 「니다.」, 「까?」로 끝나면 완결 문장으로 봅니다. 나머지가 문장 중간에 형광펜을 친 조각입니다. 볼드 개수는 읽기 쉬운 판과 어려운 판이 거의 같았고, 갈린 것은 붙는 자리였습니다. 그래서 개수 대신 비율을 봅니다.

출처, 참고문헌, 각주로 시작하는 줄 아래는 본문과 갈라 셉니다. 서지 정보의 괄호까지 본문 괄호로 세면 각주가 많은 문서는 고칠 방법이 없기 때문입니다.

물음표가 하나도 없으면 따로 알려 줍니다. 확인할 일을 「확인해야 합니다」라는 서술문으로 눌러 버렸는지 보라는 뜻입니다.

2단은 교정 전후의 내용을 대조합니다

원문과 교정본에서 각각 두 가지 집합을 뽑습니다.

  1. 단위가 붙은 수치와 세 자리 이상의 숫자를 모읍니다. 「3억」, 「12곳」, 「2026」 같은 것입니다. 단위 없는 한두 자리 숫자는 각주 번호나 목록 번호라서 뺍니다.
  2. 영문 대문자로 시작하는 낱말을 고유명사로 모읍니다.

그리고 원문에만 있는 것을 누락으로, 교정본에만 있는 것을 새로 들어온 사실로 띄웁니다. 「미확인」, 「확인되지 않」 같은 표기가 원문보다 줄면 단정이 세졌다고 의심합니다.

비교하기 전에 단위를 맞추는데, 같은 조직 다섯 곳을 원문은 「5개」로, 교정본은 「5곳」으로 쓴 것을 누락으로 잡은 일이 있었기 때문입니다. 「억원」과 「억」, 「개소」와 「곳」도 같은 값으로 봅니다.

3. 직접 만드는 법

우리 점검기의 기준값을 그대로 가져가는 것은 권하지 않습니다. 기준값은 우리 표본 두 건에서 나왔고, 조직마다 독자와 문서 종류가 다릅니다. 가져가실 것은 만드는 순서입니다.

3-1. 같은 내용의 두 판을 구합니다

내용은 같고 읽기 편한 정도만 다른 두 판이 가장 좋습니다. AI가 쓴 판과 사람이 고친 판, 또는 지시 없이 쓴 판과 「독자는 비전문가」라고 지시해서 쓴 판이면 됩니다. 내용이 다른 두 문서를 비교하면 문체 차이와 내용 차이가 섞입니다.

3-2. 셀 수 있는 후보를 넓게 뽑아 두 판을 같이 셉니다

처음에는 무엇이 차이를 만드는지 모릅니다. 글자 수, 문장 수, 평균 문장 길이, 괄호, 줄표, 볼드, 물음표, 짧은 문장 비율처럼 정규식으로 셀 수 있는 것을 넓게 뽑아 두 판을 같은 스크립트로 셉니다.

우리 경우에 격차가 큰 것은 줄표 43 대 0, 본문 괄호 61 대 18, 귀속표지 1,000자당 1.1 대 8.8이었습니다. 처음 의심한 문장 길이는 오히려 읽기 쉬운 쪽이 길었습니다. 짐작한 축이 아니라 격차가 큰 축만 남겨야 합니다.

3-3. 기준값은 좋은 판의 수치에서 잡고 출처를 같이 적습니다

남긴 축마다 읽기 쉬운 판의 수치를 기준으로 삼습니다. 그리고 그 값이 어느 표본에서 왔는지 코드 주석에 같이 적습니다. 표본이 하나둘뿐이면 기준값은 「아직 틀린 것이 드러나지 않은 값」일 뿐입니다. 출처가 적혀 있어야 표본이 늘었을 때 다시 잡을 수 있습니다.

3-4. 판정은 종료 코드로 냅니다

사람이 읽을 결과는 한 줄씩 통과와 초과로 찍고, 전체 판정은 종료 코드로 냅니다. 그래야 나중에 배포 전 점검이나 AI 작업 훅에 그대로 붙일 수 있습니다.

뼈대는 아래 정도면 충분합니다.

import re, sys
 
def analyze(text):
    n = max(len(text), 1)
    sents = [s for s in re.split(r'(?<=[.!?])\s+', text) if len(s.strip()) > 5]
    return {
        'paren_k': len(re.findall(r'\([^)]{3,}\)', text)) / n * 1000,
        'dash': text.count('—'),
        'short_pct': sum(len(s) <= 20 for s in sents) / max(len(sents), 1) * 100,
    }
 
a = analyze(open(sys.argv[1], encoding='utf-8').read())
fails = []
for ok, msg in [(a['paren_k'] <= 0.5, f"괄호 1000자당 {a['paren_k']:.1f}"),
                (a['dash'] == 0, f"줄표 {a['dash']}개"),
                (a['short_pct'] <= 5, f"짧은 문장 {a['short_pct']:.0f}%")]:
    print(('PASS ' if ok else 'OVER ') + msg)
    if not ok:
        fails.append(msg)
sys.exit(1 if fails else 0)

축을 하나씩 더할 때마다 두 표본에 다시 돌려 봅니다. 좋은 판이 통과하고 어려운 판이 걸려야 그 축이 제 몫을 하는 것입니다.

3-5. 내용 대조 단계를 붙입니다

문체 교정에 AI를 쓴다면 2단을 꼭 붙이십시오. 숫자와 고유명사를 집합으로 뽑아 차집합을 보는 것만으로도 빠진 수치와 새로 들어온 수치가 거의 다 잡힙니다. 처음 돌려 보면 오탐이 나오는데, 우리 경우에는 각주 번호와 단위 표기 차이였습니다. 오탐이 나올 때마다 그 원인과 날짜를 주석으로 남기고 규칙을 고칩니다.

3-6. 자기 글에 돌려 보고 막을 축과 보여줄 축을 가릅니다

다 만들었으면 점검기를 설명하는 글을 점검기에 넣어 보십시오. 우리 경우에 일곱 축 중 넷이 걸렸는데 둘은 오탐이었습니다. 나쁜 예로 인용한 문장의 줄표와, 표본으로 든 비유 낱말을 결함으로 셌습니다.

기계가 가르지 못하는 축은 막는 칸이 아니라 보여주는 칸으로 두어야 합니다. 비유가 그렇습니다. 설명을 건너뛰려고 쓴 비유와 사실을 다 적은 뒤 판정을 한 문장으로 찍은 비유는 낱말로는 구별되지 않습니다. 그런 축은 자리만 찍어서 보여 주고 고칠지는 사람이 정합니다.

3-7. 적용 범위를 정합니다

우리는 조직 밖으로 나가는 문서에만 씁니다. 함께 일하는 사람끼리 주고받는 메모나 인수인계 기록에서는 줄표와 짧은 단언이 압축 표기로 제 역할을 합니다. 그런 글까지 같은 자로 재면 일이 느려지고 얻는 것이 없습니다.

기준값도 문서 종류마다 다릅니다. 짧은 문장 5% 상한은 검토 보고서에서 잡은 값이라, 측정 기록처럼 짧은 단언이 읽기를 돕는 글에는 맞지 않았습니다. 문서 종류가 여럿이면 종류별로 표본을 따로 모아 기준을 따로 잡는 것이 맞습니다.

4. 아직 못 한 것

  • 기준값이 표본 두 건에서 나왔습니다. 표본이 늘면 다시 잡아야 합니다.
  • 비유 축은 아직 초과로 판정합니다. 보여주는 칸으로 바꾸는 일이 남아 있습니다.
  • 인용 블록을 본문과 갈라 셀지 정하지 못했습니다.
  • 대외 문서를 쓸 때 점검기가 자동으로 돌아 수치를 띄우는 형태는 검토만 하고 보류했습니다. 막는 형태로 붙이면 기계가 못 가르는 축 때문에 좋은 문장이 먼저 깎일 수 있기 때문입니다.

품앗이의 점검기 원본은 _shared_ai/skills/assets/prose_check.py에 있는 165줄짜리 파일입니다.