출처와 단정 · 1차 출처, 그리고 그 시점
품앗이가 AI와 함께 일하며 남긴 실패 기록을 다른 조직이 다시 쓸 수 있게 옮긴 글입니다. 묶음 전체는 AI가 「됐다」고 할 때에서 볼 수 있습니다.
요지
「확인된 사실」은 정확히 말하면 「그때, 그 출처에서 그랬다」입니다. 무언가를 단정하기 전에 1차 출처를 직접 읽고, 그 출처가 언제 것인지 같이 말합니다. AI는 답을 빨리 내기 때문에, 눈앞에 있는 1차 자료를 읽지 않고 입을 여는 일이 사람보다 잦습니다. 이 노드는 그런 자리 여섯 가지를 적습니다.
1. 답이 눈앞에 있는데 읽지 않고 단정한다
우리 기록에 따르면 AI가 「이 화면은 다른 페이지 안에 끼워 넣을 수 없다」고 우겼는데, 같은 작업 폴더의 다른 사이트가 이미 그렇게 끼워 넣고 있었습니다. 「X는 안 된다」를 말하기 전에 네 가지를 먼저 읽습니다. 가장 최근의 인수인계 문서, 실제 코드, 실제 시스템 상태, 그리고 같은 작업 폴더 안에 있을지 모르는 반례입니다.
인수인계 문서도 낡을 수 있어서, 문서에 할 일로 남아 있는 항목은 「아직 안 됐다」가 아니라 「문서 갱신이 안 됐다」일 수 있습니다. 한 번 조회하면 끝나는 것은 조회한 뒤에 말합니다. 로컬 폴더만 보고 「배포 장치가 없다」고 단정했는데 실제로는 돌고 있던 일도 있습니다. 있다, 없다는 지금 돌아가는 실물로 판정합니다.
문서가 「자동으로 반영된다」고 약속했지만 그 장치가 만들어진 적이 없던 경우도 있습니다. 협업하는 사람에게 그 문서대로 안내하기 전에 한 번은 직접 해 봅니다.
2. 출처가 있어도 시점을 확인한다
한 협동조합 홈페이지의 첫 화면을 7년 전 신문 기사로 채웠다가, 나중에 그 조합의 올해 총회 자료집을 받아 보니 세 가지가 틀려 있었습니다. 이미 접은 식당, 합친 매장, 바뀐 매장 운영 방식이었습니다. 지어낸 것은 하나도 없었고, 출처의 시점을 재지 않은 것이 문제였습니다. 숫자는 낡는다고 알면서 매장과 사업은 안 낡는다고 여긴 것이 구멍이었습니다.
그 뒤로 정한 처방에 따라 조직의 현재 상태, 곧 매장과 사업과 임원과 소속과 수치는 그 조직이 올해 낸 문서로만 씁니다. 기사는 그 시점에 있었던 일의 기록으로만 씁니다. 「2019년에 열었다」고는 써도 「있다」고는 쓰지 않습니다. 출처를 댈 때는 날짜를 같이 대고, 올해 자료가 없으면 비워 둡니다.
홈페이지 아래쪽에 적힌 대표자 이름은 늦게 바뀝니다. 임원이 바뀐 뒤에도 한동안 옛 이름이 남으므로 공적 조회와 맞춰 봅니다. 내부 기획안에서 「추진 중」이던 일이 대외 문서로 옮겨지며 「그렇다」로 바뀌지 않게 조심합니다. 다른 조직의 소속이나 지위는 그 조직이 직접 낸 문서를 근거로 씁니다.
3. 2차 자료를 원본처럼 쓰지 않는다
우리 기록에는 연간 보고서에 실린 매출을 그대로 제안서에 썼다가, 원본 데이터를 조회해 보니 실제 매출이 14배였던 일이 남아 있습니다. 보고서가 일부 품목만 집계한 숫자였습니다. 핵심 숫자는 원본 데이터에서 직접 가져옵니다.
검색 결과에 뜬 짧은 요약 한 줄을 근거로 「국제 컨퍼런스」와 「상설 워킹그룹」이 있다고 단정하고 전략까지 세운 기록도 있습니다. 출처가 하나뿐이면 「확인 안 됨」으로 말합니다.
우리가 정리한 위키 문서도 2차 가공물입니다. 「개정판」이라고 적혀 있던 노드를 인쇄본과 대조해 보니 단계 순서가 틀려 있었습니다. 법령은 국회에 낸 의안이 아니라 공포된 법률로 확인합니다. 우리가 확인한 기록에 따르면 한 법률은 의안이 17개조였는데 공포본은 30개조였고, 핵심 절차의 이름도 달랐습니다.
4. 남의 결론을 옮기기 전에 비교의 기준선부터 본다
「AI를 쓰니 오히려 느려졌다」는 표를 그대로 옮긴 적이 있습니다. 나중에 보니 느려졌다는 항목 일부가 그달 처음 생긴 업무였습니다. 비교할 「예전」이 없는데 예전에 5분 걸렸다고 가정해 적은 것입니다. 산수는 모두 맞았고 전제가 틀렸습니다.
검산은 시작일 뿐 끝이 아니므로, 남이 만든 결론을 옮길 때는 비교의 기준선이 실제로 있었는지부터 봅니다. 뺀 항목은 이유와 함께 적고, 효과를 크게 보이게 하는 자리와 작게 잡은 자리를 나란히 보여 줍니다.
5. AI가 읽어 준 문서를 그대로 믿지 않는다
웹 도구로 PDF를 읽게 했더니 「회원 약 9억 명」 같은 수치를 돌려주었는데, 정작 PDF 본문에는 그런 숫자가 없었습니다. 그 뒤로는 파일을 내려받아 텍스트로 뽑고, 그 숫자가 실제로 들어 있는지 검색해 본 뒤에 인용합니다. 서술보다 수치가 더 위험한 까닭은 AI가 빈 곳을 비슷한 자료에서 끌어온 숫자로 메우기 쉽다는 데 있습니다.
반대 방향의 실수로는, 논문 초록만 보고 「수치가 없으니 지어낸 것」이라고 판정했는데 본문 표에 수치가 모두 있었던 기록이 있습니다. 「없다」는 판정은 원문 본문을 읽고 그 숫자로 역검색까지 한 뒤에 내립니다. 각주를 잘못 단 것과 숫자를 지어낸 것은 다른 잘못이므로 섞어 부르지 않습니다.
남이 쓴 요약에서 어떤 서비스가 「AI 연결 기능을 지원한다」고 하면, 그것이 다른 서비스에 붙는 쪽인지 다른 AI가 붙어 오게 열어 둔 쪽인지 방향부터 묻습니다. 한 요약을 믿고 따라가 보니 연결 주소가 존재하지 않았던 일이 있습니다.
6. 모르는 것은 싼 순서로 찾는다
업무 프로그램에 찍힌 코드를 그 업체만의 고유 코드로 단정하고, 업체에 물어보라고 사람에게 넘겼는데, 알고 보니 국세청 표준 코드였습니다. 그 일 뒤로 모르는 것은 공개된 표준인지 검색하고, 그 제품의 문서를 읽고, 가진 데이터로 가설을 반증해 본 다음, 그래도 모를 때 만든 쪽에 묻는 순서로 찾습니다.
「업체에 물어보자」는 조사의 결론이지, 조사를 대신하는 말이 아닙니다. 남의 프로그램을 역으로 짚어 가다 두 번 막히면, 같은 것을 만드는 사람들이 쓰는 이슈 게시판을 봅니다. 블로그에는 잘된 경우만 모이고, 이슈 게시판에는 안 된 경우와 그 근거 자료가 모입니다.
「서로 다른 업체」라고 적기 전에는 서버 주소와 도메인 관리 정보를 대조합니다. 한 회사가 도메인과 호스팅과 업무 프로그램을 함께 파는 경우가 흔한데, 확인하지 않은 판단에 경고 표시를 붙여 두면 다음 사람이 그것을 사실로 읽습니다.
「비밀번호나 키가 무효다」라고 적을 때는 호출한 주소와 방식, 상태 코드, 응답 첫 줄을 같이 남깁니다. 그것이 없으면 판정이 아니라 추측이고, 그 위에 엉뚱한 우회로가 쌓입니다. 웹 오류가 나면 오류 본문부터 읽는데, 대개 원인이 거기 적혀 있습니다.
처방 정리
- 「안 된다」「없다」를 말하기 전에 최근 인수인계, 코드, 실제 상태, 같은 폴더의 반례를 읽는다.
- 조직의 현재 상태는 그 조직이 올해 낸 문서로만 쓰고, 출처에는 날짜를 붙인다.
- 핵심 숫자는 원본 데이터에서 가져오고, 출처가 하나뿐이면 「확인 안 됨」으로 쓴다.
- AI가 읽어 준 수치는 원문에서 다시 검색해 본 뒤에 인용한다.
- 모르는 것은 표준 검색, 제품 문서, 데이터 반증, 만든 쪽 질문의 순서로 찾는다.
도구 메모
- PDF 수치 확인: 파일을 내려받아 텍스트로 뽑은 뒤 그 숫자를 검색한다. 표 안 숫자는 텍스트 추출이 깨질 수 있으니 쪽 번호를 같이 적는다.
- 같은 회사인지 확인: 두 도메인의 서버 주소와 네임서버를 한 줄씩 조회해 비교한다.
- 웹 오류: 상태 코드만 보지 말고 응답 본문 첫 몇 줄을 함께 남긴다.