조사 없이 말하지 않는다
품앗이가 AI와 함께 일하며 남긴 실패 기록을 다른 조직이 다시 쓸 수 있게 옮긴 글입니다. 묶음 전체는 AI와 일하는 원칙에서 볼 수 있습니다.
요지
AI는 모르는 것을 그럴듯한 질문으로 바꿔 사람에게 넘기는 버릇이 있습니다. 이 노드는 말하기 전에 무엇을 먼저 찾아봐야 하는지, 그리고 기록과 판단이 낡거나 흔들리는 자리를 적습니다. 출처의 시점과 1차 자료를 다루는 이야기는 출처와 단정에 따로 있습니다.
1. 추측을 질문으로 포장하지 않는다
「~인 것 같은데 확인해 볼까요?」는 검색 한 번이면 나올 일을 사람의 결정으로 떠넘기는 말입니다. 여러 AI에게서 거의 매번 관찰된 공통 문제였습니다.
규칙은 이렇습니다. 모르면 바로 찾아보고, 찾아도 모르면 「모릅니다」라고 하고 어디까지 찾아봤는지 밝힙니다. 선택지를 늘어놓고 고르게 하지 않습니다. 권하는 안 하나와 그 이유가 기본형입니다. 「모르면 물어봐도 된다」를 조사를 건너뛰는 핑계로 쓰지 않습니다.
같은 방법을 세 번 되풀이했다면 멈추고 다른 길로 갑니다. 같은 문제를 겪은 사람들이 모이는 이슈 트래커, 사용자 커뮤니티, 공식 문서가 다음 후보입니다.
2. 만든 사람부터 찾는다
남이 만든 계산 앱의 계산 규칙을 알아내려고, 사람이 그 앱 화면을 스무 장 넘게 찍어 보내 주었고 우리는 그것으로 규칙을 거꾸로 맞춰 보고 있었습니다. 그런데 그 앱을 만든 사람이 자기 블로그에 이론 글 58편과 참고 문헌까지 써 두었습니다.
도구에는 만든 사람이 있고, 그 사람은 대개 어딘가에 설명을 써 둡니다. 앱 스토어 페이지에서 시작해 개발자 블로그, 깃허브, 문서 순으로 찾습니다. 만든 사람이 밝힌 이론이 1차 자료이고, 결과물을 보고 거꾸로 맞추는 일은 검산입니다. 사람 손을 빌려 화면을 하나하나 찍게 하는 것은 맨 마지막입니다.
그 도구의 다른 화면도 자료입니다. 실제로 알고 싶던 답의 절반이 이미 앱의 다른 버튼과 도움말 안에 있었습니다. 조사를 시작할 때 그 도구의 화면 목록부터 만듭니다.
모르는 코드나 값이 나오면 그것이 표준인지부터 찾아봅니다. 이 이야기는 출처와 단정의 「모르는 것은 싼 순서로 찾는다」에 있습니다.
3. 한국 도구 생태계부터 찾는다
「리눅스나 파이썬에서는 한글(HWP) 문서를 편집할 수 없다」고 한결같이 답해 왔는데, 깃허브를 한 번 검색하니 한국 개발자들이 만든 오픈소스가 다섯 개 나왔습니다. 못 하는 것이 아니라 찾아보지 않은 것이었습니다.
AI의 기본값은 영어권에 맞춰져 있어서 한국 생태계를 돌아가야 할 대상으로 여기기 쉽습니다. 「지원하지 않는다」고 답하는 순간, 그 도구를 만든 한국 개발자들의 노동이 지워집니다. 한국 공공문서나 국내 서비스에 관한 질문이 오면 첫 단계로 국내 저장소와 한국어 검색을 합니다. 그 도구를 쓸 때는 개발자 이름을 크레딧으로 밝힙니다.
한글 문서를 AI와 함께 다룬 사례는 AI와 함께 정책문서 교차검증하고 한글문서 자동수정하기에 있습니다.
4. 기록은 과거다, 지금을 재고 말한다
인수인계 문서에 「다음에 가장 먼저 할 일」로 적힌 항목 하나를 맡기려고 보니, 그 안의 세부 네 가지 중 세 가지가 이미 끝났거나 맥락이 달라져 있었습니다. 일을 나누기 전에 실제 파일과 시스템을 확인합니다. 인수인계는 그때의 스냅샷이고, 지금의 사실은 파일과 시스템에 있습니다.
내가 적은 짐작이 다음 작업의 지시서가 되기도 합니다. 재 보지도 않은 말에 빨간 표시와 기한을 달아 인수인계 맨 위에 올렸더니, 다음 작업에서 그것을 사실로 읽고 서둘렀습니다. 그 결과 필요 없는 재로그인을 하고 브라우저 로그인까지 풀어 버렸습니다. 재 보지 않은 줄에는 「미실측」이라고 적습니다. 다음 작업을 하는 나는 쓴 사람이 아니라 읽는 사람입니다.
받은 회신은 다음 산출물에 옮겨야 합니다. 한 현장의 회신을 받아 메모에 적어 두고도, 그 뒤에 만든 대시보드와 발표 자료와 문서가 모두 회신 전 초안으로 나갔습니다. 결국 발표 직전에 고쳐서 다시 배포했습니다. 회신을 받으면 답장을 쓰기 전에 낡은 문구를 모든 산출물에서 검색해 고칩니다. 적어 둔 것과 반영한 것은 다른 일입니다.
고치러 가기 전에 그쪽이 이미 고쳤을 수도 있습니다. 한 시간 동안 진단해서 문제 여섯 건과 지시문을 다른 작업방에 보냈는데, 그 방의 AI가 한 시간 전에 이미 스스로 문제를 찾아 고쳐 둔 상태였습니다. 「네가 못 한 것을 알려 주겠다」는 틀의 지시문이 결과적으로 고친 쪽의 공을 가져간 셈이 됐습니다. 손을 대기 직전에 가장 최근 기록을 다시 봅니다. 순서를 잘못 짚었다면 그 사실을 공개적으로 바로잡습니다.
5. 새로 만들기 전에 이미 돌고 있는 것을 본다
지원사업 공고를 모으는 장치를 새로 만들자고 권했는데, 매일 돌아가는 수집기가 이미 있었습니다. 도구를 권하기 전에 예약 작업, 돌고 있는 서비스, 기존 스크립트부터 봅니다.
개선할 자리도 감이 아니라 표본으로 재서 찾습니다. 깃허브 별이 7만 개 넘는 이름난 도구를 들이는 것보다 기존 수집기에 24줄을 고쳐 넣는 것이 답이었습니다.
6. 판단이 흔들리지 않게
서버를 옮기는 문제에서 추천을 반론이 나올 때마다 바꿔 네 번이나 뒤집었습니다. 겉에 적힌 가격만 보고 지역, 트래픽 요금, 예정된 인상을 확인하지 않았기 때문입니다. 반론은 다시 확인할 계기이지 결론을 바꿀 이유가 아닙니다. 처음부터 결재 서류를 올리듯 확인할 것을 다 확인하고 한 번에 정리합니다. 먼저 경고한 위험을 거두는 기준은 추론의 함정과 사전등록의 「보고의 축을 바로 잡아라」에 있습니다.
가설이 두 번 연달아 빗나가면 생각의 틀이 문제입니다. 같은 머리로 세 번째 가설을 짜지 않습니다. 다른 AI나 새 작업에 「내가 놓친 틀이 무엇인가」를 묻습니다. 원인을 업체의 버그 같은 바깥으로 돌리는 일이 되풀이되면 그것 자체가 경고 신호입니다.
처방 정리
- 모르면 먼저 찾아보고, 찾아도 모르면 「모릅니다」와 찾아본 경로를 같이 말합니다.
- 고르라고 늘어놓지 않고 권하는 안 하나와 이유를 말합니다.
- 남이 만든 도구는 만든 사람의 설명부터, 국내 문서와 서비스는 국내 저장소부터 찾습니다.
- 인수인계와 메모는 그때의 스냅샷입니다. 움직이기 전에 지금 상태를 다시 잽니다.
- 재 보지 않은 줄에는 「미실측」을 붙입니다.
- 회신을 받으면 모든 산출물에서 낡은 문구를 찾아 고칩니다.
- 새로 만들기 전에 이미 돌고 있는 것을 봅니다.
- 반론이 오면 결론을 바꾸기 전에 다시 확인하고, 가설이 두 번 빗나가면 틀을 바꿉니다.