에이전트 클리닉
우리 조직 AI가 제대로 일하고 있는지 들여다보기
조직에 AI 에이전트를 들이고 나면, 그 AI가 무엇을 근거로 답하는지 보기 어렵고, 눈에 보이는 것은 결과뿐입니다. 에이전트 클리닉은 조직의 AI를 한 화면에 불러 일하는 과정을 직접 보고, 드러난 문제를 그 조직 챔피언에게 진단서로 전하는 방법입니다. 품앗이가 2026년 10월에 정리했고, 아직 첫 현장 적용 전입니다.
1. 이런 때 필요합니다
AI 에이전트를 몇 달 쓰다 보면 이런 말이 나옵니다.
- 답은 그럴듯한데, 맞는 말인지 확인할 길이 없다.
- 가끔 엉뚱한 소리를 하는데, 왜 그러는지 모르겠다.
- 한 번 바로잡았는데 며칠 뒤 같은 실수를 또 한다.
- 우리 조직 규칙을 AI가 정말 알고 있는지 모르겠다.
- AI를 세팅한 담당자가 바뀌어서, 지금 AI가 어떤 지시를 받고 있는지 아는 사람이 없다.
이 말들의 공통점은 결과만 보이고 과정은 안 보인다는 것입니다. 결과가 틀렸을 때 어디서 틀렸는지 모르면 고칠 수도 없습니다.
2. 결과만 봐서는 모르는 이유
품앗이가 현장에서 AI와 일하며 본 바로는, AI는 모르는 것을 모른다고 하지 않고 그럴듯하게 채워서 답하는 경향이 있습니다. 채운 답은 겉으로 멀쩡해 보여서, 틀렸다는 사실이 한참 뒤에야 드러납니다.
2026년 10월 30일 품앗이 작업 기록에 따르면, 한 모델에게 정체를 알려 주는 지시문을 빼고 「너는 누구냐」고 물었더니, 그 모델은 자기를 「맥박을 읽고 기록하는 생체 모니터링 에이전트」라고 소개했습니다. 그런 역할을 준 적이 없었고, 지시문을 넣자 바로 제 정체를 바르게 말했습니다. 결과만 받아 보는 사람은 이 차이를 알아채기 어렵습니다. 조직의 AI도 지시문이 빠졌거나 낡았을 때 같은 식으로 빈칸을 채웁니다.
3. 왜 맞춤형일 수밖에 없나
AI가 스스로 고치게 하는 방법은 여럿 있습니다. 규칙을 자기 말로 적게 하고, 같은 실수가 두 번이면 장치로 막고, 조직 위키에 원칙을 쌓게 합니다. 그런데 품앗이가 현장에서 점검해 보면, 이런 방법을 알려 준 조직에서도 문제가 다른 자리에서 자주 나옵니다.
- 사람과 AI가 주고받는 사이에서 어긋납니다. AI 혼자 시험하면 멀쩡한데, 실제 담당자가 쓰는 말투와 순서로 일을 시키면 엇나갑니다. 담당자는 AI가 알아들었다고 여기고, AI는 다른 뜻으로 받은 채 일을 진행합니다.
- AI의 지시문 파일이 틀어져 있습니다. AI는 마크다운으로 된 지시문과 규칙 파일을 읽고 움직입니다. 여러 사람이 고치고 AI가 덧붙이는 사이에 서로 부딪히는 규칙이 생기거나, 형식이 깨져 일부가 읽히지 않거나, 낡은 내용이 남아 있는 경우가 많습니다.
- 필요한 도구가 없습니다. 할 일은 알지만 그 일을 할 손이 없는 경우입니다. 조직 자료에 닿는 연결이 빠져 있거나, 프로그램이 깔려 있지 않거나, 권한이 막혀 있으면 AI는 할 수 있는 척 둘러대거나 엉뚱한 길로 돌아갑니다.
이 세 가지는 조직마다 모양이 다릅니다. 어떤 담당자가 어떤 말로 일을 시키는지, 지시문이 어떤 내력으로 쌓였는지, 그 조직 기계에 무엇이 깔려 있는지가 다 다르기 때문입니다. 그래서 모든 조직에 똑같이 내놓을 처방은 없습니다. 진찰로 그 조직의 자리를 찾고, 고치는 일도 그 자리에 맞춰 할 수밖에 없습니다.
4. 클리닉은 이렇게 합니다
| 단계 | 하는 일 |
|---|---|
| ① 동의 | 그 조직 챔피언에게 먼저 묻고, 동의를 받은 뒤에만 시작합니다 |
| ② 진찰 | 조직의 AI를 한 화면에 불러, 정해 둔 질문과 실제 업무를 맡겨 봅니다. 답만이 아니라 무엇을 읽고, 어떤 도구를 쓰고, 어디서 망설이는지를 봅니다 |
| ③ 진단서 | 드러난 문제를 챔피언에게 전합니다. 무엇이 문제인지, 왜 그런지, 무엇부터 고치면 좋은지를 적습니다 |
| ④ 치료 | 진단에 맞춰 맞춤으로 고칩니다. 원칙은 그 조직의 AI가 자기 규칙 파일이나 조직 위키에 자기 말로 적게 하고, 틀어진 지시문을 바로잡거나 없는 도구를 갖추거나 담당자와 AI가 주고받는 방식을 맞추는 일은 현장에서 함께 합니다 |
| ⑤ 재진찰 | 얼마 뒤 같은 질문으로 다시 보고, 나아졌는지 확인합니다 |
진찰은 담당자가 평소 AI에게 일을 시키는 방식 그대로도 해 봅니다. 사람과 AI 사이의 어긋남은 그렇게 해야 드러납니다. 진찰 화면에는 터미널 멀티플렉서를 씁니다. 화면을 여러 칸으로 나눠 에이전트마다 한 칸씩 띄우면, 각 에이전트가 생각하고 도구를 쓰는 과정이 그대로 보이고, 칸마다 바로 말을 걸 수 있습니다. 여러 에이전트를 나란히 놓고 같은 질문을 던지면 차이가 한눈에 드러납니다.
5. 진찰에서 보는 것
| 항목 | 묻는 것 |
|---|---|
| 정체성 | 자기가 누구이고 무슨 일을 하는지 바르게 아는가 |
| 모름의 처리 | 모르는 것을 모른다고 하는가, 지어내는가 |
| 조직 자료 | 조직 자료를 제대로 찾아 근거로 쓰는가 |
| 경계 | 자기 권한 밖의 일 앞에서 멈추는가 |
| 되풀이 | 지난번에 바로잡은 실수를 또 하는가 |
| 기록 | 배운 것을 다음에도 쓰도록 규칙에 남기는가 |
| 지시문 | 지시문과 규칙 파일이 서로 부딪히거나, 깨지거나, 낡은 곳이 없는가 |
| 도구 | 맡은 일을 하는 데 필요한 연결·프로그램·권한을 갖췄는가 |
| 주고받기 | 담당자가 평소 하는 말로 시켜도 뜻을 바르게 받는가 |
6. 조직이 얻는 것
- 지금 상태를 압니다. 막연한 불안 대신, 무엇이 되고 무엇이 안 되는지 목록이 생깁니다.
- 무엇부터 고칠지 압니다. 문제마다 왜 생겼는지가 진단서에 붙어 있어서, 순서를 정할 수 있습니다.
- 우리 조직에 맞는 처방을 받습니다. 일반론이 아니라 우리 담당자, 우리 지시문, 우리 기계에서 찾은 문제에 맞춘 처방입니다.
- 조직이 자기 AI를 키우는 힘이 생깁니다. 원칙은 조직 AI가 스스로 규칙에 적게 하므로 조직 쪽에 남습니다. 외부에서 다 대신 고쳐 주면 다음에 또 외부를 불러야 합니다.
- 챔피언에게 보는 눈이 생깁니다. 진찰 과정을 함께 보면, 다음부터는 챔피언이 직접 비슷한 문제를 알아챌 수 있습니다.
7. 지키는 선
- 조직의 AI는 그 조직의 것이라, 동의 없이 들여다보지 않습니다.
- 무엇을 고칠지는 조직이 정합니다. 맞춤 치료를 함께 할 때도 조직이 동의한 범위 안에서만 손을 씁니다.
- 조직 서버에서 일하는 AI가 대상입니다. 개인 PC에서 일하는 AI는 지금은 대상으로 삼지 않습니다.
8. 비용
3절에서 본 대로 문제의 자리가 조직마다 달라서, 진찰 뒤에 필요한 일의 크기도 다릅니다. 진찰에서 큰 문제가 없으면 진단서로 끝나고, 지시문을 다시 짜거나 도구를 갖추거나 담당자와 AI가 주고받는 방식을 함께 맞춰야 하면 일이 커집니다. 그래서 값은 진찰 결과를 함께 보고, 할 일의 범위와 같이 정합니다. 값을 매기는 원칙은 AX 견적과 가격에 있습니다.
다섯 줄로 줄이면
- AI의 문제는 결과가 아니라 과정에서 보인다.
- 문제는 사람과 AI 사이, 틀어진 지시문, 없는 도구에서 자주 나오고 조직마다 모양이 다르다.
- 그래서 보편 처방은 없고, 진찰과 치료 모두 맞춤형이다.
- 챔피언의 동의가 먼저이고, 무엇을 고칠지는 조직이 정한다.
- 같은 질문으로 다시 진찰해 나아졌는지 본다.
관련 노드
작성: 품앗이 · 2026-10-30 · 조직 AI 에이전트 진단 방법 정리(첫 현장 적용 전)