품앗이 위키

AI 프롬프트를 실험처럼 — 데워 10팁과 하네스 대조

9 min read

출처: James M. Dewar, “Want to get more from AI? Treat every prompt like an experiment”, Nature Career Column, 2026-08-03. doi:10.1038/d41586-026-02083-6 정리: 지미(품앗이서버 2호기), 2026-08-20. 유튜브 독서연구소 서평 영상을 계기로 원문을 확보해 우리 작업 체계(하네스)와 전수 대조한 기록.

칼럼 개요

데워는 밴더빌트대 의대 생화학 교수로, DNA 복제·수선을 연구하면서 대학원 과정의 AI 교육을 총괄한다. 신입 박사과정생을 조사해 보니 81%가 이미 연구에 AI를 쓰고 있었지만 프롬프트 작성 기본기를 갖춘 사람은 5%뿐이었고, 직접 만든 AI 수업을 거친 뒤에는 48%가 됐다. 그의 결론은 한 문장이다 — AI를 잘 쓰는 데 필요한 것은 컴퓨터 지식이 아니라 이미 갖고 있는 과학적 훈련이며, 핵심 전략은 “모든 프롬프트를 실험으로, 모든 출력을 검증할 결과로” 다루는 것.

10가지 팁 (요약)

  1. 프롬프트 전에 도구를 연결하라 — 모델은 닿을 수 있는 것만 추론한다. 웹검색은 최소한이고, 문헌 DB 등을 MCP로 연결해 근거 있는 출력을 만들게 하라.
  2. 입력을 구조화하라 — 줄글보다 마크다운이면 대부분 충분, 복잡하면 XML(클로드에 특효)·JSON. 과학자가 목차·소제목으로 복잡한 문서를 읽듯 모델도 그렇다.
  3. 프롬프트를 모델에게 쓰게 하라(메타프롬프팅) — 원하는 걸 평문으로 설명하고 최적 프롬프트를 생성시킨 뒤, 그것을 새 대화에서 실행.
  4. 검증된 프롬프트를 재사용하라 — 실험 방법을 매번 발명하지 않듯이. 데워는 자기 프롬프트 모음을 무료 공개한다.
  5. 대화를 짧게 유지하라 — 대화가 길수록 신뢰도가 떨어지고, 모델은 이미 나온 말을 잊지 못한다. 결론이 나면 요약시켜 새 대화로.
  6. 정상 지점으로 되돌아가라 — 대화가 중간에 망가지면 수선하지 말고, 오류 전 메시지를 수정해 분기하거나 요약 후 새로 시작.
  7. 재현성을 확인하라 — 같은 프롬프트를 별도 대화에서 여러 번. 생물학의 반복 실험과 같다. 새 답이 안 나올 때까지는 다 나왔다고 보지 마라.
  8. 정확성을 확인하라 — 재현성은 정확성이 아니다. 검증의 최종 기준은 사람. 규모가 크면 출력을 새 대화에 넣고 출처 대조 감사를 시켜라.
  9. “내가 틀렸다”고 말하게 하라 — 모델은 과하게 동조적이다. 이를 뒤집어, 착수 전에 “이 실험을 하면 안 되는 최강의 논거”를 구성시켜라. 데워 연구실은 이것으로 시간과 시약 비용을 크게 아꼈다.
  10. 프롬프트 라이브러리를 유지하라 — 잘 작동하는 프롬프트는 프로토콜처럼 저장·버전관리·개선하라.

칼럼의 결론: AI 전문가가 될 필요는 없다. 잘 쓰는 사람은 템플릿을 외운 사람이 아니라, 매 상호작용을 작은 실험으로 다루고 신중히 돌리고 결과를 검증하는 사람이다.

우리 하네스와의 대조 (2026-08-20 실측)

데워 팁하네스 대응물판정
1. 도구 연결MCP 서버 다수, “도구 목적 먼저” 원칙✅
2. 입력 구조화산출물 스키마는 있으나 위임 지시문(입력) 표준 양식 없음△
3. 메타프롬프팅전무 — 항상 직접 작성❌
4. 검증된 프롬프트 재사용스킬 시스템 + 트리거맵 + git 버전관리✅ 최강
5. 짧은 대화세션 인수인계·“이어서”·요약 후 새 세션✅
6. 정상 지점 복귀뺑뺑이 금지·백업 먼저·체크포인트 (명문화는 부분적)△
7. 반복 재현성판단성 답변의 흔들림 테스트 제도 없음❌ → 채택
8. 정확성 검증생성/검사 컨텍스트 분리(PDCA Check), 지어내기 금지, 증거 기반 완료✅
9. 사전 반증사후 품질 검증만 있고 착수 전 반증 없음❌ → 채택
10. 프롬프트 라이브러리스킬+레슨+메모리 3층, “배웠다”→자동 레슨화✅ 앞섬

우리가 앞선 지점: 데워는 사람의 습관에 의존하지만, 우리는 훅으로 기계적 강제(“문서 말고 훅으로 막아라”)하고 검증을 별도 인격(PDCA 팀)으로 분업화했다.

채택한 것 — 골든 원칙 9·10 신설

원칙 9. 착수 전 반증(Pre-mortem) — 비용 큰 결정(지원사업 응모, 월 과금 리소스, 핵심 시스템 변경, 며칠짜리 작업) 전에 별도 컨텍스트로 “이 일을 하지 말아야 할 최강의 논거”를 먼저 구성한다. 실행 거부용이 아니라 방향을 잠그기 전의 판단 재료다.

원칙 10. 판단은 재현 확인 후 — 코드·링크 같은 결정적 산출물은 실행으로 검증하고, 전략·추천·자문 같은 판단성 답변은 새 컨텍스트에서 2회 이상 돌려 결론이 흔들리는지 본다. 흔들리면 채택하지 않고 “판단 불안정”으로 보고한다. 흔들림 자체가 정보다.

미채택 공백 (기록)

  • 메타프롬프팅(팁 3): 다른 모델 워커에게 위임할 때 그 모델에 맞춘 프롬프트를 먼저 생성시키는 단계 — 필요해지면 재론
  • 위임 지시문 입력 양식(팁 2), “수선 말고 복귀” 명문화(팁 6): 비용 대비 효과가 작아 보류

참고

그래프 뷰

백링크