품앗이 위키

조직 AI 만들기

8 min read

조직 AI 만들기

데이터, 규칙, 모델, RAG, 로컬

품앗이가 생협 매장, 에너지 협동조합, 의료사협과 함께 조직 AI를 만들며 넘어진 기록을 협동조합과 사회연대경제 조직이 다시 쓸 수 있게 옮긴 묶음입니다. 실무자와 그 조직의 AI가 함께 읽도록 썼습니다. 조직 이름과 서비스 이름은 지웠고, 모델과 도구는 공개된 이름 그대로 적었습니다.

한 줄

조직 AI는 모델이 아니라 그 조직의 참고 데이터와 사고 규칙입니다. 모델은 갈아 끼우는 자리이니, 돈과 시간은 모델 고르기보다 데이터, 규칙, 평가 기준에 씁니다.

왜 이 묶음인가

조직 AI를 만들자는 이야기가 나오면 대화는 금세 어떤 모델을 쓸지, GPU가 몇 장 필요한지로 흘러갑니다. 우리 작업 기록에 따르면 비싸게 넘어진 자리는 대개 그쪽이었습니다. 모델이 이미 아는 일반 지식을 벡터 DB에 넣었고, 변하는 숫자를 가중치에 새겼다가 모델이 숫자를 지어내게 만들었고, 기본 모델이 좋아진 줄 모르고 옛 데이터로 학습해 성능을 깎았습니다.

같은 기록에서 반대로 오래 남은 것은 모델과 상관없는 것들이었습니다. 그 조직만 가진 판매 기록과 사례, 사람이 읽고 AI도 읽는 규칙 문서, 기본 모델이 모르는 것을 묻는 평가 문항이 그렇습니다. 이 묶음은 그 차이를 실무 순서대로 적습니다. 왜 조직 AI를 만드는지, 곧 사상과 헌법 쪽 이야기는 다시 쓰지 않고 아래 관련 노드로 잇습니다.

세 층으로 설명한다

  1. 남의 AI에 묻기: 클라우드 AI에 그때그때 질문합니다. 시작은 쉽지만 조직의 맥락은 매번 새로 설명해야 합니다.
  2. 우리 자료를 물리기: 질문할 때 우리 자료를 함께 읽게 하는 층으로, RAG가 여기에 속합니다.
  3. 우리 규칙과 자료를 우리 기계에 두고 모델을 얹기: 규칙과 자료가 조직의 기계와 위키에 있고, 모델은 그 위에 얹는 부품이 되는데, 우리는 이것을 도메인 AI라고 부릅니다.

층이 올라갈수록 모델이 바뀌어도 조직에 남는 것이 많아집니다.

네 갈래

1. 무엇을 만드는가: 데이터와 규칙

산출물은 참고 데이터, 사고 연산규칙, 도구 세 묶음이고 모델은 넣지 않습니다. RAG에는 모델이 모르는 우리 데이터만 넣고, AI의 무게중심은 결정에 쓸 데이터를 만드는 데 둡니다.

2. 가중치에 넣을 것과 넣지 말 것

가중치에는 말투와 태도 같은 안 변하는 행동을, RAG에는 숫자와 법령 같은 변하는 사실을 둡니다. 소량 학습은 사실을 넣지 못하고 지어내며, 「모델이 못한다」의 상당수는 시스템 프롬프트와 오늘 날짜에서 풀립니다.

3. 한국어 RAG 실전

한국어 검색은 조사가 정확한 맞춤을 깨고, 긴 문서의 주제어가 흔한 낱말에 밀립니다. 검색이 반쯤 맞으면 모델이 나머지를 지어내니, 넣어 준 원문에 없는 것은 쓰지 말라고 프롬프트에 적습니다.

4. 작은 로컬 모델 다루기

작은 모델에게는 골라내기만 시키고, GPU 없는 서버의 사진 읽기는 OCR부터 씁니다. 클라우드 모델과 임대 GPU의 규칙, 그리고 데이터 주권의 잣대를 함께 적었습니다.

이 묶음을 쓰는 법

처음 조직 AI를 시작한다면 1번을 먼저 읽고, 그 조직이 이미 가진 데이터가 어디에 있는지부터 셉니다. 파인튜닝이나 GPU 이야기가 나오면 2번의 표와 메모리 계산을 먼저 봅니다. 이미 RAG를 돌리고 있는데 엉뚱한 답이 나온다면 3번을, 사무실 서버나 현장 서버에서 작은 모델을 돌린다면 4번을 봅니다.

일곱 줄로 줄이면

  1. 조직 AI의 본체는 모델이 아니라 참고 데이터와 사고 규칙이다.
  2. 규칙의 정본은 사람과 AI가 함께 읽는 조직 위키의 노드다.
  3. RAG에는 세상 어디에도 없는 우리 데이터만 넣는다.
  4. 가중치에는 안 변하는 행동만, 변하는 사실은 RAG에 둔다.
  5. 학습한 모델은 점수보다 먼저 지어내기 시험을 통과시킨다.
  6. 「모델이 못한다」고 하기 전에 시스템 프롬프트부터 본다.
  7. 작은 모델에게는 골라내기만 시키고, 결과는 코드로 검산한다.

관련 노드

작성: 품앗이 · 2026-10-22 · 생협 매장·에너지 협동조합·의료사협의 조직 AI 기록 기준

그래프 뷰

백링크