품앗이 위키

파인튜닝과 모델 평가

10 min read

L3 파인튜닝과 모델 평가

빅데이터분석기사 3과목(빅데이터 모델링) — 딥러닝·분석모형 설계 + 4과목(결과 해석) — 모형 평가(정확도·정밀도·재현율)·개선 출제 영역. 품에(시민재생에너지 도메인 AI) HPC 실무의 모델링·평가 렌즈. RAG 검색 쪽은 L3_거리유사도_측정에서 다룸.

학습 원칙: 비유만으로 이해하지 말 것. 약자는 전체 단어, 물리적 실체가 있으면 명시. 예시는 품에·EXAONE·매장 실무로 박는다.

파인튜닝

  • 영어: Fine-tuning (fine = 미세하게 + tuning = 조율)
  • 직역: 이미 학습된 모델을 미세하게 다시 조율함
  • 한 줄: 사전학습된 대형 모델(EXAONE 등)에 우리 도메인 데이터를 추가 학습시켜, 그 분야에 특화된 답을 하게 만드는 것
  • 위치: 3과목 딥러닝(분석모형 설계). 사전학습 → 파인튜닝 2단계 중 뒷단계
  • 품에 실무: EXAONE 4.5-33B에 시민재생에너지·법령·조합 코퍼스를 학습 → “품에” 페르소나·전문지식 확보 (넥서스 H200 GPU)
  • RAG와의 차이:
    • RAG = 모델은 그대로 두고, 외부 문서를 검색해 끼워 넣음 (지식 주입, 즉시 갱신)
    • 파인튜닝 = 모델 가중치 자체를 바꿈 (말투·판단·형식 내재화, 재학습 필요)
    • 품에는 둘을 병행 — 파인튜닝으로 페르소나·문체, RAG로 최신 법령·데이터
  • 시험 출제: 빅분기 3과목 (딥러닝 모델링)
  • 연관: LoRA, 사전학습, 전이학습, RAG, 과적합

LoRA

  • 영어: Low-Rank Adaptation (낮은 계수 적응)
  • 직역: 낮은 차원(저계수) 행렬만 얹어 모델을 적응시킴
  • 한 줄: 거대 모델 전체를 재학습하지 않고, 작은 보조 행렬만 학습해 붙이는 경량 파인튜닝 기법. “원본은 그대로, 얇은 어댑터만 얹는다”
  • 왜 쓰는가: 33B 모델을 통째로 학습(풀 파인튜닝)하려면 GPU VRAM이 엄청나게 필요 → LoRA는 학습 파라미터를 수백~수천분의 1로 줄여 H100/H200 1장으로도 가능
  • 물리적 실체: 원본 가중치는 동결(freeze), 각 층에 저계수 행렬 A·B만 추가 학습. 결과물(어댑터)은 수십~수백 MB
  • 품에 실무: EXAONE 33B는 풀 파인튜닝 불가(VRAM 한계) → LoRA로 도메인 적응. 학습 후 병합(merge)해 vLLM 서빙
  • 시험 출제: 빅분기 3과목 (딥러닝 — 최신 기법, 직접 출제는 드물지만 파인튜닝 맥락)
  • 연관: 파인튜닝, VRAM, 동결(freeze), 어댑터, 양자화

과적합

  • 영어: Overfitting (over = 지나치게 + fitting = 맞춤)
  • 직역: 학습 데이터에 지나치게 맞춰짐
  • 한 줄: 모델이 학습 데이터는 잘 맞추는데 새 데이터엔 못 맞추는 상태. “문제집 답만 외워서 시험 못 보는 학생”
  • 신호: 학습 정확도↑ 인데 검증 정확도↓ (둘의 격차가 벌어짐)
  • 품에 실무: 코퍼스가 작을 때(v1 80문서) LoRA를 과하게 돌리면 그 문서 문장만 앵무새처럼 반복 → 일반화 실패. 학습 스텝·러닝레이트 조절, 데이터 증강으로 방어
  • 반대말: 과소적합(Underfitting) — 학습조차 덜 돼 둘 다 낮음
  • 시험 출제: 빅분기 3과목 (모델 학습), 4과목 (모형 개선)
  • 연관: 교차검증, 정규화, 일반화, 조기종료(early stopping)

교차검증

  • 영어: Cross-Validation (cross = 교차 + validation = 검증)
  • 직역: 데이터를 교차로 나눠 검증
  • 한 줄: 데이터를 여러 조각으로 나눠 번갈아 학습/검증해서, 한 번의 우연이 아닌 안정적 성능을 측정. 대표=K-겹(K-fold)
  • 원리(K-fold): 데이터를 K조각 → 1조각은 검증, 나머지 학습 → K번 반복해 평균. 데이터가 적을 때 특히 유용
  • 품에 실무: 회귀 정답률(89.5%) 같은 지표가 특정 테스트셋 운빨인지, 진짜 실력인지 가려내는 도구. 파일럿 검증의 통계적 뼈대
  • 시험 출제: 빅분기 3과목 (모델 검증)
  • 연관: 과적합, 홀드아웃, 일반화, 평가지표

혼동행렬

  • 영어: Confusion Matrix (confusion = 혼동 + matrix = 행렬)
  • 직역: 헷갈림을 정리한 표
  • 한 줄: 분류 모델의 정답 vs 예측을 4칸으로 정리한 표. 정확도·정밀도·재현율의 뿌리
  • 4칸:
    • TP(True Positive) = 맞다고 했고 실제 맞음
    • FP(False Positive) = 맞다고 했는데 실제 틀림 (헛짚음)
    • FN(False Negative) = 아니라 했는데 실제 맞음 (놓침)
    • TN(True Negative) = 아니라 했고 실제 아님
  • 시험 출제: 빅분기 4과목 (모형 평가) — 거의 매회 계산 문제 출제
  • 연관: 정확도, 정밀도, 재현율, F1

정확도·정밀도·재현율·F1

  • 한 줄: 혼동행렬 4칸에서 뽑아내는 분류 성능 지표들. 상황에 따라 봐야 할 지표가 다름
  • 정확도(Accuracy) = (TP+TN) / 전체 — 전체 중 맞춘 비율. 데이터 불균형이면 함정
  • 정밀도(Precision) = TP / (TP+FP) — 맞다고 한 것 중 진짜 비율. “헛짚음(FP) 대가가 클 때” 중요
  • 재현율(Recall) = TP / (TP+FN) — 실제 맞는 것 중 잡아낸 비율. “놓침(FN) 대가가 클 때” 중요
  • F1 = 정밀도·재현율의 조화평균 = 2×(P×R)/(P+R) — 둘 균형
  • 계산 예시: TP=40, FP=10, FN=20, TN=30
    • 정확도 = 70/100 = 0.70
    • 정밀도 = 40/50 = 0.80
    • 재현율 = 40/60 = 0.67
    • F1 = 2×(0.8×0.67)/(0.8+0.67) ≈ 0.73
  • 품에 실무: 챗봇 답변 정답률·검색 품질을 이 지표로 측정. “정답률 89.5%“도 결국 이 계열
  • 시험 출제: 빅분기 4과목 (모형 평가·개선) — 필기·실기 단골
  • 연관: 혼동행렬, RAG 검색품질, 회귀 평가지표

회귀 평가지표 (RMSE·MAE·R²)

  • 한 줄: 분류가 아닌 수치를 예측하는 회귀모델의 오차 지표
  • MAE(Mean Absolute Error) = 예측−실제 차이의 절댓값 평균. 직관적
  • RMSE(Root Mean Square Error) = 제곱 오차 평균의 제곱근. 큰 오차에 더 민감(제곱 때문)
  • R²(결정계수) = 모델이 데이터 변동을 설명하는 비율. 1에 가까울수록 좋음
  • 분류 지표와 구분: 정확도·정밀도·재현율은 분류, RMSE·MAE·R²는 회귀. 시험에서 섞어내는 함정 주의
  • 품에 실무: 발전량·수요 예측 같은 수치 예측 태스크의 성능 측정
  • 시험 출제: 빅분기 4과목 (모형 평가)
  • 연관: 회귀분석, 혼동행렬, 손실함수

RAG vs 파인튜닝 — 품에 병행 구조 요약

RAG (검색 증강)파인튜닝 (LoRA)
바꾸는 것외부 문서(모델 그대로)모델 가중치
강점최신·내부 자료 즉시 반영, 출처 추적말투·판단·형식 내재화
갱신문서만 교체(즉시)재학습 필요(비쌈)
품에 담당법령·조합 데이터·최신 지식페르소나·문체·도메인 감각
빅분기3과목 (비정형·텍스트마이닝)3과목 (딥러닝)

→ 품에는 둘 다 쓴다. 파인튜닝으로 “품에답게”, RAG로 “틀리지 않게”.

관련 노드

학습일: 2026-07-06 (품에 HPC 실무 ↔ 빅분기 3·4과목 연결)

그래프 뷰

백링크