인프라
AI가 실제로 돌아가는 집들 — 어디서 살고, 어디서 기억하고, 어디서 훈련받는가.
ChromaDB
벡터 데이터베이스. 문서를 숫자 벡터로 변환해 저장하고, 의미가 비슷한 것을 빠르게 찾는다.
일반 데이터베이스는 키워드가 정확히 일치해야 검색된다. ChromaDB는 “비슷한 의미”를 찾는다 — “로컬페이 쓰는 법”으로 검색해도 “한밭페이 사용 방법”이 나올 수 있다.
- CPU로 충분 (GPU 불필요)
- Python 라이브러리 하나로 설치·운영
- 임베딩 모델이 문서→벡터 변환을 담당
후니님 시스템에서: 품아이의 외부 기억. rag/chroma_db/ (155MB). 5개 컬렉션 30,855건 보유. RAG 방식으로 품아이가 답변 생성 시 이 기억을 검색한다. 상세 → ChromaDB 컬렉션 현황, 품아이 전체 지도
Vertex AI
Google이 운영하는 AI 호스팅 플랫폼.
Gemini 모델을 API로 호출하는 것 외에, Gemini를 파인튜닝하거나 커스텀 모델을 올려 서빙할 때 사용한다.
- GCP(Google Cloud Platform)의 일부
- Gemini 파인튜닝: 데이터셋 업로드 → 튜닝 잡 실행 → 전용 엔드포인트 생성
- 튜닝된 모델은 Vertex AI 엔드포인트에 배포되고, API로 호출
후니님 시스템에서: 과거 품아이 Gemini 파인튜닝본이 여기 있었다. 현재 GCP 프리 트라이얼(143만) 보유 중. → 인프라 참조
Colab Pro
Google이 제공하는 클라우드 Jupyter 노트북 환경. 시간제 GPU를 시간당 과금으로 사용.
- $10/월로 고성능 GPU에 접근 가능 (A100까지)
- 내 서버에 GPU 없을 때 파인튜닝 실험 공간
- 세션이 끊기면 환경이 초기화 — 결과물은 Drive에 저장해야 함
후니님 시스템에서: 품아이 Qwen 파인튜닝 노트북이 여기 있다. HPC H100이 확보되면 Colab 대신 그쪽에서 학습 돌림.
GCP (Google Cloud Platform)
지미가 실제로 살고 있는 서버 환경.
지미는 GCP 서버에 “설치된 AI”가 아니다. Claude Code CLI 프로세스가 GCP에서 실행되면서, Anthropic 서버의 Claude 모델에 API를 호출하는 구조다. → 호출방식 CLI 항목 참조
- 품아이 코드(engine.py, seed_server.py 등)도 GCP에서 실행
- GCP Free Trial 크레딧 ₩40만(5/19 만료) + GenAI 크레딧 ₩143만(Vertex 전용)
연결
- 모델구조 — 이 인프라에 올라가는 것이 무엇인지
- 학습방법 — 인프라를 어떻게 학습에 쓰는가
- 호출방식 — 인프라와 어떻게 통신하는가
- 품아이 전체 지도 — 품아이 인프라 전체 구조
- ChromaDB 컬렉션 현황 — ChromaDB 상세 현황