"우리 회사 내부 문서를 학습한 AI 챗봇을 만들고 싶어요." 요즘 개발팀에서 가장 많이 나오는 요구사항 중 하나입니다. 사내 규정, 기술 문서, 과거 장애 대응 기록, 제품 스펙 — 이 모든 것을 꿰뚫고 답변하는 AI 어시스턴트. RAG(Retrieval-Augmented Generation)가 그 해답이라는 건 이제 많은 분들이 알고 있습니다.문제는 "어떻게 구축하느냐"입니다. ChatGPT API 하나 붙이는 것과, 프로덕션 수준의 사내 RAG 서버를 구축하는 것은 완전히 다른 이야기입니다. 어떤 벡터 DB를 선택할지, Java로 갈지 Python으로 갈지, 어떤 아키텍처로 설계할지, 보안은 어떻게 챙길지 — 결정해야 할 것이 한두 가지가 아닙니다.이 글에서는 사내 RAG 서버를 처음부터 끝까지 직..