선을 넘는 개발 로그

RAG 검색 품질을 높이는 두 가지 무기 — 하이브리드 검색과 Re-ranking

왜 검색 단계가 RAG의 품질을 결정하는가RAG 시스템에서 생성 품질은 검색 결과에 직접 의존한다. 언어 모델이 아무리 뛰어나도 컨텍스트에 엉뚱한 문서가 섞이면 답변 정확도는 떨어지고 할루시네이션이 늘어난다. 가장 흔히 쓰이는 벡터 유사도 검색(Dense Retrieval)은 의미적 유사도를 잘 포착하지만 고유명사·수치·제품명 같은 정확한 키워드를 놓치기 쉽다. 반대로 BM25 같은 키워드 검색은 정확한 용어 매칭에는 강하지만 동의어나 문맥 의존적 표현을 처리하지 못한다.이 두 방식의 약점은 서로 보완적이다. BM25와 Dense Retrieval을 Reciprocal Rank Fusion(RRF)으로 결합한 하이브리드 검색이 1단계 후보 집합을 넓히고, 그 후보 중에서 Cross-Encoder Re-r..

AI 에이전트가 스스로 멈춰야 하는 순간: HitL 설계 핵심 정리

AI 에이전트가 실제 시스템을 건드리기 시작하는 순간, 설계자에게 불편한 질문이 생깁니다. 에이전트가 이메일을 발송하거나, 데이터베이스 레코드를 삭제하거나, 결제를 처리할 때 — 그 판단이 틀렸다면 어떻게 되나요? 단순 채팅봇의 실수는 잘못된 답변 하나로 끝나지만, 에이전트의 실수는 연쇄적으로 확산되며 되돌리기 어려운 부작용을 만듭니다. Human-in-the-Loop(HitL)은 이 문제에 대한 구조적 답변입니다. 자동화를 포기하지 않으면서, 임계 동작 직전에 사람의 확인을 파이프라인 안에 내장합니다.핵심 원리: 멈추고, 저장하고, 재개하기HitL의 기술적 본질은 세 가지입니다. 에이전트가 위험한 동작 직전에 실행을 일시 중단하고, 현재 컨텍스트 전체를 체크포인트에 저장하며, 사람의 승인이 오면 정확히..

LLM 라우팅: 같은 품질, 절반의 비용

GPT-4o, Claude 3.5 Sonnet처럼 고성능 LLM이 등장하면서 AI 서비스를 만드는 일은 쉬워졌지만, 청구서를 보는 순간 현실과 마주하게 됩니다. 문제는 단순한 질문과 복잡한 분석을 같은 모델로 처리하는 데 있습니다. "오늘 날씨 어때?"라는 질문에 GPT-4o를 쓰는 건, 100미터 거리를 택시로 이동하는 것과 같습니다. LLM 요청 라우팅은 이 비효율을 구조적으로 해결합니다.숫자로 보는 라우팅의 가치GPT-4o의 입력 토큰 비용은 $2.50/1M인 반면 GPT-4o mini는 $0.15/1M으로 약 17배 차이가 납니다. Claude 3.5 Sonnet($3.00/1M)과 Claude 3 Haiku($0.25/1M)도 12배 차이입니다.예시 1. 하루 100만 건의 요청이 발생하는 서비..

추론 모델(Claude Opus, o3)을 도입한 팀이 공통적으로 겪는 충격이 있다. 첫 청구서를 받고 나서야 "왜 이렇게 비용이 많이 나왔지?"라고 묻는 것이다. 일반 모델과 달리 추론 모델은 응답을 생성하기 전에 사고 토큰(thinking token)을 소비하는데, 이 토큰이 출력 토큰과 동일한 단가로 과금된다. 추론 모델을 실무에서 제대로 쓰려면 이 비용 구조를 먼저 이해해야 한다.사고 토큰이 비용 구조를 바꾼다일반 LLM은 입력 토큰과 출력 토큰, 두 가지만 청구된다. 추론 모델에는 세 번째 항목이 추가된다. 문제를 풀기 위해 내부적으로 소비되는 사고 토큰이다. 모델은 잠정 결론을 세우고 반례를 찾으며 스스로 검증하는 루프를 반복하는데, 이 과정 전체가 과금 대상이다. 복잡한 문제에서는 사용자가 ..

기업이 다루는 PDF 문서 대부분은 텍스트만으로 이루어지지 않습니다. 재무 보고서에는 분기별 실적 차트가, 기술 매뉴얼에는 회로도가, 연구 논문에는 실험 결과 그래프가 섞여 있습니다. 일반 텍스트 RAG에서 PDF 파서는 이미지를 건너뛰거나 [Figure 1] 같은 자리표시자로 대체합니다. "3분기 영업이익 반등 구간을 그래프에서 찾아줘"라는 질의에 텍스트 검색이 답할 수 없는 이유입니다. 멀티모달 RAG는 이미지·표·수식이 혼재하는 문서에서도 의미 기반 검색이 작동하도록 파이프라인 전체를 재설계하는 접근입니다.이미지를 벡터로 만드는 세 가지 전략멀티모달 RAG에서 가장 중요한 설계 결정은 이미지를 어떻게 임베딩할지입니다. 현재 실무에서 쓰이는 전략은 세 가지입니다.첫 번째는 VLM 요약 후 텍스트 임베..

왜 고정 입력 토큰이 비용 문제가 되는가LLM API 비용은 입력 토큰과 출력 토큰 수의 합으로 결정된다. 출력은 요청마다 달라지지만, 시스템 프롬프트나 RAG 문서처럼 고정된 입력 구간은 매 요청에 그대로 반복해서 전달된다. 요청 수가 늘어날수록 이 반복 구간의 비용이 전체 청구액을 지배하게 된다.예시 1. 계약서 검토 서비스가 2,000 토큰짜리 시스템 프롬프트를 고정으로 쓴다고 가정하자. 하루 1,000번 호출되면 시스템 프롬프트만으로 200만 토큰이 소비된다. Claude Sonnet 기준 입력 단가 $3/1M 토큰을 적용하면 이 구간에서만 하루 $6, 한 달 $180이 나간다. Prompt Caching으로 캐시 히트율 80%를 달성하면, 히트 구간은 입력 비용의 10%만 과금되어 월 $180이..

왜 고정 입력 토큰이 비용 문제가 되는가LLM API 비용은 입력 토큰과 출력 토큰 수의 합으로 결정된다. 출력은 요청마다 달라지지만, 시스템 프롬프트나 RAG 문서처럼 고정된 입력 구간은 매 요청에 그대로 반복해서 전달된다. 요청 수가 늘어날수록 이 반복 구간의 비용이 전체 청구액을 지배하게 된다.예시 1. 계약서 검토 서비스가 2,000 토큰짜리 시스템 프롬프트를 고정으로 쓴다고 가정하자. 하루 1,000번 호출되면 시스템 프롬프트만으로 200만 토큰이 소비된다. Claude Sonnet 기준 입력 단가 $3/1M 토큰을 적용하면 이 구간에서만 하루 $6, 한 달 $180이 나간다. Prompt Caching으로 캐시 히트율 80%를 달성하면, 히트 구간은 입력 비용의 10%만 과금되어 월 $180이..

목차개요C4 모델의 네 가지 추상화 레벨Structurizr DSL로 코드 기반 다이어그램 작성다른 다이어그램 접근법과의 비교팀 단위 아키텍처 문서 표준화 전략운영 환경에서의 C4 모델 유지보수맺음말개요문제의 배경: 아키텍처 커뮤니케이션의 단절소프트웨어 팀이 성장할수록 아키텍처 논의는 점점 더 어려워지는 경향이 있습니다. 신규 입사자는 전체 시스템의 윤곽을 파악하려 하고, 시니어 개발자는 특정 서비스의 내부 설계를 논의하며, 아키텍트는 서비스 간 경계와 배포 단위에 집중합니다. 같은 화이트보드를 보면서도 세 사람이 완전히 다른 맥락으로 이야기하는 상황이 반복됩니다. 이 단절의 근본 원인은 각자가 "다른 해상도(resolution)"로 시스템을 바라보기 때문입니다. C4 모델(C4 Model)은 바로 이 ..

목차운영에서 실제로 터지는 것들히스토리 한도와 페이로드 크기코드 변경과 버전 관리워커 용량과 지표보존 기간·정리·보안맺음말운영에서 실제로 터지는 것들Temporal은 개발 단계에서 잘 도는 것에 비해 운영에서 걸리는 지점이 예상과 다른 편입니다. 워크플로우가 실패해서 문제가 되는 경우보다, 실패하지 않은 채 진행만 멈추거나 히스토리가 한도에 닿아 강제 종료되는 경우가 더 자주 옵니다.이 글은 운영 단계에서 준비해 둬야 할 항목을 다섯 갈래로 정리합니다. 도입 초기에 이 중 어느 것도 준비되어 있지 않으면, 첫 사고가 났을 때 원인을 짚는 데만 며칠이 걸립니다.조용히 멈추는 실패가 가장 위험하다증상겉보기실제 원인워크플로우가 며칠째 실행 중정상처럼 보임결정성 위반으로 태스크가 무한 실패액티비티가 계속 실행 ..

목차개요Elasticsearch 인덱스 매핑의 기본 원리정적 매핑 설계 전략샤드 설계와 크기 최적화인덱스 생명주기와 롤오버 전략운영 환경 적용 시 고려사항맺음말개요문제 배경: 검색 성능 병목의 원인Elasticsearch를 처음 도입할 때 많은 팀이 기본 설정으로 빠르게 시작합니다. 단 몇 줄의 설정으로 문서를 색인하고 즉시 검색할 수 있다는 점이 매력적이기 때문입니다. 그러나 데이터 규모가 수억 건을 넘어서고 동시 트래픽이 증가하면서, 초기에는 보이지 않던 문제들이 수면 위로 드러납니다. 검색 응답 시간이 수 초로 치솟거나, 클러스터 상태가 yellow에서 red로 전환되거나, 인덱싱 처리량이 급격히 하락하는 현상이 반복됩니다. 이러한 문제의 상당수는 초기 인덱스 매핑 설계와 샤드 구성의 미흡함에서 비..