선을 넘는 개발 로그

BGE-M3 색인 설계 — Dense·Sparse·Multi-Vector를 한 모델로 다루기

목차개요BGE-M3가 만들어내는 세 가지 표현무엇을 색인하고 무엇을 버릴 것인가청킹과 인코딩 설계벡터 인덱스와 검색 결합운영 환경에서 확인할 것들맺음말개요문제 배경: 키워드 검색과 벡터 검색은 서로 다른 곳에서 실패합니다검색 품질을 올리려고 임베딩을 도입했는데 정확히 매칭돼야 할 질의가 오히려 나빠지는 경험은 흔합니다. BGE-M3는 이 문제를 하나의 모델 안에서 다루기 위해 만들어진 다국어 임베딩 모델이며, 밀집 벡터(Dense)·희소 가중치(Sparse)·토큰 단위 다중 벡터(Multi-Vector)를 한 번의 인코딩으로 동시에 산출합니다. 색인 설계의 출발점은 이 세 가지 중 무엇을 저장하고 무엇을 검색 시점에 계산할지 정하는 일입니다.두 방식이 어디서 무너지는지 보면 왜 결합이 필요한지가 분명해집..

ClickHouse란 무엇인가 — 컬럼 지향 데이터베이스의 구조와 선택 기준

목차개요컬럼 지향 저장이 만드는 차이ClickHouse의 내부 구조속도를 위해 포기한 것들언제 고르고 언제 고르지 않는가맺음말개요문제 배경: 집계 쿼리가 감당이 안 되는 시점ClickHouse는 대용량 데이터의 집계 쿼리를 빠르게 처리하기 위해 만들어진 오픈소스 컬럼 지향(Column-Oriented) 데이터베이스입니다. 이름은 들어봤지만 "우리 PostgreSQL로도 잘 돌아가는데 굳이?"라는 단계에서 멈춰 있는 경우가 많습니다. 그 질문은 보통 서비스가 어느 규모를 넘어가면서 저절로 풀립니다. 이벤트 로그가 수억 건을 넘고, 운영진이 보는 대시보드 하나가 30초씩 걸리고, 그 쿼리 하나가 돌 때마다 서비스 트랜잭션까지 같이 느려지는 시점입니다.이때 흔히 나오는 처방들은 각자 유효하지만, 공통된 한계를..

개요JSON-LD 구조화 데이터는 페이지 안의 정보를 검색엔진이 그대로 이해하도록 붙이는 표준화된 메타데이터입니다. 그런데 SPA(Single Page Application)는 이 데이터를 심어도 크롤러가 못 읽는 경우가 있습니다. 데이터를 JS가 브라우저에서 받아 그리기 때문에, 크롤러가 처음 받는 HTML에는 아무 콘텐츠도 없기 때문입니다.전국 클래식 공연장의 일정을 모아 보여주는 개인 사이드 프로젝트(클래식 공연 캘린더)에서 이 문제를 겪었습니다. Vite + TypeScript로 만든 SPA라 첫 HTML에는 공연이 하나도 없었고, Search Console에는 색인이 거의 잡히지 않았습니다.이 글은 JSON-LD 구조화 데이터를 빌드 시점에 심어 이 문제를 해결한 과정을 정리합니다. 개념보다는 ..

목차들어가며 1. 증상 — 반쪽만 저장된 데이터2. 코드를 다 뒤졌는데 아무 문제가 없었습니다3. 용의자는 코드가 아니라 실행 환경이었습니다4. 스레드가 들고 있는 것 — 그림 두 장으로 보는 차이5. 왜 로그 한 줄 안 남았을까 — 침묵의 메커니즘6. 추측을 멈추고 자를 만들었습니다7. 실측 — 같은 WAR, 옵션 하나만 토글8. 잔재 지도 — 어디서 터졌느냐에 따라 남는 게 달랐습니다9. 수정은 한 줄이었습니다10. 고치고 나니 새로 생긴 걱정들11. 남은 이야기와 배운 것들어가며@Transactional은 개발하면서 가장 의심을 안 하게 되는 어노테이션 중 하나입니다. 붙여두면 예외가 났을 때 알아서 되돌려주니까요. 저도 그렇게 믿고 몇 년을 살았습니다.그런데 운영에서 이런 데이터가 나오기 시작했습..

들어가며사내 운영 매뉴얼을 자동 생성하고, 그 매뉴얼과 코드·Jira·Confluence를 한 번에 물어볼 수 있는 챗봇을 만들고 있었습니다. 기능은 돌아갔습니다. 문제는 질문 하나에 2분이 걸렸다는 것입니다.2분은 사내 도구로서 사실상 사용 불가입니다. 사람들은 30초를 못 기다립니다. 그래서 "RAG를 붙이면 빨라지지 않을까"라는 이야기가 나왔는데, 저는 이 말이 좀 불편했습니다. RAG는 유행어라 아무 데나 붙이면 좋아진다는 인상이 있지만, 실제로 무엇을 얼마나 줄여주는지 모르는 채 도입하면 그냥 벡터DB 운영 부담만 늘어난 시스템이 됩니다. 그래서 도입 전에 먼저 한 일은 지연을 실측으로 분해하는 것이었습니다. 이 글은 그 실측에서 시작해 RAG를 어디까지 적용했고, 무엇을 일부러 적용하지 않았고..

검색 시스템에서 가장 중요한 질문은 단순합니다.“사용자의 질문에 가장 잘 맞는 문서를 어떻게 위로 올릴 것인가?” BM25나 벡터 검색은 이 질문에 대한 1차 답을 제공합니다. 빠르게 많은 문서 중에서 그럴듯한 후보를 찾아옵니다. 하지만 후보 검색 결과가 항상 완벽한 순서로 정렬되는 것은 아닙니다. 이때 사용하는 것이 Reranker입니다. Reranker는 이미 검색된 후보 문서들을 다시 평가해서, 사용자 질문에 더 잘 맞는 순서로 재정렬하는 모델입니다.사용자 질문 -> BM25 / Vector Search -> 후보 문서 top-k 검색 -> Reranker로 재정렬 -> 최종 상위 문서 반환 예를 들어 사용자가 다음과 같이 질문했다고 가정합니다.퇴직연금 중도 인출 조건은 무엇인가요? 1차 검..

RRF는 Reciprocal Rank Fusion의 약자로, 여러 검색 결과 목록을 하나의 최종 순위로 합치는 랭킹 결합 방법입니다.한국어로는 “역순위 융합” 정도로 이해할 수 있습니다.예를 들어 하나의 검색 시스템에서 다음 두 가지 검색 결과를 동시에 얻었다고 가정합니다.BM25 기반 검색 결과벡터 임베딩 기반 검색 결과BM25는 정확한 키워드 일치에 강하고, 벡터 검색은 의미적 유사성에 강합니다.그렇다면 두 결과를 잘 합치면 키워드 검색과 의미 검색의 장점을 함께 사용할 수 있습니다. 이때 자주 쓰이는 방식이 RRF입니다. 핵심 아이디어 RRF의 핵심은 단순합니다. 여러 검색 결과에서 높은 순위에 자주 등장하는 문서를 더 중요하게 봅니다.즉, 어떤 문서가 BM25 결과에서도 상위권이고, 벡터 검색 결..

BM25(Best Matching 25)는 검색 시스템에서 문서의 관련도를 계산하는 대표적인 키워드 기반 랭킹 알고리즘입니다. 사용자가 검색어를 입력했을 때, 각 문서가 그 검색어와 얼마나 관련 있는지를 점수로 계산하고, 점수가 높은 문서를 위에 배치합니다. BM25는 오래된 알고리즘입니다. 하지만 지금도 Elasticsearch, OpenSearch, Lucene 같은 검색 엔진에서 기본 랭킹 방식으로 널리 사용됩니다. 딥러닝 기반 검색과 벡터 검색이 보편화된 지금도 BM25가 사라지지 않는 이유는 명확합니다. 빠르고, 단순하고, 설명 가능하며, 여전히 강력하기 때문입니다.핵심 아이디어BM25의 핵심은 “검색어가 문서 안에서 얼마나 중요하게 등장하는가”를 계산하는 것입니다. 이를 위해 BM25는 크게 ..

목차개요RAG 아키텍처와 LangChain4j의 핵심 개념LangChain4j 환경 설정과 기본 구성RAG 파이프라인 단계별 구현심화 — 성능 최적화와 검색 품질 개선운영 환경 적용 시 고려사항맺음말개요문제 배경대형 언어 모델(LLM)은 방대한 지식을 학습했지만, 학습 데이터의 최신성 한계와 특정 도메인 정보의 부재라는 근본적인 제약을 안고 있습니다. 기업 내부 문서, 최신 제품 매뉴얼, 고유한 정책 데이터를 모델이 알고 있다고 기대하기는 어렵습니다. RAG(Retrieval-Augmented Generation) 는 이 문제를 정면으로 해결합니다. 사용자의 질문에 맞는 관련 문서를 동적으로 검색한 후, 그 내용을 프롬프트에 주입해 LLM이 정확하고 근거 있는 답변을 생성하도록 돕는 패턴입니다. Java..

처음 RAG 챗봇을 만들 때는 모든 게 싸 보입니다. OpenAI 임베딩 1만 토큰에 $0.0002, GPT-4o-mini 답변 한 번에 $0.001. "이 정도면 무한히 써도 되겠는데?" 그런데 사용자가 100명, 1,000명, 10,000명으로 늘어나면 다른 세상이 펼쳐집니다.월 청구서를 보고 깜짝 놀랍니다. OpenAI에서 $5,000, Pinecone에서 $800, Cohere Rerank에서 $300. 한 답변이 평균 8초씩 걸려서 사용자 이탈도 늘어납니다. 어디서부터 손을 대야 할까요?이 글은 RAG 챗봇의 비용과 레이턴시를 단계별로 해부하고, 각 단계에서 적용할 수 있는 실무 검증된 최적화 기법을 정리합니다. 막연한 "최적화하세요"가 아니라, 코드와 함께 어디를 어떻게 줄일 수 있는지 구체적..