선을 넘는 개발 로그

추론 모델, 어디에 쓰고 얼마나 쓸 것인가

추론 모델(Claude Opus, o3)을 도입한 팀이 공통적으로 겪는 충격이 있다. 첫 청구서를 받고 나서야 "왜 이렇게 비용이 많이 나왔지?"라고 묻는 것이다. 일반 모델과 달리 추론 모델은 응답을 생성하기 전에 사고 토큰(thinking token)을 소비하는데, 이 토큰이 출력 토큰과 동일한 단가로 과금된다. 추론 모델을 실무에서 제대로 쓰려면 이 비용 구조를 먼저 이해해야 한다.사고 토큰이 비용 구조를 바꾼다일반 LLM은 입력 토큰과 출력 토큰, 두 가지만 청구된다. 추론 모델에는 세 번째 항목이 추가된다. 문제를 풀기 위해 내부적으로 소비되는 사고 토큰이다. 모델은 잠정 결론을 세우고 반례를 찾으며 스스로 검증하는 루프를 반복하는데, 이 과정 전체가 과금 대상이다. 복잡한 문제에서는 사용자가 ..

PDF 속 그래프와 표까지 검색하는 멀티모달 RAG 설계

기업이 다루는 PDF 문서 대부분은 텍스트만으로 이루어지지 않습니다. 재무 보고서에는 분기별 실적 차트가, 기술 매뉴얼에는 회로도가, 연구 논문에는 실험 결과 그래프가 섞여 있습니다. 일반 텍스트 RAG에서 PDF 파서는 이미지를 건너뛰거나 [Figure 1] 같은 자리표시자로 대체합니다. "3분기 영업이익 반등 구간을 그래프에서 찾아줘"라는 질의에 텍스트 검색이 답할 수 없는 이유입니다. 멀티모달 RAG는 이미지·표·수식이 혼재하는 문서에서도 의미 기반 검색이 작동하도록 파이프라인 전체를 재설계하는 접근입니다.이미지를 벡터로 만드는 세 가지 전략멀티모달 RAG에서 가장 중요한 설계 결정은 이미지를 어떻게 임베딩할지입니다. 현재 실무에서 쓰이는 전략은 세 가지입니다.첫 번째는 VLM 요약 후 텍스트 임베..

왜 고정 입력 토큰이 비용 문제가 되는가LLM API 비용은 입력 토큰과 출력 토큰 수의 합으로 결정된다. 출력은 요청마다 달라지지만, 시스템 프롬프트나 RAG 문서처럼 고정된 입력 구간은 매 요청에 그대로 반복해서 전달된다. 요청 수가 늘어날수록 이 반복 구간의 비용이 전체 청구액을 지배하게 된다.예시 1. 계약서 검토 서비스가 2,000 토큰짜리 시스템 프롬프트를 고정으로 쓴다고 가정하자. 하루 1,000번 호출되면 시스템 프롬프트만으로 200만 토큰이 소비된다. Claude Sonnet 기준 입력 단가 $3/1M 토큰을 적용하면 이 구간에서만 하루 $6, 한 달 $180이 나간다. Prompt Caching으로 캐시 히트율 80%를 달성하면, 히트 구간은 입력 비용의 10%만 과금되어 월 $180이..

왜 고정 입력 토큰이 비용 문제가 되는가LLM API 비용은 입력 토큰과 출력 토큰 수의 합으로 결정된다. 출력은 요청마다 달라지지만, 시스템 프롬프트나 RAG 문서처럼 고정된 입력 구간은 매 요청에 그대로 반복해서 전달된다. 요청 수가 늘어날수록 이 반복 구간의 비용이 전체 청구액을 지배하게 된다.예시 1. 계약서 검토 서비스가 2,000 토큰짜리 시스템 프롬프트를 고정으로 쓴다고 가정하자. 하루 1,000번 호출되면 시스템 프롬프트만으로 200만 토큰이 소비된다. Claude Sonnet 기준 입력 단가 $3/1M 토큰을 적용하면 이 구간에서만 하루 $6, 한 달 $180이 나간다. Prompt Caching으로 캐시 히트율 80%를 달성하면, 히트 구간은 입력 비용의 10%만 과금되어 월 $180이..

목차개요C4 모델의 네 가지 추상화 레벨Structurizr DSL로 코드 기반 다이어그램 작성다른 다이어그램 접근법과의 비교팀 단위 아키텍처 문서 표준화 전략운영 환경에서의 C4 모델 유지보수맺음말개요문제의 배경: 아키텍처 커뮤니케이션의 단절소프트웨어 팀이 성장할수록 아키텍처 논의는 점점 더 어려워지는 경향이 있습니다. 신규 입사자는 전체 시스템의 윤곽을 파악하려 하고, 시니어 개발자는 특정 서비스의 내부 설계를 논의하며, 아키텍트는 서비스 간 경계와 배포 단위에 집중합니다. 같은 화이트보드를 보면서도 세 사람이 완전히 다른 맥락으로 이야기하는 상황이 반복됩니다. 이 단절의 근본 원인은 각자가 "다른 해상도(resolution)"로 시스템을 바라보기 때문입니다. C4 모델(C4 Model)은 바로 이 ..

목차운영에서 실제로 터지는 것들히스토리 한도와 페이로드 크기코드 변경과 버전 관리워커 용량과 지표보존 기간·정리·보안맺음말운영에서 실제로 터지는 것들Temporal은 개발 단계에서 잘 도는 것에 비해 운영에서 걸리는 지점이 예상과 다른 편입니다. 워크플로우가 실패해서 문제가 되는 경우보다, 실패하지 않은 채 진행만 멈추거나 히스토리가 한도에 닿아 강제 종료되는 경우가 더 자주 옵니다.이 글은 운영 단계에서 준비해 둬야 할 항목을 다섯 갈래로 정리합니다. 도입 초기에 이 중 어느 것도 준비되어 있지 않으면, 첫 사고가 났을 때 원인을 짚는 데만 며칠이 걸립니다.조용히 멈추는 실패가 가장 위험하다증상겉보기실제 원인워크플로우가 며칠째 실행 중정상처럼 보임결정성 위반으로 태스크가 무한 실패액티비티가 계속 실행 ..

목차개요Elasticsearch 인덱스 매핑의 기본 원리정적 매핑 설계 전략샤드 설계와 크기 최적화인덱스 생명주기와 롤오버 전략운영 환경 적용 시 고려사항맺음말개요문제 배경: 검색 성능 병목의 원인Elasticsearch를 처음 도입할 때 많은 팀이 기본 설정으로 빠르게 시작합니다. 단 몇 줄의 설정으로 문서를 색인하고 즉시 검색할 수 있다는 점이 매력적이기 때문입니다. 그러나 데이터 규모가 수억 건을 넘어서고 동시 트래픽이 증가하면서, 초기에는 보이지 않던 문제들이 수면 위로 드러납니다. 검색 응답 시간이 수 초로 치솟거나, 클러스터 상태가 yellow에서 red로 전환되거나, 인덱싱 처리량이 급격히 하락하는 현상이 반복됩니다. 이러한 문제의 상당수는 초기 인덱스 매핑 설계와 샤드 구성의 미흡함에서 비..

목차개요Spring Cloud Config Server의 핵심 구조Config Server 구축과 클라이언트 연동백엔드 저장소 전략과 선택 기준동적 설정 갱신과 변경 전파운영 환경 적용 시 고려사항맺음말개요문제 배경마이크로서비스 아키텍처가 보편화되면서 수십 개의 서비스가 각자의 설정 파일을 관리하는 구조가 일반적이 되었습니다. 데이터베이스 접속 정보, 외부 API 키, 피처 플래그, 타임아웃 값 같은 환경별 설정이 서비스마다 따로 존재한다면, 운영 환경에서 단 하나의 값만 바꾸려 해도 수십 개의 저장소를 순차적으로 수정하고 재배포해야 합니다. Spring Cloud Config Server는 이 문제를 해결하기 위해 설계된 중앙 집중식 설정 관리 솔루션입니다. 설정 파일을 하나의 저장소에서 버전 관리하고..

목차개요Spring Data JDBC의 핵심 철학핵심 구성 요소와 동작 원리실제 프로젝트 적용: 도메인 모델 구현성능 특성과 JPA 비교 분석운영 환경에서의 고려사항맺음말개요문제 배경: 영속성 계층의 복잡성Spring 기반 애플리케이션에서 데이터 접근 계층을 설계할 때 가장 먼저 떠오르는 선택지는 JPA, 그 중에서도 Hibernate입니다. JPA는 객체-관계 매핑(ORM)의 사실상 표준으로 자리잡았고, 복잡한 도메인 모델을 데이터베이스에 투명하게 매핑해 주는 강력한 도구입니다. 그러나 실제로 프로젝트에서 JPA를 어느 정도 사용하다 보면 예상치 못한 복잡성에 직면하게 됩니다. 영속성 컨텍스트의 상태 변화, 지연 로딩으로 인한 LazyInitializationException, N+1 쿼리 문제, 연쇄..

목차비교가 성립하는 지점과 아닌 지점전달 모델의 차이순서·재시도·상태를 다루는 방식같은 요구를 각각 어떻게 푸는가함께 쓰는 구성맺음말비교가 성립하는 지점과 아닌 지점"비동기 처리는 Kafka로 하면 되는데 Temporal이 왜 필요한가"라는 질문을 자주 만납니다. 두 도구 모두 요청을 받아 나중에 처리하고, 실패하면 다시 시도하게 해 주기 때문입니다.먼저 정리하면, Kafka는 이벤트를 저장하고 나눠 주는 로그이고, Temporal은 한 건의 처리 흐름을 끝까지 책임지는 오케스트레이터입니다. 겹치는 부분은 "비동기로 넘긴다"는 표면적인 모양뿐이고, 그 아래 책임 범위는 다릅니다.각자가 해결하는 문제문제KafkaTemporal발생한 사실을 여러 소비자에게 나눠 주기잘함하지 않음대량 이벤트를 높은 처리량으로..