환각과 대응

RAG의 비용과 최적화 전략

RAG 쿼리마다 추가 비용이 발생합니다. 최적화하지 않으면 사용량이 늘어날수록 비용이 빠르게 제어 불능 상태가 됩니다.

추가 비용 발생 원인

문서 벡터화

낮음(1회성)

Embedding을 DB에 저장할 때 한 번 실행, 이후 재사용

질문 벡터화

낮음

쿼리당 약 0.1위안/백만 Token

벡터 검색

중간

대규모 지식 베이스에서 지연이 현저히 증가

Prompt 증가
높음
매 요청마다 500–2000 Token 추가 주입, LLM 비용 2배 증가 ⚠

가장 핵심적인 최적화: 먼저 의도를 파악하여 RAG가 필요한지 판단합니다. 대화의 70%는 사실 문서 검색이 필요 없습니다. LLM을 직접 사용하는 것이 더 빠르고 저렴합니다.

PM 대응 전략

검색 명중률 평가 시스템 구축: 몇 개의 질문이 올바른 문서를 성공적으로 검색했는지 파악합니다

인용 출처 강제 표시: 사용자가 검증할 수 있게 하고, 지식 베이스 품질 향상을 촉진합니다

정기적인 지식 베이스 정리: RAG 품질 상한 = 지식 베이스 품질

네 가지 최적화 전략 (클릭하여 펼치기)

키워드 트리거 (필터링)

비용 절감: 30–70% 쿼리 스킵

먼저 질문에 검색이 필요한지 판단합니다. "오늘 며칠이에요?"는 문서를 검색할 필요 없이 바로 답합니다. "환불 정책이 어떻게 되나요?"는 RAG를 트리거합니다.
구현: 의도 분류기 또는 간단한 규칙으로 사전 판단하여 불필요한 검색 경로를 건너뜁니다.

모델 라우팅 (단계적 처리)

전체 LLM 비용 60–80% 절감

간단한 질문은 소형 모델(저렴), 복잡한 질문에만 플래그십 모델을 사용합니다. "안녕하세요"에 GPT-4를 쓰는 낭비를 방지합니다.
구현: 질문 복잡도 분류 + 모델 계층 설정 (소형 모델 기본, 대형 모델 필요시 호출).

시맨틱 캐싱

고빈도 쿼리 지연·비용 50% 절감

유사한 질문은 동일한 검색 결과를 재사용합니다. "환불 정책"과 "환불 방법"의 결과는 거의 동일하여 중복 검색이 불필요합니다.
구현: 질문 벡터 유사도 ≥ 0.95이면 캐시를 바로 반환하여 전체 RAG 경로를 건너뜁니다.

정밀 청킹 (Chunking 전략)

정확도 20–40% 향상

문서 분할 단위가 검색 품질에 영향을 미칩니다. 너무 크면 불필요한 Token이 주입되고, 너무 작으면 맥락이 손실됩니다.
베스트 프랙티스: 512–800 Token/청크, 제목/단락 경계를 기준으로 의미적 완정성을 유지합니다.

또 하나의 길: 모델이 직접 뒤지게 하기

RAG: 미리 쪼개고 미리 벡터화

검색은 «비슷한 것 찾기», 답은 조각 안에 있습니다

적합: 양이 많고 비교적 안정적인 자료 — 제품 매뉴얼, 법규, 고객지원 지식베이스, 과거 티켓
적합: «이건 규정이 어떻게 되나» 같은 질문, 답이 수백 개 문서의 몇 단락에 흩어져 있을 때
비용: 청킹·색인·갱신까지 파이프라인 하나, 문서가 바뀌면 다시 돌려야 합니다
약점: 의미 유사도로만 건지므로 «특정 번호를 정확히 찾기»에는 자주 빗나갑니다

도구 읽기: grep / glob / read

어느 파일을 몇 번 열지 모델이 직접 정합니다

적합: 원래 구조가 있고 매일 바뀌는 자료 — 코드 저장소, 로그, 지금 이 머신의 파일
적합: 정확 일치(함수명, 오류 코드, 주문번호) — grep 한 번이면 끝, 벡터 검색은 오히려 돌아갑니다
비용: 여러 번의 도구 호출이라 지연과 토큰이 단일 검색보다 큽니다. 읽기 권한도 열어줘야 합니다
약점: 규모가 커지면 놓치기 시작합니다. 디렉터리 구조와 이름이 수렴을 도와줘야 합니다

고르는 법: 먼저 이 자료에 타고난 색인이 있는지 물어보세요. 코드에는 파일 경로와 함수명이, 로그에는 타임스탬프가 있습니다. 이런 건 도구를 주고 모델이 직접 뒤지게 하세요. 구조 없는 PDF와 웹페이지 더미라면 그때가 RAG 차례입니다. 섞어 쓰는 경우도 많습니다 — RAG로 대략 위치를 찾고, 그 파일을 도구로 통째로 읽는 식이죠.

RAG ≠ 전량 검색. 프로덕션 RAG 시스템의 핵심은 「언제 RAG를 사용하지 않을지」입니다. 필터링과 라우팅이 핵심입니다. 지식 베이스 품질 → 검색 품질 → 답변 품질, 세 단계 모두 빠져서는 안 됩니다.