LLM+RAG Hybrid Query Pipeline

(@) LLM+RAG Hybrid Query Pipeline

(개념 → 단계별 파이프라인 → 의사결정 로직 → 예외/품질 제어까지 포함)

 

Hybrid RAG의 핵심은
“검색을 섞는 것”이 아니라, “질문에 맞게 검색 전략을 바꾸는 것”이다.

 

1️⃣ Hybrid Query Pipeline 개요

Hybrid RAG는 단일 검색 방식이 아니라

Lexical(키워드) + Semantic(임베딩) + Reranking + LLM Reasoning
을 의도 기반으로 조합하는 구조.

 

🔑 설계 원칙

• “검색 품질이 응답 품질을 결정한다”
• Retrieval은 다단계, Generation은 최소화
• 불확실할수록 LLM보다 증거 강화

2️⃣ 전체 Hybrid Query Pipeline 구조

 

 3️⃣ 단계별 상세 설계

 ① Query Preprocessing

🎯 목적

• 검색 실패의 70%는 질의 전처리 문제

🔧 처리 내용

• 불용어 제거 / 정규화
• 약어·동의어 확장
• 문장 길이 분해 (Multi-question detection)
• 금칙어·보안 필터

📌 산출물

• 정제된 Query
• 원본 Query 유지 (Audit)

 

② Query Intent & Type Classification

🎯 목적

• “이 질문은 검색이 필요한가? 추론이 필요한가?”

🔧 분류 예시

유형	설명
Fact Lookup	규정, 문서 근거
Procedural	절차·단계
Analytical	비교·판단
Conversational	설명형
Tool-required	계산, DB 조회

 

📌 설계 포인트

• 경량 LLM or Rule + LLM 혼합
• 결과는 파이프라인 분기 트리거

 

③A Lexical Retrieval (Sparse)

🎯 목적

• 정확한 키워드·조항·숫자 검색

🔧 방식

• BM25 / TF-IDF
• Title, Heading 가중치 부여
• Boolean Query 허용

📌 장점

• 정확도·재현성 우수
• 규정/법령/매뉴얼에 강함

 

③B Semantic Retrieval (Dense)

🎯 목적

• 의미 기반 검색
• 질문 표현이 문서와 다를 때 대응

🔧 방식

• Embedding → Vector DB
• Top-K (K=20~50)
• Metadata filtering (권한, 최신성)

📌 장점

• 자연어 대응
• 표현 다양성 흡수

 

③C Tool Decision (Optional)

🎯 목적

• 검색이 아닌 행위가 필요한 경우

🔧 예시

• 계산기
• DB 조회
• 외부 시스템 호출

📌 설계 포인트

• Tool 사용은 LLM이 아닌 사전 판별 권장

 

④ Retrieval Fusion (Hybrid Merge)

🎯 목적

• Sparse + Dense 결과 결합

🔧 대표 기법

방식	설명
RRF	Reciprocal Rank Fusion
Weighted Merge	상황별 가중치
Rule-based	문서 타입별 우선

 

📌 설계 포인트

• 법령/규정 → Lexical 가중 ↑
• 설명형 질문 → Semantic 가중 ↑

 

⑤ Reranking

🎯 목적

• Top-K 중 진짜 쓸 문서 선별

🔧 방식

• Cross-Encoder
• LLM-based reranker
• Score threshold

📌 산출물

• 최종 Top-N (N=3~8)

 

⑥ Context Filtering & Packing

🎯 목적

• Context Window 초과 방지
• 중복 제거

🔧 처리

• Chunk 병합
• Evidence scoring
• Metadata 유지 (출처)

📌 설계 포인트

• “많이 넣는 것”보다 “맞는 것”

 

⑦ Prompt Assembly

🎯 목적

• LLM이 근거 기반으로 답하도록 유도

🔧 구성

[System Prompt]

[Role & Policy]

[Retrieved Evidence]

[User Question]

[Answer Constraints]

📌 규칙

• Evidence 외 추론 금지 옵션 가능
• 출처 명시 강제

 

⑧ LLM Generation

🎯 목적

• 최종 응답 생성

🔧 옵션

• Temperature 낮게
• Chain-of-Thought 제한/비공개
• Tool-call 가능

 

⑨ Post-processing & Validation

🎯 목적

• 환각·보안·품질 통제

🔧 처리

• Evidence 미사용 응답 차단
• PII 제거
• 답변 길이/형식 검증

 

4️⃣ 품질 제어 & 예외 흐름

🔄 Fallback 전략

상황	대응
검색 실패	질의 재작성 후 재검색
Evidence 부족	“정보 없음” 응답
Low confidence	사용자 재질문 유도

 

5️⃣ 로그 & 운영 지표

📊 필수 로그

• Query → Retrieval → Rerank → Answer Trace
• Token usage
• Evidence hit rate

 

2025.12.17.

Horus Hawks