llm
-
LLM+RAG Hybrid Query PipelineIS & Audit 2025. 12. 17. 22:39
(@) LLM+RAG Hybrid Query Pipeline(개념 → 단계별 파이프라인 → 의사결정 로직 → 예외/품질 제어까지 포함) Hybrid RAG의 핵심은“검색을 섞는 것”이 아니라, “질문에 맞게 검색 전략을 바꾸는 것”이다. 1️⃣ Hybrid Query Pipeline 개요Hybrid RAG는 단일 검색 방식이 아니라Lexical(키워드) + Semantic(임베딩) + Reranking + LLM Reasoning을 의도 기반으로 조합하는 구조. 🔑 설계 원칙“검색 품질이 응답 품질을 결정한다”Retrieval은 다단계, Generation은 최소화불확실할수록 LLM보다 증거 강화2️⃣ 전체 Hybrid Query Pipeline 구조 3️⃣ 단계별 상세 설계 ① Query Prepr..
-
LLM + RAG 플랫폼 논리 아키텍처IS & Audit 2025. 12. 17. 22:27
(@) LLM + RAG 플랫폼 논리 아키텍처 LLM+RAG 플랫폼은 “모델”이 아니라“데이터·프롬프트·운영·보안이 결합된 시스템”이다. 1️⃣ LLM + RAG 플랫폼 전체 구조도 (Logical Architecture) 2️⃣ 레이어별 상세 설계 포인트 ① Model Layer (모델 계층)🎯 역할실제 AI 추론이 발생하는 핵심 계층RAG의 “생성(Generation)”과 “의미 이해(Semantic)”를 담당🔧 주요 구성요소구성요소설명LLM질의 응답, 요약, 추론 담당Embedding Model문서를 벡터로 변환Reranker검색 결과 재정렬Tool / Function EngineDB조회, 계산, 외부 API 연계 📌 설계 포인트LLM과 Embedding 모델 분리 설계모델 교체 시 API ..
-
AI(LLM Based RAG) 시스템 구축 - KPI & 검증 가이드IS & Audit 2025. 12. 7. 13:12
(@) LLM Based RAG 시스템 구축 - KPI & 검증 가이드 이번에는 가상의 "법원 AI 플랫폼 구축 및 모델 개발 사업"을 대상으로,구축 완료 시점에서 실제 최종사용자(법관·재판연구관·법원 실무자)가 직접 테스트하여 '구축 적정성'을 판단할 수 있는 핵심 평가지표와 검증 가이드를 만들어 보겠습니다. 실제 감리에서 "최종 사용자 관점 평가(User Acceptance Level Metrics)"는 시스템이 설계·개발자 시각이 아니라, 법원 실사용자의 업무 성과에 어떤 영향을 미치는지를 확인하는 핵심 단계이기 때문에 매우 중요합니다.아래 내용은 감리법인이 실제 UAT(User Acceptance Test) 또는 현장 검증 시 사용하는 수준으로 작성했습니다. LLM Based RAG 시스템사용자 ..