ⓒheck the Fact, Fake, and Flag.

(@) LLM+RAG Hybrid Query Pipeline(개념 → 단계별 파이프라인 → 의사결정 로직 → 예외/품질 제어까지 포함) Hybrid RAG의 핵심은“검색을 섞는 것”이 아니라, “질문에 맞게 검색 전략을 바꾸는 것”이다. 1️⃣ Hybrid Query Pipeline 개요Hybrid RAG는 단일 검색 방식이 아니라Lexical(키워드) + Semantic(임베딩) + Reranking + LLM Reasoning을 의도 기반으로 조합하는 구조. 🔑 설계 원칙“검색 품질이 응답 품질을 결정한다”Retrieval은 다단계, Generation은 최소화불확실할수록 LLM보다 증거 강화2️⃣ 전체 Hybrid Query Pipeline 구조 3️⃣ 단계별 상세 설계 ① Query Prepr..

(@) LLM + RAG 플랫폼 논리 아키텍처 LLM+RAG 플랫폼은 “모델”이 아니라“데이터·프롬프트·운영·보안이 결합된 시스템”이다. 1️⃣ LLM + RAG 플랫폼 전체 구조도 (Logical Architecture) 2️⃣ 레이어별 상세 설계 포인트 ① Model Layer (모델 계층)🎯 역할실제 AI 추론이 발생하는 핵심 계층RAG의 “생성(Generation)”과 “의미 이해(Semantic)”를 담당🔧 주요 구성요소구성요소설명LLM질의 응답, 요약, 추론 담당Embedding Model문서를 벡터로 변환Reranker검색 결과 재정렬Tool / Function EngineDB조회, 계산, 외부 API 연계 📌 설계 포인트LLM과 Embedding 모델 분리 설계모델 교체 시 API ..

(@) 법률 RAG 시스템 KPI 법률 RAG 시스템을 안심하고 사용하기 위해서는 다음 세 가지 의문이 해소되어야 합니다. 이에 대한 해답을 정량적 수치로 증명하는 것이 본 평가의 목적입니다.신뢰성 (Reliability): "AI가 없는 판례를 지어내거나(Hallucination), 법리를 왜곡하지 않는가?"정확성 (Accuracy): "검색 결과가 내 사건 쟁점과 정확히 일치하는가?"효용성 (Utility): "실제 업무에 도움이 되는 속도와 편의성을 갖추었는가?" RAG 평가의 3요소 (The RAG Triad)RAG에서는 쿼리, 검색된 컨텍스트, 생성된 응답이라는 세 가지 주요 구성 요소를 사용하여 품질을 평가할 수 있습니다. 검색 품질 저하, 잘못된 정보 제공, 관련 없는 답변 등 RAG의 일반..

(@) Legal Ontoloty and Knowledge Graph (1)판결문, (2)소장, (3)준비서면, (4)답변서, (5)조서, (6)문헌, (7)실무제요, (8)종합법률DB등 법률 데이터를 기반으로LLM 기반의 RAG 시스템 구축을 위한온톨로지 및 지식 그래프 구축을 위한 방안을 제안합니다. Hybrid RAG(Rule + Semantic + Knowledge Graph)구축 방안법률 데이터(판결문, 소장, 준비서면 등)는 비정형 텍스트이지만 논리적 구조가 매우 탄탄한 '고밀도 데이터'입니다. 따라서 일반적인 RAG(Retrieval-Augmented Generation) 방식보다는 **법률 도메인의 특수성(논리, 인용, 절차)**을 반영한 'Hybrid RAG(Rule + Semantic ..

(@) LLM Based RAG 시스템 구축 - KPI & 검증 가이드 이번에는 가상의 "법원 AI 플랫폼 구축 및 모델 개발 사업"을 대상으로,구축 완료 시점에서 실제 최종사용자(법관·재판연구관·법원 실무자)가 직접 테스트하여 '구축 적정성'을 판단할 수 있는 핵심 평가지표와 검증 가이드를 만들어 보겠습니다. 실제 감리에서 "최종 사용자 관점 평가(User Acceptance Level Metrics)"는 시스템이 설계·개발자 시각이 아니라, 법원 실사용자의 업무 성과에 어떤 영향을 미치는지를 확인하는 핵심 단계이기 때문에 매우 중요합니다.아래 내용은 감리법인이 실제 UAT(User Acceptance Test) 또는 현장 검증 시 사용하는 수준으로 작성했습니다. LLM Based RAG 시스템사용자 ..

아래 내용은 AI 플랫폼 구축과 모델 개발 사업에 대한 감리 단계를 설계단계 / 구축(종료)단계로 구분하고, 4대 감리영역: 1. 사업관리, 2. 응용(서비스), 3. 데이터, 4. 아키텍처(플랫폼·보안) 별로 점검항목 – 상세 검토항목 – 대상 산출물을 모두 표 형태로 정리한 감리 체크리스트입니다. AI 모델 사업은 전통 SW 사업과 다른, 다음과 같은 특성을 고려하였습니다.데이터 품질 기반모델 불확실성운영 중 지속 검증 필요보안·접근 통제 중요Ⅰ. 설계단계영역순번점검항목상세 검토항목대상 산출물사업관리1범위 정의서 적정성- AI 모델 개발 범위 정의의 명확성 (LLM·RAG·Inference 등 포함 여부) - 데이터 구축 범위(수집·정제·라벨링) 명확성 - 플랫폼 구축 범위(GPU·LLMOps·보안)..

(@) AI 플랫폼 구축 및 모델 개발 사업 감리 - 핵심 점검 포인트 「지능정보기술 감리 실무 가이드(2023.2)」를 'AI 플랫폼 구축 및 모델 개발 사업'에 적용할 때 반드시 참조해야 할 핵심 요소만 골라 재구성한 내용입니다. AI 플랫폼 구축 사업은 빅데이터 + 클라우드 + 운영·유지관리가 결합된 형태이므로 세 영역에서 실제로 중요한 감리 포인트만 추려서 정리했습니다.✅ 1. 사업 전체 핵심 감리 포인트 AI 플랫폼 구축 사업은 아래 네 가지가 감리의 핵심 기준이 된다. ① 요구사항 → 데이터 → 모델 → 서비스 → 운영까지 전주기 일관성사업 목적 → 데이터 수집/구축 → 분석/AI모델 개발 → 서비스 제공 → 운영·보안전 과정의 흐름이 단절 없이 정합성을 가져야 한다.→ 요구사항 정의 미흡은 ..

지능정보기술 감리 실무 가이드핵심 요약 「지능정보기술 감리 실무 가이드(2023.2)」 전체 구조와 핵심 내용을 A4 용지 2페이지 분량(약 2~3천 자) 수준으로 압축한 요약입니다.문서 전체가 빅데이터, 클라우드, 정보시스템 운영·유지관리 3대 영역을 중심으로 구성되어 있어, 그 핵심을 단계별로 정리했습니다. 1. 문서의 목적 및 체계본 가이드는 「정보시스템 감리기준」 제23조에 근거하여, 지능정보기술 기반 정보화사업(빅데이터·클라우드·운영/유지관리) 감리에 필요한 단계별 점검 항목·검토 기준·산출물 요구사항을 제시하는 실무 지침이다.감리의 본질은 준거성 확보이며, 사업계획-분석-설계-구현-운영 단계 전체를 통해 위험 식별, 통제 방안 검증, 표준 준수 여부를 점검한다.2. 빅데이터 정보화사업 감리 가..