ⓒheck the Fact, Fake, and Flag.

(@) 법률 RAG 시스템 KPI 법률 RAG 시스템을 안심하고 사용하기 위해서는 다음 세 가지 의문이 해소되어야 합니다. 이에 대한 해답을 정량적 수치로 증명하는 것이 본 평가의 목적입니다.신뢰성 (Reliability): "AI가 없는 판례를 지어내거나(Hallucination), 법리를 왜곡하지 않는가?"정확성 (Accuracy): "검색 결과가 내 사건 쟁점과 정확히 일치하는가?"효용성 (Utility): "실제 업무에 도움이 되는 속도와 편의성을 갖추었는가?" RAG 평가의 3요소 (The RAG Triad)RAG에서는 쿼리, 검색된 컨텍스트, 생성된 응답이라는 세 가지 주요 구성 요소를 사용하여 품질을 평가할 수 있습니다. 검색 품질 저하, 잘못된 정보 제공, 관련 없는 답변 등 RAG의 일반..

(@) LLM Based RAG 시스템 구축 - KPI & 검증 가이드 이번에는 가상의 "법원 AI 플랫폼 구축 및 모델 개발 사업"을 대상으로,구축 완료 시점에서 실제 최종사용자(법관·재판연구관·법원 실무자)가 직접 테스트하여 '구축 적정성'을 판단할 수 있는 핵심 평가지표와 검증 가이드를 만들어 보겠습니다. 실제 감리에서 "최종 사용자 관점 평가(User Acceptance Level Metrics)"는 시스템이 설계·개발자 시각이 아니라, 법원 실사용자의 업무 성과에 어떤 영향을 미치는지를 확인하는 핵심 단계이기 때문에 매우 중요합니다.아래 내용은 감리법인이 실제 UAT(User Acceptance Test) 또는 현장 검증 시 사용하는 수준으로 작성했습니다. LLM Based RAG 시스템사용자 ..