Groundedness
-
법률 RAG 시스템 KPIIS & Audit 2025. 12. 13. 12:29
(@) 법률 RAG 시스템 KPI 법률 RAG 시스템을 안심하고 사용하기 위해서는 다음 세 가지 의문이 해소되어야 합니다. 이에 대한 해답을 정량적 수치로 증명하는 것이 본 평가의 목적입니다.신뢰성 (Reliability): "AI가 없는 판례를 지어내거나(Hallucination), 법리를 왜곡하지 않는가?"정확성 (Accuracy): "검색 결과가 내 사건 쟁점과 정확히 일치하는가?"효용성 (Utility): "실제 업무에 도움이 되는 속도와 편의성을 갖추었는가?" RAG 평가의 3요소 (The RAG Triad)RAG에서는 쿼리, 검색된 컨텍스트, 생성된 응답이라는 세 가지 주요 구성 요소를 사용하여 품질을 평가할 수 있습니다. 검색 품질 저하, 잘못된 정보 제공, 관련 없는 답변 등 RAG의 일반..