ⓒheck the Fact, Fake, and Flag.

(@) 법률 RAG 시스템 KPI 법률 RAG 시스템을 안심하고 사용하기 위해서는 다음 세 가지 의문이 해소되어야 합니다. 이에 대한 해답을 정량적 수치로 증명하는 것이 본 평가의 목적입니다.신뢰성 (Reliability): "AI가 없는 판례를 지어내거나(Hallucination), 법리를 왜곡하지 않는가?"정확성 (Accuracy): "검색 결과가 내 사건 쟁점과 정확히 일치하는가?"효용성 (Utility): "실제 업무에 도움이 되는 속도와 편의성을 갖추었는가?" RAG 평가의 3요소 (The RAG Triad)RAG에서는 쿼리, 검색된 컨텍스트, 생성된 응답이라는 세 가지 주요 구성 요소를 사용하여 품질을 평가할 수 있습니다. 검색 품질 저하, 잘못된 정보 제공, 관련 없는 답변 등 RAG의 일반..

(@) Legal Ontoloty and Knowledge Graph (1)판결문, (2)소장, (3)준비서면, (4)답변서, (5)조서, (6)문헌, (7)실무제요, (8)종합법률DB등 법률 데이터를 기반으로LLM 기반의 RAG 시스템 구축을 위한온톨로지 및 지식 그래프 구축을 위한 방안을 제안합니다. Hybrid RAG(Rule + Semantic + Knowledge Graph)구축 방안법률 데이터(판결문, 소장, 준비서면 등)는 비정형 텍스트이지만 논리적 구조가 매우 탄탄한 '고밀도 데이터'입니다. 따라서 일반적인 RAG(Retrieval-Augmented Generation) 방식보다는 **법률 도메인의 특수성(논리, 인용, 절차)**을 반영한 'Hybrid RAG(Rule + Semantic ..

(@) LLM Based RAG 시스템 구축 - KPI & 검증 가이드 이번에는 가상의 "법원 AI 플랫폼 구축 및 모델 개발 사업"을 대상으로,구축 완료 시점에서 실제 최종사용자(법관·재판연구관·법원 실무자)가 직접 테스트하여 '구축 적정성'을 판단할 수 있는 핵심 평가지표와 검증 가이드를 만들어 보겠습니다. 실제 감리에서 "최종 사용자 관점 평가(User Acceptance Level Metrics)"는 시스템이 설계·개발자 시각이 아니라, 법원 실사용자의 업무 성과에 어떤 영향을 미치는지를 확인하는 핵심 단계이기 때문에 매우 중요합니다.아래 내용은 감리법인이 실제 UAT(User Acceptance Test) 또는 현장 검증 시 사용하는 수준으로 작성했습니다. LLM Based RAG 시스템사용자 ..

아래 내용은 AI 플랫폼 구축과 모델 개발 사업에 대한 감리 단계를 설계단계 / 구축(종료)단계로 구분하고, 4대 감리영역: 1. 사업관리, 2. 응용(서비스), 3. 데이터, 4. 아키텍처(플랫폼·보안) 별로 점검항목 – 상세 검토항목 – 대상 산출물을 모두 표 형태로 정리한 감리 체크리스트입니다. AI 모델 사업은 전통 SW 사업과 다른, 다음과 같은 특성을 고려하였습니다.데이터 품질 기반모델 불확실성운영 중 지속 검증 필요보안·접근 통제 중요Ⅰ. 설계단계영역순번점검항목상세 검토항목대상 산출물사업관리1범위 정의서 적정성- AI 모델 개발 범위 정의의 명확성 (LLM·RAG·Inference 등 포함 여부) - 데이터 구축 범위(수집·정제·라벨링) 명확성 - 플랫폼 구축 범위(GPU·LLMOps·보안)..

(@) AI 플랫폼 구축 및 모델 개발 사업 감리 - 핵심 점검 포인트 「지능정보기술 감리 실무 가이드(2023.2)」를 'AI 플랫폼 구축 및 모델 개발 사업'에 적용할 때 반드시 참조해야 할 핵심 요소만 골라 재구성한 내용입니다. AI 플랫폼 구축 사업은 빅데이터 + 클라우드 + 운영·유지관리가 결합된 형태이므로 세 영역에서 실제로 중요한 감리 포인트만 추려서 정리했습니다.✅ 1. 사업 전체 핵심 감리 포인트 AI 플랫폼 구축 사업은 아래 네 가지가 감리의 핵심 기준이 된다. ① 요구사항 → 데이터 → 모델 → 서비스 → 운영까지 전주기 일관성사업 목적 → 데이터 수집/구축 → 분석/AI모델 개발 → 서비스 제공 → 운영·보안전 과정의 흐름이 단절 없이 정합성을 가져야 한다.→ 요구사항 정의 미흡은 ..

지능정보기술 감리 실무 가이드핵심 요약 「지능정보기술 감리 실무 가이드(2023.2)」 전체 구조와 핵심 내용을 A4 용지 2페이지 분량(약 2~3천 자) 수준으로 압축한 요약입니다.문서 전체가 빅데이터, 클라우드, 정보시스템 운영·유지관리 3대 영역을 중심으로 구성되어 있어, 그 핵심을 단계별로 정리했습니다. 1. 문서의 목적 및 체계본 가이드는 「정보시스템 감리기준」 제23조에 근거하여, 지능정보기술 기반 정보화사업(빅데이터·클라우드·운영/유지관리) 감리에 필요한 단계별 점검 항목·검토 기준·산출물 요구사항을 제시하는 실무 지침이다.감리의 본질은 준거성 확보이며, 사업계획-분석-설계-구현-운영 단계 전체를 통해 위험 식별, 통제 방안 검증, 표준 준수 여부를 점검한다.2. 빅데이터 정보화사업 감리 가..

SW 개발보안 점검항목 [Figure] MS SDL(MicroSoft Secure Development Lifecycle) (요구정의단계)1. SW 개발보안계획을 적정하게 수립하여 관리하고 있는지 여부검토항목01. 사업수행계획서에 적용범위, 투입인력, 수행일정 및 진단 계획 등 SW 개발보안 계획이 구체적으로 명시되어 있는가? - 제안요청서/제안서/계약서와 사업수행계획서 간의 일관성, 적용범위 누락 등02. 개발보안 가이드 준수여부 - 적용기준 및 지침 등 마련여부 및 참여 개발인력의 숙지여부 점검 (설계단계)2. 방법론, 절차수립 및 준수여부01. SW 개발보안을 수행하기 위한 방법론이 결정되고, 사업규모, 일정 등을 고려하여 이루어졌는가? - 방법론, 일정 등02. SW 개발보안 수행을 위한 절차가 ..

우수한 프리젠테이션을 위한 7가지 원칙들 (Seven Principles for Excellent Presentation) 제안서를 다 만들었습니까? 이제, 여러분은 “잘 보여야 할” 사람들(사장, 부서장, 클라이언트 등) 앞에서 제안서를 프리젠테이션 해야 합니다. 우수한 프리젠테이션을 하기 위해서는 어떻게 해야 할까요? 좋은 프리젠테이션을 위한 7가지 원칙(principle)이 있습니다. 프리젠테이션을 위한 기술들(techniques)을 익히기 전에, 원칙을 습관화 하는 것이 무엇보다 자신을 excellent presenter로 변화시키는 가장 중요한 요소입니다. 1. 좋은 proposal (presentation내용)이 있어야 한다. l 당연한 말처럼 들릴지 모르지만, 좋은 PR Presentatio..