LLM + RAG 플랫폼 논리 아키텍처

(@) LLM + RAG 플랫폼 논리 아키텍처

 

LLM+RAG 플랫폼은 “모델”이 아니라
“데이터·프롬프트·운영·보안이 결합된 시스템”이다.

 

1️⃣ LLM + RAG 플랫폼 전체 구조도 (Logical Architecture)

 

 

2️⃣ 레이어별 상세 설계 포인트

 

① Model Layer (모델 계층)

🎯 역할

• 실제 AI 추론이 발생하는 핵심 계층
• RAG의 “생성(Generation)”과 “의미 이해(Semantic)”를 담당

🔧 주요 구성요소

구성요소	설명
LLM	질의 응답, 요약, 추론 담당
Embedding Model	문서를 벡터로 변환
Reranker	검색 결과 재정렬
Tool / Function Engine	DB조회, 계산, 외부 API 연계

 

📌 설계 포인트

• LLM과 Embedding 모델 분리 설계
• 모델 교체 시 API 인터페이스 불변
• Latency-sensitive vs Accuracy-sensitive 모델 분리 가능

---

② Data Layer (데이터 계층)

🎯 역할

• RAG의 “지식 기반(Knowledge Base)” 담당
• 검색 품질을 좌우하는 핵심 레이어

🔧 주요 구성요소

구성요소	설명
Vector DB	Embedding 저장 및 유사도 검색
Document Store	원본 문서 저장
Metadata Store	출처, 권한, 버전 정보
Dataset Versioning	데이터셋 변경 이력 관리

 

📌 설계 포인트

• Chunk 단위 + Metadata 설계가 성능 결정
• 인덱스 재생성(rollback) 가능 구조
• 권한 기반 검색(Access-aware Retrieval)

---

③ RAG Orchestration Layer (RAG 제어 계층)

🎯 역할

• RAG 파이프라인의 두뇌
• 검색 → 재정렬 → 컨텍스트 구성 → 생성 흐름 제어

🔧 주요 기능

• Query 분석 및 의도 분류
• Retrieval 전략 선택 (Hybrid / Multi-hop)
• Context Window 관리
• Evidence 기반 응답 유도

📌 설계 포인트

• 파이프라인을 코드가 아닌 설정 중심으로 설계
• 실험(A/B)과 운영 분리
• 체인 단위 로그 필수

---

④ Prompt Service Layer (프롬프트 계층)

🎯 역할

• 프롬프트를 운영 자산으로 관리

🔧 주요 기능

• 프롬프트 템플릿 관리
• 도메인별 프롬프트 분기
• 프롬프트 + 모델 매핑
• A/B 테스트

📌 설계 포인트

• Prompt ≠ 코드
• 버전·승인·배포 개념 필수
• 결과 품질 로그와 연계

---

⑤ API Gateway Layer

🎯 역할

• 외부와 내부를 연결하는 단일 진입점

🔧 주요 기능

기능	설명
인증/인가	OAuth, JWT, API Key
Rate Limit	과금·보안 보호
Routing	모델/API 분기
Versioning	API 안정성

 

📌 설계 포인트

• 모델 직접 노출 금지
• API Gateway에서 비즈니스 로직 배제
• Zero Trust 접근 원칙

---

⑥ Model Management / LLMOps Layer

🎯 역할

• AI를 “운영 가능한 시스템”으로 만드는 핵심

🔧 주요 기능

• 모델 버전관리
• 배포/롤백
• 성능 비교
• 비용 관리
• 실험 이력 관리

📌 설계 포인트

• 재현성 확보가 최우선
• 모델/프롬프트/데이터 연계 추적
• 감리·감사 대응 필수 영역

---

⑦ Monitoring Layer

🎯 역할

• 품질, 비용, 안정성의 실시간 감시

🔧 주요 지표

구분	예
성능	Latency, Throughput
품질	Retrieval hit rate, hallucination
비용	Token usage, GPU cost
안정성	Error rate, timeout

 

📌 설계 포인트

• “느낌”이 아니라 수치로 관리
• 사용자 피드백과 연계

---

⑧ Security / Compliance Layer

🎯 역할

• AI 특화 보안과 규제 대응

🔧 주요 기능

• PII 탐지 및 마스킹
• Prompt Injection 방어
• 데이터 접근 통제
• Audit Log

📌 설계 포인트

• 보안은 사후가 아니라 설계 단계
• LLM 특화 위협 모델 반영 필요

25.12.17.

Horus Hawks