Category Overview
LLMOps Guide
LLM gateway, observability, and GenAI operations control plane
생성형 AI 운영(LLMOps) 기능을 모아둔 영역입니다. 모델 게이트웨이, 관측/추적, 운영 허브 UI를 중심으로 구성되어 있습니다.
핵심 서비스 스냅샷
5 ItemsLLM 운영 기능 모음 진입점
LLM API Gateway 및 모델 라우팅/정책 관리
LLM 호출 트레이싱/프롬프트/관측 UI
로컬/온프레미스 LLM 추론 런타임
임베딩/벡터 저장소
- LLM 게이트웨이(LiteLLM)
- 프롬프트/트레이스 관측(Langfuse)
- 운영 허브/진입점(LLMOps Hub)
- 온프레미스 모델 런타임(Ollama) 및 벡터스토어(ChromaDB) 연계
- 1LiteLLM 로그인 문제 시 OIDC client redirect URI + nginx `/llm/*` 라우팅 확인
- 2Langfuse iframe 로딩 이슈는 CSRF/signin POST/callback 순서 로그로 확인
- 3모델 응답 이슈는 LiteLLM upstream 모델 연결과 Ollama 상태를 함께 점검
이 메뉴에서 하는 일
- LLM 게이트웨이(LiteLLM)
- 프롬프트/트레이스 관측(Langfuse)
- 운영 허브/진입점(LLMOps Hub)
- 온프레미스 모델 런타임(Ollama) 및 벡터스토어(ChromaDB) 연계
구성 메모
- LiteLLM, Langfuse, Open WebUI는 모두 Keycloak 기반 SSO 흐름과 포털 자동 진입 UX가 적용된 상태입니다.
- Langfuse는 NextAuth 기반 인증 흐름과 Keycloak provider를 사용합니다.
- 일부 도구(예: OCRmyPDF/pyhwp/AWQ)는 작업형 도구라 포털에서 운영 가이드 중심으로 노출됩니다.
운영 점검 포인트
- 1LiteLLM 로그인 문제 시 OIDC client redirect URI + nginx `/llm/*` 라우팅 확인
- 2Langfuse iframe 로딩 이슈는 CSRF/signin POST/callback 순서 로그로 확인
- 3모델 응답 이슈는 LiteLLM upstream 모델 연결과 Ollama 상태를 함께 점검
연관 데이터베이스 / 저장소
Langfuse v3의 대용량 트레이스/이벤트 OLAP 저장소로 사용됩니다.
LLMOps 서비스 메타데이터/설정/사용자 상태 저장(서비스별 구성에 따라 사용) 역할을 합니다.
Langfuse/Open WebUI/LiteLLM 계열 메타데이터 저장소로 활용될 수 있음
Langfuse 워커 큐/세션/임시 작업 처리 및 일부 서비스 캐시 계층에서 사용됩니다.
임베딩/벡터 검색 저장소로 RAG/LLM 애플리케이션 백엔드에 연결됩니다.
하이브리드 리트리벌을 위한 BM25 기반 텍스트 검색 엔진입니다.
IoT/헬스케어 시계열 원천 데이터를 장기 저장하고 추이 질의에 활용합니다.
데이터셋 버전 관리(브랜치/머지/롤백)로 재현성과 거버넌스를 강화합니다.
구성 오픈소스 / 컴포넌트
LLM 운영 기능 모음 진입점
LLM API Gateway 및 모델 라우팅/정책 관리
LLM 호출 트레이싱/프롬프트/관측 UI
RAG/벡터/트레이스 관측 UI
ReBAC 기반 권한 모델/검증 UI
PII 탐지·마스킹 API 콘솔
실시간 스트림 토픽/컨슈머 운영 UI
데이터 버전 관리 및 브랜치 기반 운영 UI
문서 파싱/텍스트 추출 API
시계열 저장소 운영 정보
정책 평가(Policy-as-Code) API
GPU 고성능 OpenAI 호환 서빙 엔진
PC 친화형 GGUF 추론 서버
스캔 PDF OCR 배치 툴체인
HWP 파싱 유틸리티
경량화 양자화 작업 도구
카테고리 상태 요약
카테고리 운영에 직접 연관된 저장소/DB 수
운영 점검 루틴으로 문서화된 항목 수
보안/접근 관련 운영 메모 수