AIXOps logo
AIXOps

Category Overview

Data Guide

Storage, distributed compute, OLAP query, and BI exploration

Last Scan: 오전 5:36:00 • System Optimal
Category Document
dataOpen Source Stack Map

데이터 저장/처리/조회/시각화 계층을 담당하는 영역입니다. 오브젝트 스토리지, 분산 처리, SQL 쿼리 엔진, 실시간 OLAP, BI 대시보드까지 포함합니다.

Visible Apps
6
Hidden Apps
2
Supporting
1

이 메뉴에서 하는 일

  • 오브젝트 스토리지(MinIO)
  • 분산 처리(Spark)
  • SQL 쿼리 엔진(Trino)
  • 실시간/OLAP 분석(Druid)
  • BI/대시보드(Superset)

구성 메모

  • Trino는 Hive Metastore와 연동되어 메타데이터 카탈로그를 사용합니다.
  • Druid 클러스터는 `zookeeper`, `broker`, `historical`, `middlemanager`, `router` 등 복수 노드로 구성됩니다.
  • Superset은 OIDC(Keycloak)와 프록시 prefix(`/superset`) 보정이 적용된 구성입니다.

운영 점검 포인트

  1. 1MinIO 접근 정책/SSO는 Keycloak 역할과 MinIO OIDC 설정을 함께 확인
  2. 2쿼리 지연은 Trino/Spark 리소스와 백엔드 저장소 상태를 함께 점검
  3. 3Druid 데이터 적재 이슈는 coordinator/overlord 로그와 deep storage 경로 확인

연관 데이터베이스 / 저장소

MySQL
Relational

Hive Metastore 메타데이터 저장소로 사용되며 Druid/Hive 계열 구성에서 참조됩니다.

PostgreSQL
Relational

Superset 메타데이터 DB(대시보드/차트/데이터소스 설정)로 사용됩니다.

Redis
Cache

Feast UI/서빙 계층에서 온라인 피처 캐시/저장소로 사용됩니다.

MinIO
Object Storage

데이터 레이크(raw/staging/curated/ml/logs)와 오브젝트 기반 데이터 저장소 역할을 수행합니다.

Zookeeper
Coordination

Druid 클러스터 코디네이션 및 서비스 디스커버리 계층입니다.

구성 오픈소스 / 컴포넌트

MinIO
/svc/minio
Menu

S3 호환 오브젝트 스토리지 콘솔

MinIO Viewer
/svc/minio-viewer
Menu

다중 포맷 미리보기/Office->PDF 변환 뷰어

Spark
/svc/spark
Menu

분산 처리 클러스터 UI/상태 확인

Trino
/svc/trino
Menu

분산 SQL 쿼리 엔진 관리/조회

Druid
/svc/druid
Menu

실시간 OLAP/인덱싱/분산 스토리지 라우터 UI

Superset
/svc/superset
Menu

BI 대시보드 및 데이터 탐색 UI

GK2A Viewer
/svc/viewer
Hidden

위성 데이터 뷰어 (페이지는 존재하지만 현재 사이드바 메뉴 미노출)

GK2A API
Supporting

GK2A Viewer용 백엔드 API (FastAPI)

포털 메뉴 직접 노출 대신 viewer 앱 백엔드로 동작

Feast UI (NILM)
Hidden

NILM용 별도 Feast UI 인스턴스

현재 `/feast/registry_nilm` 보조 경로로만 연결

카테고리 상태 요약

Responsive Overview Cards Enabled
Data Stores
5

카테고리 운영에 직접 연관된 저장소/DB 수

Checklist Items
3

운영 점검 루틴으로 문서화된 항목 수

SSO / Access Touchpoints
1

보안/접근 관련 운영 메모 수