Kubernetes

Ollama 기반 LLM 서버에서 동시 요청 증가 시 발생하는 성능 병목을 분석하고, vLLM으로 서버를 전환해 동시 사용자 50명 수준까지 안정적으로 처리할 수 있도록 개선한 과정과 결과를 정리했습니다.

Code Place의 AI 조교 기능을 운영 클러스터에서 실행하기 위해 드라이버, NVIDIA runtime, k3s containerd 설정, RuntimeClass, device plugin을 맞춰간 기록입니다.

Code Place 운영 중 PostgreSQL 인스턴스 문제처럼 보였던 장애를 Kubernetes, CloudNativePG, Longhorn, 노드 레이어로 나눠 확인하며 원인을 좁혀간 기록입니다.

Code Place 운영 중 Longhorn 볼륨 마운트 실패를 Kubernetes 이벤트, share-manager 상태, ext4 메시지, multipathd 간섭 가능성까지 내려가며 추적한 기록입니다.

Code Place 운영 중 read-only transaction 오류를 통해 CloudNativePG의 read-write, read-only 서비스 엔드포인트를 다시 확인한 기록입니다.