vLLM

Ollama 기반 LLM 서버의 동시 요청 병목을 분석하고 vLLM으로 전환해 동시 사용자 50명 수준까지 안정적으로 처리하도록 개선했습니다.

Code Place AI 조교 기능을 운영 클러스터에서 실행하기 위해 NVIDIA 드라이버, runtime, k3s containerd, RuntimeClass, device plugin 설정을 맞췄습니다.