LLM

Ollama 기반 LLM 서버의 동시 요청 병목을 분석하고 vLLM으로 전환해 동시 사용자 50명 수준까지 안정적으로 처리하도록 개선했습니다.

DocDoc에서 질문만 LLM에 전달할 때 생기는 근거 없는 답변을 RAG, reranking, SSE 스트리밍으로 줄였습니다.