벤치마크가 다가 아니야! vLLM으로 보는 LLM 추론 최적화

들어가며 AI 모델의 성능이라고 하면 어떤 게 가장 먼저 떠오르나요? 저는 새 모델이 발표될 때마다 함께 공개되는 여러 벤치마크 점수가 가장 먼저 생각납니다. 그런데 이번에 Ollama x FriendliAI Seoul Meetup에 다녀오면서, AI 모델을 서빙하는 입장에서는 이 점수뿐 아니라 응답 속도나 동시에 처리할 수 있는 요청 수, 비용 같은 추론