딥러닝 API, GPU+도커로 서빙하기 (feat. on premise)

COG? COG(Github)는 PyTorch와 같은 딥러닝 모델을 서빙하기 위해 나온 🐳도커 이미지 빌드 툴로, 간단한 YAML 파일과 Python 패키지 설정만으로 FastAPI에 기반한 웹 API를 제작해준다. 🤗 Transformers 라이브러리로 사용해보기 COG Yaml 파일 cog yaml 파일은 아래와 같은 형식을 가진다. 가장 주요한 특징은 gpu: true로 옵션을 제공할 경우, 아래 python_packages에 torc...