Deepseek R1 QLoRA 파인튜닝

사용 개념 Deepseek-R1-Distill-Llama-8B 이 블로그 글은 Deepseek-R1-Distill-Llama-8B를 4비트 양자화와 LoRA를 활용해 파인튜닝하고 허깅페이스에 모델을 호스팅하는 것까지를 설명한다. 코드 리뷰를 위해 파인튜닝하였는데, 그 코드를 변형하여 포스팅한다. Deepseek-R1-Distill-Llama-8B모델은 딥시크 R1을 경량화한 모델로 8B크기라서 쓸만한 편이다. 양자화 모델을 그냥 파인튜닝(FP3...