Search posts, tags, users, and pages
Guía práctica para reducir el tamaño y acelerar la inferencia de un LLM mediante quantization de 8-bit y 4-bit con PyTorch y bitsandbytes.
Kervin Vasquez
@kervin5
Software Engineer @ Mentor Collective
Markdown supported · ⌘↵ to post
No responses yet.