---
title: "Discussion on \"Cómo reducir el tamaño de un modelo LLM usando quantization\" | Hashnode"
description: "Discussion on \"Cómo reducir el tamaño de un modelo LLM usando quantization\". Guía práctica para reducir el tamaño y acelerar la inferencia de un LLM mediante quantization de 8-bit y 4-bit con PyTorch y bitsandbytes."
url: "https://hashnode.com/posts/como-reducir-el-tamano-de-un-modelo-llm-usando-quantization/68a6b23eee3d547bfd893fac"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [Cómo reducir el tamaño de un modelo LLM usando quantization](https://kervin.blog/como-reducir-el-tamano-de-un-modelo-llm-usando-quantization?utm_source=hashnode&utm_medium=feed)

Guía práctica para reducir el tamaño y acelerar la inferencia de un LLM mediante quantization de 8-bit y 4-bit con PyTorch y bitsandbytes.

Aug 21, 2025 · 4 min read · kervin.blog  
Read the article

-   [#optimizacion](https://hashnode.com/tag/optimizacion)
-   [#llm](https://hashnode.com/tag/llm)
-   [#machine-learning](https://hashnode.com/tag/machine-learning)
-   [#quantization](https://hashnode.com/tag/quantization)

## Written by

[Kervin Vasquez](https://hashnode.com/@kervin5)

@kervin5

  
[View profile](https://hashnode.com/@kervin5)

Software Engineer @ Mentor Collective

## Responses

Markdown supported · ⌘↵ to post

No responses yet.
