Descargue Ollama o LM Studio, seleccione un modelo y en cuestión de minutos podrá iniciar un chatbot local. Este servicio no requiere una tarifa de suscripción y puede funcionar sin conexión a Internet, además, sus datos no abandonarán su computadora. Sin embargo, hay una limitación: los modelos que puede ejecutar y su velocidad de respuesta dependen completamente del rendimiento de su computadora. Una computadora cotidiana con 16GB de RAM puede ejecutar modelos relativamente pequeños de aproximadamente siete a ocho mil millones de parámetros, como Meta Llama 3.1 8B o Qwen3 8B de Alibaba, y una tarjeta gráfica con 8GB de VRAM puede ejecutar estos modelos más rápidamente.
Sin embargo, estos modelos todavía tienen una gran diferencia en comparación con los modelos de vanguardia detrás de ChatGPT o Claude en la actualidad. Si desea ejecutar modelos más cercanos a estos, necesitará al menos 32GB de memoria y una tarjeta gráfica con 16GB o más de VRAM, lo cual no es barato en los precios actuales.
Requisitos para ejecutar modelos de chatbot locales
La memoria requerida por los modelos es casi linealmente proporcional a su tamaño, que se mide en miles de millones de parámetros (B). La mayoría de las personas ejecutan versiones comprimidas ("cuantizadas") de modelos locales, donde cada parámetro se almacena en aproximadamente cuatro bits, reduciendo el tamaño del modelo a aproximadamente una cuarta parte de su tamaño original. En la biblioteca de Ollama, el tamaño de Llama 3.1 8B es de 4.9GB, Phi-4 de Microsoft es de 9.1GB, Gemma 3 27B de Google es de 17GB, mientras que Llama 3.3 70B de Meta es de 43GB.
El principio general de Ollama es que un modelo de 7B necesita 8GB de RAM, un modelo de 13B necesita 16GB, y un modelo de 33B necesita 32GB. El gpt-oss-20b de OpenAI tiene 21 mil millones de parámetros, pero cada token utiliza solo 360 millones de parámetros, lo cual se logra mediante un diseño llamado "mezcla de expertos". Esto permite que sea rápido en su respuesta, pero el modelo aún debe ajustarse a la memoria disponible. OpenAI indica que puede "funcionar con solo 16GB de memoria", pero en Ollama requiere 14GB, casi agotando toda la memoria de una computadora de 16GB.
Relación entre la velocidad de ejecución y el ancho de banda de memoria
Cada vez que el modelo genera una palabra, o más precisamente un token, debe recuperar todos los parámetros uno por uno. Por lo tanto, la velocidad depende principalmente del ancho de banda de la memoria, no de la capacidad de procesamiento bruto. Los ingenieros de Nvidia describen esta etapa como "limitada por la memoria". La velocidad de la VRAM de la tarjeta gráfica es varias veces más rápida que la RAM del resto de la computadora, por lo que los modelos que pueden ejecutarse en la GPU son mucho más rápidos que los que se desbordan a la memoria del sistema. Como regla general, una velocidad de generación de cinco a diez tokens por segundo puede seguir el ritmo de la mayoría de las personas al leer.
En las pruebas de LMSYS, se encontró que la RTX 5090 de Nvidia puede generar texto del gpt-oss-20b de OpenAI a una velocidad de 205 tokens por segundo. En comparación, las pruebas de referencia de llama.cpp muestran que el chip M4 básico de Apple puede generar aproximadamente 24 tokens por segundo en un modelo de 7B.
Ollama probó el DGX Spark de Nvidia, una computadora de desarrollo de IA con un precio de US$3,999 (aproximadamente HK$31,199), que generó a una velocidad de 38 tokens por segundo en Llama 3.1 8B, mientras que en la versión de 70B fue de solo 4.42. Personalmente, he ejecutado Mistral 7B en un Asus Zenbook Duo 2024 equipado con 32GB de RAM y un NPU Intel AI Boost.
A través de Ollama, Mistral llevó la utilización de CPU al 52%, con un uso de memoria de aproximadamente 17GB. Este uso es aceptable, pero si hay otras aplicaciones exigentes ejecutándose al mismo tiempo, puede ralentizar la computadora portátil. Usando el kit de herramientas OpenVINO de Intel, el modelo mantuvo la NPU en un 98% de uso, mientras que la CPU solo en un 3%, manteniendo una rápida respuesta de la computadora portátil al generar aproximadamente 2,500 palabras (contenido sin sentido).
En el ranking de abril de 2026 de Artificial Analysis, Qwen3.5 27B de Alibaba en China obtuvo una puntuación de 42 en su índice de inteligencia, empatando con GPT-5 de OpenAI en configuraciones medias, mientras que Gemma 4 31B de Google obtuvo 39. Sin embargo, los modelos de vanguardia en la nube alcanzaron puntuaciones de hasta 57, y Qwen3.5 27B requiere entre 17GB y 20GB de memoria, lo que claramente excede la capacidad de una computadora de 16GB.
Sin embargo, incluso las computadoras más potentes apenas pueden satisfacer las demandas de la inteligencia de vanguardia. El Kimi K2.6 de Moonshot es un modelo con 1 billón de parámetros, que al lanzarse en abril de 2026 fue uno de los mejores modelos de pesos abiertos, y según datos de Unsloth, requiere aproximadamente 600GB de combinación de RAM y VRAM para funcionar, y la compañía lanzó una versión comprimida del modelo abierto. Su versión sucesora, Kimi K3, obtuvo una puntuación de 57 en el índice de inteligencia artificial de análisis en julio de 2026, solo detrás de Claude Fable 5 de Anthropic y GPT-5.6 Sol de OpenAI.
Sin embargo, este modelo tiene 2.8 billones de parámetros, y su peso se calcula en aproximadamente 1.4TB, lo que TECHi estima que es casi imposible de ejecutar en un servidor de centro de datos con ocho GPUs. Por lo tanto, para resúmenes privados ocasionales o algo de ayuda con programación fuera de línea, una computadora de 16GB es suficiente. Si desea utilizar funciones que puedan reemplazar a un chatbot en la nube, necesitará 32GB de RAM o una tarjeta gráfica de 16GB. Según el índice de precios de RAM de Tom's Hardware, solo un kit de 32GB de DDR5 costará US$434 (aproximadamente HK$3,385), casi equivalente a los US$20 (aproximadamente HK$156) mensuales de ChatGPT Plus o Claude Pro.
Esto representa un gasto cercano a las tarifas de suscripción de los últimos dos años. Sin embargo, cualquier demanda cercana a la vanguardia aún dependerá de los centros de datos.
Ítem Especificaciones RAM 16GB / 32GB VRAM de la tarjeta gráfica 8GB / 16GB Tamaño del modelo 4.9GB (Llama 3.1 8B) Velocidad de generación 38 tokens por segundo (DGX Spark) Precio US$3,999 (aproximadamente HK$31,199)