XDA-Developers lo expresó claramente este año: “Gemma 4 E4B es lo suficientemente pequeño para ejecutarse en cualquier lugar, pero lo suficientemente potente para manejar cargas de trabajo LLM típicas.” Una sola frase captura por qué el nivel de parámetros 3-5B está teniendo su momento. Gemma 4 E4B, Phi-4, Qwen 3 4B y Llama 3.2 3B ahora entregan respuestas que parecían inalcanzables hace un año, en una computadora portátil que cuesta menos que un teléfono.
El reto está en elegir la aplicación host correcta. Algunos son instalaciones de una línea. Algunos vienen con una ventana de chat que tus padres podrían usar. Algunos exponen un servidor compatible con OpenAI para que tu código existente siga funcionando. Pasamos una semana ejecutando los mismos cuatro modelos diminutos en las ocho aplicaciones de escritorio más populares, en un M1 Air de 8GB y una caja Windows de 16GB, luego los ordenamos por qué tan rápido un principiante podría obtener una respuesta funcionando. Estas son las mejores aplicaciones para tiny local models en 2026.
Qué buscar
Las aplicaciones a continuación ejecutan cuantificaciones GGUF (Q4_K_M, Q5, Q8), que es el formato que permite que los modelos 3-5B se ajusten cómodamente en RAM 4-6GB. Más allá de eso, las diferencias se reducen a una lista corta de cosas prácticas.
Evaluamos seis criterios: espacio libre de RAM en máquinas de 8GB, cobertura de cuantificación (Q4 a Q8 más variantes imatrix), si la aplicación viene con un catálogo de modelos integrado o tienes que buscar GGUF, pulido de la interfaz de chat versus acceso API, si las actualizaciones y descargas funcionan completamente sin conexión una vez instaladas, y qué tan consistente es la experiencia en Windows, macOS y Linux. La velocidad importa, pero en modelos diminutos cada aplicación aquí alcanza velocidad de lectura en hardware moderno, así que tratamos los tokens por segundo como un desempate en lugar de una puerta.
Comparación
| Aplicación | Interfaz de Chat | Catálogo de Modelos | Servidor Local | Instalación Offline | Mejor para |
|---|---|---|---|---|---|
| Ollama | Solo Terminal | Sí | Sí (11434) | Sí | Camino más rápido a un modelo en funcionamiento |
| LM Studio | GUI Completa | Sí (HF) | Sí (Compatible OpenAI) | Sí | Solución todo en uno pulida |
| Jan | GUI Completa | Sí | Sí | Sí | Alternativa de código abierto a LM Studio |
| GPT4All | GUI Completa | Sí | Opcional | Sí | Hardware modesto, incorporación más fácil |
| Msty | GUI Completa | Vía Ollama | Vía Ollama | Sí | Ollama con una cara más bonita |
| Cortex.cpp | CLI | Sí | Sí | Sí | Alternativa Ollama programable |
| llama.cpp | CLI | No | Sí (llama-server) | Sí | Control máximo |
| Open WebUI + Ollama | Interfaz Web | Vía Ollama | Sí | Sí | Chat de equipo autohospedado |
1. Ollama
Ollama es por donde la mayoría de las personas deberían comenzar. Instálalo, ejecuta ollama run gemma3:4b en una terminal, y tienes un bucle de chat funcionando en menos de un minuto. Las descargas de modelos se reanudan, las cuantificaciones se eligen por ti, y el servidor REST integrado en el puerto 11434 significa que cualquier cosa que hable la API de Ollama u OpenAI puede conectarse sin configuración.
La compensación es la interfaz. De fábrica, Ollama es una terminal. Está bien si planeas emparejarlo con Open WebUI o Msty, e honestamente está bien por sí solo una vez que te acostumbres, pero los usuarios no técnicos rápidamente se alejarán de la ventana negra. La huella de memoria en modelos diminutos es excelente. Gemma 3 4B Q4 se sienta alrededor de 3.4GB de RAM en nuestras pruebas, dejando espacio para un navegador en una máquina de 8GB.
Descargar: Site · GitHub · Homebrew
2. LM Studio
LM Studio es la aplicación todo en uno más pulida en esta lista. Un catálogo de Hugging Face que se puede buscar, selecciones de descarga por cuantificación con advertencias de RAM, una ventana de chat que admite adjuntos e indicaciones del sistema, y un servidor local compatible con OpenAI, todo vive dentro de un instalador. El asistente de incorporación elige un valor predeterminado sensato para tu hardware, que es muy importante cuando el estante del modelo tiene cuarenta variantes del mismo peso.
Es gratuito pero propietario, lo que algunos lectores les importa y a otros no. Las compilaciones de Windows y Mac son igualmente fuertes. La compilación de Linux funciona pero se atrasa una o dos versiones. Para el primer modelo local en una computadora portátil familiar, esta es la aplicación que le damos a alguien que nunca ha abierto una terminal.
Descargar: Site · Windows · macOS · Linux
3. Jan
Jan es la respuesta de código abierto a LM Studio, y la brecha se ha cerrado notablemente en el último año. La interfaz de chat es limpia, el descubrimiento de modelos cubre el catálogo de Hugging Face más el conjunto seleccionado propio de Jan, y todo funciona sin conexión una vez que los pesos están en el disco. El equipo detrás de Jan también mantiene Cortex.cpp (abajo), así que el tiempo de ejecución subyacente es de ellos, no un envoltorio.
Notamos que Jan maneja los cambios de modelo de manera más elegante que LM Studio. Cargar Phi-4 en Gemma 3 4B tomó dos clics y sin reinicio. El sistema de extensiones te permite cambiar motores de chat, agregar RAG o enrutar a un modelo remoto cuando necesitas algo más grande. En Linux, esta es nuestra primera opción.
4. GPT4All
GPT4All de Nomic AI apunta directamente a la computadora portátil de 8GB que nunca ha ejecutado un modelo local. El instalador es pequeño, la lista de modelos es seleccionada en lugar de exhaustiva, y cada entrada viene con una nota de hardware en inglés simple (“Se ejecuta rápido en la mayoría de los ordenadores”, “Requiere RAM de 16GB”). Para cualquiera cuya pregunta principal sea “¿funcionará en mi máquina?”, GPT4All la responde honestamente antes de que comience la descarga.
El chat con documentos locales está integrado, que es raro en este nivel y útil para una demostración RAG inicial. La compensación es que la selección de modelos es más pequeña que LM Studio o Jan, y los pesos de vanguardia a veces tardan una semana en aparecer. Si tu objetivo es que un miembro de la familia use un modelo local esta noche, este es el camino más corto.
5. Msty
Msty es una aplicación de chat que se sienta encima de Ollama y le da la interfaz que Ollama se niega a construir. Chats de vista dividida, librerías de indicaciones, espacios de trabajo y una pila de conocimiento para archivos locales, todo funciona de fábrica. El nivel Gratuito cubre lo esencial, y Msty Pro añade funciones de sincronización y equipo que la mayoría de los usuarios individuales pueden omitir.
Si ya tienes Ollama instalado, Msty se conecta en el primer lanzamiento y estás chateando en segundos. Los modelos de Ollama que extrajiste del terminal aparecen en la barra lateral automáticamente. Esta combinación (Ollama para el tiempo de ejecución, Msty para el chat) es lo que terminamos usando día a día después de la semana de prueba.
Descargar: Site · Windows · macOS · Linux
6. Cortex.cpp
Cortex.cpp proviene del equipo de Jan y se comporta como una Ollama programable. Obtienes una CLI, un servidor compatible con OpenAI, y un registro de modelos, pero sin una interfaz de chat propia. Eso suena como una desventaja hasta que comienzas a construir en ella, en cuyo punto la superficie más pequeña y la licencia Apache-2.0 se convierten en la razón para elegirla.
Las descargas de modelos utilizan la familiar sintaxis cortex pull gemma3:4b, y el servidor expone los mismos puntos finales que tu cliente OpenAI ya habla. En modelos diminutos coincide con Ollama en velocidad y lo supera en memoria de inicio en frío. Los desarrolladores que desean un tiempo de ejecución limpio bajo una interfaz personalizada deben mirar aquí primero.
7. llama.cpp
llama.cpp es el tiempo de ejecución en el que casi todas las aplicaciones en esta lista se construyen. Usarlo directamente significa compilar (o descargar un binario de versión), ejecutar llama-cli o llama-server desde una terminal, y configurar cada parámetro tú mismo. Eso es más trabajo que las otras opciones, y también es donde cada nuevo formato de cuantificación, muestreador y backend de hardware llega primero.
Para la mayoría de lectores, la conclusión es que llama.cpp ya vive bajo su aplicación favorita. Para usuarios avanzados, ejecutarlo directamente desbloquea Metal, CUDA, ROCm, Vulkan y compilaciones solo CPU con banderas coincidentes, más cuantificaciones imatrix que cepillan otro 10-15% del uso de memoria. Si quieres saber qué puede hacer realmente tu hardware con Gemma 4 E4B, esta es la herramienta.
Descargar: GitHub · Homebrew · Releases
8. Open WebUI + Ollama
Open WebUI emparejado con Ollama es la configuración que recomendamos para un equipo pequeño o un laboratorio doméstico. Ollama ejecuta los modelos, Open WebUI ejecuta una interfaz autohospedada al estilo ChatGPT con cuentas, enrutamiento de modelos, uso compartido de indicaciones y complementos de búsqueda web. Docker Compose trae el par en aproximadamente diez minutos en cualquier máquina que ejecute Docker.
Una vez que está activo, los usuarios inician sesión desde cualquier navegador en la red. No hay cliente para instalar de su lado, las actualizaciones suceden en un lugar, y toda la pila permanece dentro de tus muros. Para una familia que quiere “un ChatGPT privado que se ejecute en la mini PC de la oficina”, esta es la respuesta.
Descargar: Site · GitHub · Docker Hub
Cómo elegir
Cuatro rutas cubren casi a todos. Si deseas el camino más rápido de cero a un modelo en funcionamiento, instala Ollama, luego agrega Msty cuando quieras una ventana de chat. Esa combinación toma diez minutos y cubre el 80% de lo que necesita un usuario individual.
Si el pulido importa más que la pureza de código abierto, instala LM Studio y omite la terminal por completo. El asistente de incorporación elige una cuantificación que se ajuste a tu RAM, el catálogo cubre cada modelo que vale la pena ejecutar en 3-5B, y el servidor local significa que puedes conectarlo a VS Code, Raycast o tus propios scripts más tarde. GPT4All es la opción cuando la máquina es realmente modesta (RAM de 8GB, sin GPU) y el usuario nunca ha tocado un modelo local antes.
Los desarrolladores que desean un punto final compatible con OpenAI sin una GUI en el camino deben mirar Cortex.cpp o el servidor integrado de llama.cpp. Ambos te dan control de proceso limpio, registros sencillos y scripting fácil.
Para un equipo pequeño o una familia que desea acceso compartido a un asistente privado, Open WebUI en Ollama, implementado a través de Docker, es la respuesta. Una instalación, acceso del navegador para todos, y ningún dato abandona la casa.
FAQ
¿Cuál es el LLM local más pequeño que puedo ejecutar? En una máquina con 4GB de RAM libre, un modelo 1-2B en Q4_K_M se ejecuta cómodamente. Gemma 3 1B y Llama 3.2 1B funcionan bien para resúmenes y preguntas y respuestas simples. Para un asistente realmente útil, apunta a un modelo 3-4B en Q4 o Q5, que necesita aproximadamente 4-6GB de RAM.
¿Necesito una GPU para Gemma 4 E4B? No. Gemma 4 E4B en Q4 se ejecuta en portátiles solo CPU a velocidad de lectura (aproximadamente 8-15 tokens por segundo en Apple Silicon moderno, 4-10 en un portátil Intel o AMD convencional). Una GPU acelera las cosas considerablemente, especialmente en Windows y Linux con CUDA o Vulkan, pero no es necesario.
¿Es Ollama gratis? Sí. Ollama es código abierto bajo la licencia MIT y gratuito para usar en proyectos personales y comerciales. Los pesos del modelo conllevan sus propias licencias (Gemma, Llama, Phi y Qwen tienen sus propios términos), y la mayoría son lo suficientemente permisivos para uso personal y comercial interno.
¿Cuál es la aplicación LLM local más rápida para Mac? Para el rendimiento bruto en Apple Silicon, llama.cpp con Metal habilitado es el más rápido, seguido de Ollama (que usa llama.cpp bajo el capó con valores predeterminados sensatos). Para el tiempo más rápido hasta la primera respuesta desde una instalación fría, Ollama o LM Studio ganan. En un M1 Air, Gemma 3 4B Q4 se ejecuta a aproximadamente 25-30 tokens por segundo en Ollama.
¿Cuál es la mejor configuración de LLM local para RAM de 8GB? Instala Ollama y extrae un modelo 3-4B en Q4_K_M (Gemma 3 4B o Llama 3.2 3B son nuestras opciones). Eso deja suficiente espacio para un navegador y un cliente de chat. Agrega Msty u Open WebUI para una ventana de chat adecuada. Si quieres una sola aplicación que lo haga todo, GPT4All es más amigable en este nivel de RAM.
¿Cuál es la aplicación que admite la mayoría de formatos de cuantificación? LM Studio y Jan exponen la gama más amplia de cuantificaciones GGUF en sus catálogos (Q2 a Q8, más variantes imatrix). llama.cpp admite cada cuantificación que define el formato, ya que es donde los nuevos formatos llegan primero. Ollama elige una sola cuantificación por etiqueta de modelo de forma predeterminada, que es más simple pero menos flexible.
