En el momento en que un agente LLM local se queda sin contexto, la conversación deja de tener sentido. El turno número ocho intenta hacer referencia a un archivo que el modelo ya ha eliminado de su ventana, la salida de llamadas de herramientas consume 6000 tokens en un paso rutinario, y la siguiente respuesta es una disculpa en lugar de un plan. Lograr que un modelo 7B o 13B que se ejecuta en casa complete una tarea en cincuenta pasos se trata menos del tamaño del modelo y más de lo que entra y sale de la ventana.
Probamos siete aplicaciones y bibliotecas que gestionan el contexto alrededor de LLM locales. Algunas son almacenes de memoria que persisten entre sesiones, algunas son motores de prompts que resumen antes del desbordamiento, y una es el propio servidor Ollama con la configuración correcta. A continuación se describe lo que realmente mantuvo nuestro agente de prueba enfocado durante una sesión de codificación de 90 minutos con un modelo de 13B.
Qué buscar en un gestor de contexto
- Resumen automático. La herramienta debe darse cuenta cuando la ventana se acerca a la capacidad e integrar turnos más antiguos sin perder la intención.
- Recuperación sobre historial que se expande. Un archivo, un documento, o un chat anterior referenciado por incrustación es más barato que el mismo contenido insertado de nuevo en el prompt.
- Memoria persistente entre sesiones. El agente debe recordar lo que le dijiste hace dos días sobre tu proyecto sin necesidad de repetirte.
- Disciplina de token de llamadas de herramientas. Las salidas de herramientas grandes (resultados de grep, respuestas HTTP) deben trimarse o referenciarse por handle en lugar de insertarse crudas en el siguiente turno.
- Ollama-native o compatible con OpenAI. La herramienta debe hablar el mismo protocolo que tu runtime local.
- Modo solo local. Nada sobre la gestión de contexto debe requerir llamar a un servicio en la nube.
Comparación rápida
| Aplicación | Mejor para | Licencia | Plan gratuito | Precio inicial | Calificación |
|---|---|---|---|---|---|
| LangChain | Marco completo para orquestación de contexto | MIT | Gratis | Gratis | 4.5 |
| LlamaIndex | Agentes con prioridad de recuperación | MIT | Gratis | Gratis | 4.6 |
| Mem0 | Almacén de memoria a largo plazo | Apache 2.0 | Auto-alojado gratis | Alrededor de $19/mes alojado | 4.5 |
| Chroma | Base de datos vectorial integrada | Apache 2.0 | Gratis | Gratis | 4.5 |
| Continue | Agente VS Code con reglas de contexto | Apache 2.0 | Gratis | Gratis | 4.6 |
| Open WebUI | Chat UI con tuberías de documentos y memoria | BSD-3 | Gratis | Gratis | 4.7 |
| Ollama | Runtime con configuración de contexto por modelo | MIT | Gratis | Gratis | 4.7 |
Las aplicaciones
1. LangChain — Mejor marco completo para orquestación de contexto
LangChain es el marco al que recurren la mayoría de proyectos de LLM locales cuando la gestión de contexto se convierte en un problema real. Los buffers de conversación con límites de tokens, las cadenas de resumen automático, los almacenes de historial de mensajes y una API de memoria que se conecta a cualquier protocolo LLM son primitivas de primera clase.
Para un agente que ejecuta muchos turnos con herramientas, ConversationTokenBufferMemory combinado con una cadena MapReduceSummarize evita que la ventana explote. Se integra perfectamente con servidores Ollama y llama.cpp.
Donde falla: La superficie de la API es enorme, y el camino más rápido no siempre es evidente. Los lanzamientos semanales a veces rompen importaciones menores. Depurar una cadena larga requiere la UI de LangSmith o un logging cuidadoso.
Precios:
- Gratis: Biblioteca completa, licencia MIT
- Pagado: Nivel de rastreo en la nube LangSmith desde alrededor de $39/usuario/mes
Plataformas: Python, JavaScript en Windows, macOS, Linux
Descargar: LangChain
Línea inferior: Elige esto cuando el agente necesita muchos primitivos (memoria, recuperación, enrutamiento de herramientas) en un solo lugar.
2. LlamaIndex — Los mejores agentes con prioridad de recuperación
LlamaIndex trata el contexto como un problema de consulta. En lugar de pegar un documento completo en un prompt, indexa el documento con incrustaciones y extrae solo los párrafos que el modelo necesita en este turno. El resultado es una ventana de trabajo mucho más pequeña y una memoria efectiva mucho más larga.
La biblioteca viene con conectores para PDF, Markdown, repositorios de código, Notion y bases de datos. Su primitiva ChatEngine mantiene el estado de la conversación mientras recupera fragmentos relevantes por turno.
Donde falla: El diseño basado en recuperación asume que tienes documentos para indexar. Para un agente de chat puro sin corpus externo, esto es más configuración que buffers de memoria simples.
Precios:
- Gratis: Licencia MIT
- Pagado: Alojamiento administrado LlamaCloud desde alrededor de $50/mes
Plataformas: Python, TypeScript en Windows, macOS, Linux
Descargar: LlamaIndex
Línea inferior: La opción correcta cuando el trabajo del agente implica razonar sobre documentos en lugar de un chat rodante.
3. Mem0 — Mejor almacén de memoria a largo plazo
Mem0 (anteriormente Embedchain) es un servicio de memoria diseñado para dar a un agente capacidad de recuperación entre sesiones. Ingiere conversaciones, extrae hechos duraderos, los indexa e inyecta automáticamente los relevantes en el siguiente prompt. El resultado es un agente que “recuerda” la estructura de tu proyecto, el estilo de codificación o la tarea en curso sin que el usuario la repita.
El modo auto-alojado se ejecuta contra un Postgres o SQLite local y lee y escribe a través de un cliente Python. Existe un nivel alojado para equipos que no desean ejecutar infraestructura.
Donde falla: La calidad de extracción de memoria depende del modelo. Un modelo 7B produce memorias más ruidosas que un modelo 13B o uno fronterizo alojado. A menudo se necesita ajustar el prompt del extractor.
Precios:
- Gratis: Auto-alojado Apache 2.0
- Pagado: Alojado desde alrededor de $19/mes para individuos, más alto para equipos
Plataformas: Cliente Python en Windows, macOS, Linux; API alojada
Descargar: Mem0
Línea inferior: La opción obvia cuando quieres que el agente recuerde tu proyecto entre reinicios.
4. Chroma — Mejor base de datos vectorial integrada
Chroma es una pequeña base de datos vectorial integrada que se ejecuta en proceso con una aplicación Python o JavaScript. Incrusta un fragmento con el modelo de tu elección, insértalo en una colección de Chroma y consulta por similitud de coseno para extraerlo más tarde. Sin servidor, sin cluster, sin operaciones.
Para la gestión de contexto de LLM local, Chroma es la capa de almacenamiento bajo la mayoría de los patrones de recuperación en LangChain y LlamaIndex. También se ejecuta como un servidor ligero para casos en los que múltiples procesos comparten el mismo almacén.
Donde falla: No es un marco de memoria completo. Cableas la lógica de recuperación tú mismo. La latencia de consulta en colecciones muy grandes (millones de fragmentos) se queda atrás de Qdrant y Milvus.
Precios:
- Gratis: Apache 2.0
- Pagado: Chroma Cloud beta disponible para equipos
Plataformas: Python, JavaScript, en proceso en Windows, macOS, Linux
Descargar: Chroma
Línea inferior: La opción limpia cuando solo necesitas un lugar para almacenar incrustaciones sin iniciar un servidor.
5. Continue — Mejor agente VS Code con reglas de contexto
Continue es la extensión VS Code (y JetBrains) de código abierto que convierte una instancia local de Ollama o llama.cpp en un agente de codificación dentro del editor. Su config.yaml establece reglas de contexto por proyecto: qué archivos incluir automáticamente, cuáles resumir y cuáles ignorar.
La paleta de comandos @ extrae contexto específico por nombre: @file para el archivo actual, @codebase para una búsqueda semántica en todo el repo, @docs para documentación externa. Cada referencia @ es una inyección de contexto controlada en lugar de un pegado.
Donde falla: La configuración es pesada en YAML y requiere una sesión para ajustar. Algunas configuraciones de recuperación sesgan demasiado hacia archivos pequeños.
Precios:
- Gratis: Apache 2.0
- Pagado: Características de Hub (asistentes compartidos, hubs privados) desde alrededor de $10/usuario/mes
Plataformas: VS Code, JetBrains, Windows, macOS, Linux
Descargar: Continue
Línea inferior: La opción correcta cuando el agente vive en tu editor y necesita la porción correcta del repo, no todo el árbol.
6. Open WebUI — Mejor chat UI con tuberías de documentos y memoria
Open WebUI es el front-end estilo ChatGPT para modelos locales con dos características que resuelven directamente los problemas de contexto: tuberías RAG de documentos y memoria por usuario. Carga un PDF o pega una URL, y Open WebUI fragmenta, incrusta y recupera durante el chat. El panel de memoria permite al usuario guardar notas duraderas que el modelo consulta en cada turno.
La característica Pipelines te permite intercambiar filtros personalizados (resumen, redacción, enrutamiento de herramientas) que se ejecutan antes o después de la llamada del modelo. Los usuarios avanzados escriben su propio pipeline en Python y lo sueltan en la carpeta de complementos.
Donde falla: No es sin cabeza. Cada ruta de agente termina en una ventana de chat. Los flujos de trabajo centrados en la automatización usan Continue o LangChain en su lugar.
Precios:
- Gratis: BSD-3
- Pagado: Ninguno; soporte empresarial disponible
Plataformas: Docker, Kubernetes, Python en Windows, macOS, Linux
Descargar: Open WebUI
Línea inferior: Elige esto cuando una persona está chateando y el problema “quedarse sin contexto” es realmente un problema de “adjuntos y memoria”.
7. Ollama — Mejor runtime con configuración de contexto por modelo
Ollama es el runtime de modelo local del que hablan casi todas las otras herramientas en esta página. La historia de gestión de contexto aquí no es un marco sino dos banderas: num_ctx en el archivo del modelo para elevar el tamaño de la ventana, y el parámetro keep_alive para mantener la caché de KV en RAM entre llamadas.
Aumentar num_ctx desde el default 4096 a 32768 en un modelo de 13B resuelve silenciosamente la mayoría de los reportes de “agente olvida” antes de que nadie toque LangChain. El tradeoff es la huella de memoria y el rendimiento por token.
Donde falla: Sin memoria, sin recuperación, sin resumen. Solo mantiene lo que envías al prompt.
Precios:
- Gratis: MIT
- Pagado: Ninguno
Plataformas: Windows, macOS, Linux, ARM64
Descargar: Ollama
Línea inferior: Establece num_ctx primero. Luego recurre a los marcos anteriores. En ese orden.
Cómo elegir el correcto
- Si estás chocando contra una pared dura en 4096 tokens: Ollama. Cambia
num_ctxantes de reescribir tu aplicación. - Si quieres un marco que cubra memoria, recuperación y enrutamiento de herramientas: LangChain.
- Si el agente responde preguntas sobre documentos: LlamaIndex.
- Si el agente necesita recordar qué pasó la semana pasada: Mem0.
- Si ya ejecutas LangChain y solo necesitas dónde poner incrustaciones: Chroma.
- Si el agente vive en VS Code: Continue.
- Si una persona está chateando y necesita cargas más memoria: Open WebUI.
Preguntas frecuentes
¿Por qué mi agente LLM local olvida cosas en el medio de una tarea?
Cada modelo tiene un límite de token duro para la ventana del prompt. Cuando la conversación, la salida de herramientas y las instrucciones exceden ese límite, el runtime descarta silenciosamente los tokens anteriores. El agente todavía genera, pero con una vista truncada de la tarea. Aumenta num_ctx en el modelo y agrega un resumidor que pliegue turnos más antiguos en un historial comprimido.
¿Cuál es la diferencia entre gestión de contexto y memoria?
La gestión de contexto es lo que cabe en la ventana del prompt actual (generalmente de corta duración). La memoria es lo que persiste entre prompts, sesiones y reinicios (de larga duración). Mem0 y Open WebUI cubren memoria; LangChain, LlamaIndex y Continue se centran en contexto.
¿Cuánto contexto puede manejar un LLM local?
Depende del modelo y tu presupuesto de RAM. Llama 3.1 8B soporta 128K tokens si el runtime lo respeta. En la práctica, 32K a 64K mantiene la latencia razonable en hardware de consumidor. Los contextos muy largos también aumentan la perplejidad, por lo que la poda es a menudo mejor que el relleno.
¿Estas herramientas funcionan con LM Studio y llama.cpp?
LangChain, LlamaIndex, Continue y Open WebUI hablan el API compatible con OpenAI que exponen los servidores LM Studio y llama.cpp. Mem0 y Chroma son capas de almacenamiento y funcionan con cualquier proveedor que indiques.
¿Es Mem0 de código abierto?
Sí. La biblioteca central de Mem0 es Apache 2.0 y auto-alojable. El nivel alojado pagado es una capa de conveniencia, no una capa de puerta para el OSS.
¿Puedo usar esto en Apple Silicon?
Los siete picks se ejecutan nativamente en Apple Silicon. Ollama, Continue y Open WebUI tienen compilaciones ARM64 de primera clase. LangChain, LlamaIndex, Mem0 y Chroma son bibliotecas Python o Node y funcionan en cualquier lugar donde se ejecuten Python o Node.
