Ejecutar Gemma 4 en un portátil de 16GB es cosa de una tarde de domingo. Conocer su rendimiento es una conversación más larga. Si ya has pasado de Ollama a LM Studio y a llama.cpp por tercera vez y aún no puedes responder “¿qué cuantización es realmente mejor para mi hardware?”, una de estas siete aplicaciones de evaluación de LLMs locales te sacará del juego de las adivinanzas.
Elegimos aplicaciones que reportan números reproducibles en desktop para una configuración local de LLM de un solo usuario. Los benchmarks de velocidad (tokens por segundo en tu hardware) van junto con benchmarks de calidad (precisión en suites públicas), así que puedes elegir una herramienta que se adapte a lo que estés preguntando.
Qué buscar en una aplicación de evaluación de LLMs locales
- Qué estás midiendo realmente. Throughput, latencia, footprint de VRAM, calidad en un dataset conocido, y calidad por tarea en tu propio dataset son cinco preguntas diferentes.
- Un ejecutor local. La herramienta necesita llegar al modelo donde vive. Eso significa Ollama, llama.cpp, servidor compatible con OpenAI de LM Studio, o un callable directo de Python.
- Un dataset conocido. MMLU, TruthfulQA, HellaSwag e IFEval son nombres frecuentemente citados. Si ninguno está en la herramienta, no es un benchmark.
- Salida repetible. Un reporte JSON o CSV con hash del modelo y la configuración, no solo una captura de pantalla.
- Visibilidad de costos. Incluso una ejecución “local” tiene un costo de tiempo real. Las herramientas que muestran tiempo para el primer token y throughput en estado estable hacen los compromisos visibles.
Comparación rápida
| Aplicación | Mejor para | Plataformas | Gratis | Destacado |
|---|---|---|---|---|
| lm-evaluation-harness | Reproducir puntuaciones de calidad publicadas | Windows, macOS, Linux | Gratis, código abierto | Implementación de referencia de MMLU, IFEval, etc. |
| llama-bench | Pruebas de throughput y latencia | Windows, macOS, Linux | Gratis | Se envía con llama.cpp, GGUF nativo |
| MLPerf Client | Benchmark de hardware agnóstico de vendor | Windows | Gratis | AMD, Intel, Nvidia todos lo utilizan |
| DeepEval | Tu dataset, tus métricas | Windows, macOS, Linux | Nivel gratuito | Sintaxis de estilo pytest, LLM-as-judge |
| Promptfoo | Evaluación comparativa entre modelos | Windows, macOS, Linux | Gratis, código abierto | Diffs de salida lado a lado en el navegador |
| HELM | Benchmark académico integral | Windows, macOS, Linux | Gratis, código abierto | Referencia para comparación entre modelos |
| OpenAI Evals | Casos de prueba a nivel de prompt | Windows, macOS, Linux | Gratis, código abierto | Autoría fácil, catálogo de comunidad enorme |
Las aplicaciones
1. lm-evaluation-harness — Mejor para reproducibilidad de benchmarks conocidos
lm-evaluation-harness, de EleutherAI, es la implementación de referencia utilizada por la mayoría de lanzamientos de modelos para publicar MMLU, IFEval, HellaSwag, ARC, TruthfulQA y docenas más. Apúntalo a un modelo local y reproduce los mismos números que cita el paper.
Dónde falla: Las descargas de datasets son grandes. La configuración inicial en un portátil solicita decenas de gigabytes de caché.
Precios:
- Gratis: Librería completa de código abierto
- De pago: Ninguno
Plataformas: Windows, macOS, Linux (Python)
Descargar: GitHub
Conclusión: La opción cuando el objetivo es “reproducir la puntuación del paper en mi hardware”.
2. llama-bench — Mejor para pruebas de throughput y latencia
llama-bench se incluye dentro del repositorio llama.cpp y mide tokens brutos por segundo en cuantizaciones GGUF, longitudes de prompt y configuraciones de backend. Responde “¿será Q5_K_M realmente más rápido que Q4_K_S en esta CPU?” sin que un wrapper de chat se interponga.
Dónde falla: Solo velocidad. No dice nada sobre la calidad de la salida.
Precios:
- Gratis: Incluido con llama.cpp
- De pago: Ninguno
Plataformas: Windows, macOS, Linux
Descargar: GitHub
Conclusión: La opción cuando necesitas números de throughput para comparar un modelo en tu máquina.
3. MLPerf Client — Mejor para benchmark de hardware agnóstico de vendor
MLPerf Client es el benchmark de MLCommons que AMD, Intel y Nvidia citan para rendimiento de inferencia LLM en hardware de usuario final. Los números son directamente comparables entre vendors porque todos ejecutan la misma suite.
Dónde falla: Windows primero. La lista de modelos es fija y seleccionada, así que no es una herramienta de benchmarking de propósito general.
Precios:
- Gratis: Suite completa
- De pago: Ninguno
Plataformas: Windows
Descargar: mlcommons.org
Conclusión: La opción para comparar un portátil Ryzen AI con uno Core Ultra sin discutir sobre metodología.
4. DeepEval — Mejor para tu propio dataset
DeepEval es un framework de Python que convierte la evaluación en casos de prueba de estilo pytest. Las métricas incluyen puntuación LLM-as-judge, detección de alucinaciones, precisión contextual y relevancia de respuesta, y cada prueba puede ejecutarse contra un modelo local.
Dónde falla: Algunas métricas avanzadas llaman a modelos alojados por defecto. Leer la configuración para dirigirlas a un juez local vale una noche.
Precios:
- Gratis: Librería completa de código abierto
- De pago: Nivel de observabilidad gestionado
Plataformas: Windows, macOS, Linux
Descargar: GitHub
Conclusión: La opción cuando el benchmark que quieres ejecutar es uno que escribes tú mismo.
5. Promptfoo — Mejor para comparación lado a lado
Promptfoo ejecuta los mismos prompts contra varios modelos y produce una vista de diff basada en navegador. También funciona como herramienta de red teaming, pero para un flujo de trabajo de benchmarking la vista de comparación es la razón para instalarlo.
Dónde falla: La vista de comparación es más fuerte que la vista de métricas brutas. Emparéjalo con lm-evaluation-harness o DeepEval para puntuaciones de referencia.
Precios:
- Gratis: CLI completo de código abierto
- De pago: Nivel de equipo gestionado
Plataformas: Windows, macOS, Linux (Node.js)
Descargar: promptfoo.dev
Conclusión: La opción cuando la pregunta es “¿responde mejor el modelo A o el modelo B a mis diez prompts?“.
6. HELM — Mejor referencia académica
HELM, del CRFM de Stanford, es el proyecto “Holistic Evaluation of Language Models”. Publica un leaderboard autorizado entre modelos usando un benchmark de escenarios amplios, y el mismo código se ejecuta localmente contra tu propio modelo.
Dónde falla: Pesado. Las ejecuciones completas de HELM toman horas en una estación de trabajo. No es una herramienta de portátil para una verificación rápida.
Precios:
- Gratis: Proyecto completo de código abierto
- De pago: Ninguno
Plataformas: Windows, macOS, Linux
Descargar: GitHub
Conclusión: La opción cuando los números necesitan ser defendibles en un paper o informe técnico.
7. OpenAI Evals — Mejor para casos de prueba escrito por la comunidad
OpenAI Evals es un framework para escribir casos de prueba a nivel de prompt (el catálogo de la comunidad incluye matemáticas, acertijos lógicos, código y razonamiento) y ejecutarlos contra cualquier modelo detrás de un endpoint compatible con OpenAI.
Dónde falla: La calidad del catálogo varía. Algunas evaluaciones son más sólidas que otras.
Precios:
- Gratis: Framework de código abierto
- De pago: Ninguno
Plataformas: Windows, macOS, Linux
Descargar: GitHub
Conclusión: La opción cuando la forma más rápida de probar un modelo es tomar una evaluación de la comunidad, apuntarla a tu endpoint local y leer los resultados.
Cómo elegir la correcta
Si quieres reproducir puntuaciones de calidad publicadas: lm-evaluation-harness. Aparta espacio en disco y café.
Si quieres comparar throughput en tu hardware: llama-bench. Es la forma más rápida de responder una pregunta de quant-vs-quant.
Si estás comparando portátiles o GPUs: MLPerf Client. Agnóstico de vendor, comparación directa.
Si tu benchmark es tu propio dataset: DeepEval. Pruebas de estilo pytest para LLMs.
Si el objetivo es una vista lado a lado de dos modelos en tus prompts: Promptfoo.
Si los números necesitan credibilidad académica: HELM. Acepta la ejecución larga.
Si las pruebas escritas por la comunidad son suficientes: OpenAI Evals. Toma un directorio, apunta a tu modelo, ejecuta.
Preguntas frecuentes
¿Cuál es el mejor benchmark de LLM local en general? lm-evaluation-harness para reproducibilidad de calidad. llama-bench para velocidad en tu hardware.
¿Puedo hacer benchmarking de un modelo ejecutándose en Ollama o LM Studio? Sí. Todas las herramientas en esta lista soportan un endpoint compatible con OpenAI, y Ollama, LM Studio y Jan todas lo exponen.
¿Qué es MMLU y por qué todo el mundo lo cita? MMLU es un benchmark de opción múltiple en muchos temas académicos. Se cita porque muchos modelos publican su puntuación y las comparaciones son fáciles de hacer.
¿Una aplicación de benchmarking es lo mismo que una aplicación de red teaming? No. Benchmarking mide capacidad y velocidad. Red teaming prueba seguridad. Promptfoo puede hacer ambos; lm-evaluation-harness solo el primero.
¿Necesito una GPU para ejecutar estos benchmarks? No. lm-evaluation-harness y llama-bench se ejecutan en CPU. Los benchmarks de velocidad son donde la GPU hace la diferencia más visible.
¿Son todas estas herramientas gratis? Todas las herramientas en esta lista tienen nivel gratuito. Solo DeepEval y Promptfoo venden observabilidad gestionada encima.
