Best apps for Home Assistant AI camera vision on desktop

El artículo de XDA sobre emparejar cámaras locales con la IA de Home Assistant tocó un nervio por una razón. El predeterminado de la mayoría de cámaras inteligentes sigue siendo “el proveedor ve el metraje primero”. Home Assistant más Frigate más un LLM dentro de un Ollama local invierte eso: el flujo RTSP sin procesar va a un servidor local, la detección de objetos se ejecuta en una Coral o GPU, y el LLM solo toca los fotogramas que el detector de objetos ya marcó. Nada sale de la casa.

Los componentes son código abierto y avanzan rápido. Siete aplicaciones de escritorio para que la visión de cámara de IA de Home Assistant realmente funcione, clasificadas para que la primera sea donde comienza cada instalación y la última sea donde deja de importar.

Qué buscar en una pila de IA de cámara local

El flujo se divide en cuatro trabajos:

Todo lo que aparece a continuación funciona completamente en el hardware que posees, en un escritorio o nodo homelab de Windows, macOS o Linux.

Comparación rápida

Aplicación Mejor para Licencia Piso de hardware Lo destacado
Home Assistant El centro en el que se conectan todos los demás recursos Apache 2.0 2 GB RAM El mejor enrutador de automatización en esta lista
Frigate Detección de objetos local a velocidad de fotogramas MIT 4 GB RAM, Coral o GPU El NVR local más rápido que habla MQTT
LLM Vision Descripciones en lenguaje natural de eventos de cámara MIT Usa el hardware de tu LLM Convierte cuadros delimitadores en oraciones legibles
Scrypted Ingesta de cámara y puente HomeKit de Apple MIT 2 GB RAM La mejor forma de exponer cámaras que no son HomeKit a HomeKit
Blue Iris NVR nativo de Windows con interfaz madura Proprietary Windows PC El peso pesado de Windows; grabación sólida
MQTT Explorer Herramienta de depuración para mensajes de Frigate → Home Assistant MIT 200 MB RAM Lee el tráfico que emite Frigate
Ollama LLM local que habla LLM Vision MIT 8 GB RAM + GPU útil Donde funciona el modelo multimodal

Las aplicaciones

1. Home Assistant — Mejor centro

Home Assistant es el centro al que apuntan todas las integraciones de cámara en este flujo. Maneja el modelo de entidad, automatizaciones que se activan en eventos de Frigate, paneles que muestran la última captura, notificaciones a teléfonos y la interfaz de configuración para LLM Vision. Incluso si ya ejecutas Blue Iris o Scrypted en el lado de grabación, Home Assistant es donde vive la lógica “mapache en la basura → encender luz → enviar notificación”.

Donde se queda corta: HAOS tiene una opinión muy definida sobre ser dueña de su host. En Docker pierdes los complementos supervisores. Curva de aprendizaje completa más allá de lo básico.

Precios:

Plataformas: Linux (HAOS o Docker), Windows o macOS vía VM/Docker Desktop.

Descargar: Home Assistant

Conclusión: Instala primero. Todas las demás aplicaciones en esta lista asumen que está ahí.

2. Frigate — Mejor NVR local y detección de objetos

Frigate es lo que convierte RTSP sin procesar en “persona en la puerta”, “auto en el camino de entrada” o “paquete entregado”. Extrae flujos de tus cámaras, ejecuta detección en una Coral Edge TPU o GPU, publica eventos sobre MQTT para que Home Assistant los consuma y graba clips solo para los eventos que te importan. La versión 2026 agregó un complemento LLM nativo que entrega capturas directamente a un modelo multimodal.

Donde se queda corta: El uso de RAM aumenta con la cantidad de cámaras. Coral TPU se recomienda oficialmente y no siempre está en stock. La configuración YAML es larga la primera vez.

Precios:

Plataformas: Linux (Docker), mejor en x86_64 con un acelerador USB Coral o una GPU nVidia.

Descargar: Frigate NVR

Conclusión: Instala segundo. Es la razón por la que “cámaras de IA sin la nube” es una realidad.

3. LLM Vision — Mejor para descripciones de eventos legibles

LLM Vision es la integración de Home Assistant que entrega capturas y clips de cámaras a un LLM multimodal y devuelve una descripción en lenguaje natural. Funciona con Ollama, OpenAI, Anthropic, Google Gemini y cualquier punto final compatible con OpenAI. En la práctica: Frigate marca a una “persona” en la puerta principal, LLM Vision le pregunta a Ollama “describe qué está haciendo esta persona”, y el resumen llega como notificación telefónica.

Donde se queda corta: Las descripciones son tan buenas como el modelo detrás de ellas. Los modelos de visión pequeños ocasionalmente alucian. La latencia en una GPU doméstica es notable.

Precios:

Plataformas: Se ejecuta dentro de Home Assistant; el LLM subyacente vive donde lo alojes (Ollama en Linux, LM Studio, OpenAI en la nube).

Descargar: LLM Vision en GitHub

Conclusión: Instala después de Frigate. Esto es lo que convierte cuadros delimitadores en “alguien dejó una bolsa en la puerta”.

4. Scrypted — Mejor ingesta de cámara y puente HomeKit

Scrypted es la navaja multiusos para cámaras que no hablan el protocolo que deseas. Extrae RTSP, ONVIF, Ring, Nest, Reolink, Amcrest y los reexpone como HomeKit Secure Video, RTSP o WebRTC. En un hogar con una mezcla de “cámara económica que habla RTSP” e “usuario de iPhone que quiere HomeKit”, Scrypted es el traductor.

Donde se queda corta: No es un detector de objetos con la misma calidad que Frigate. Dos herramientas ejecutándose en paralelo es común.

Precios:

Plataformas: Linux (Docker), Windows, macOS.

Descargar: Scrypted

Conclusión: Instala cuando el hogar mezcla cámaras de múltiples ecosistemas.

5. Blue Iris — Mejor NVR nativo de Windows

Blue Iris es el veterano. Se ejecuta en un PC Windows, graba en el disco local, se integra con Home Assistant sobre MQTT y su panel es el más pulido del espacio. Combina con Frigate para IA o con su propia integración de DeepStack/CodeProject.AI para detección de objetos.

Donde se queda corta: Solo Windows. Propietario. La interfaz es Windows de los años 2010 en espíritu.

Precios:

Plataformas: Windows.

Descargar: Blue Iris

Conclusión: La mejor opción cuando una máquina Windows ya es el servidor doméstico siempre encendido.

6. MQTT Explorer — Mejor herramienta de depuración para el flujo

MQTT Explorer es la herramienta que abres cuando Frigate está emitiendo eventos, Home Assistant no responde y necesitas ver el tráfico entre ellos. Se suscribe a cualquier árbol de temas, muestra el historial en un feed en vivo y te permite republicar mensajes para probar automatizaciones. Una vez que el flujo es estable, no lo tocas; mientras lo configuras es esencial.

Donde se queda corta: No es realmente una “aplicación” que ejecutes a diario. Código fuente disponible en lugar de completamente abierto.

Precios:

Plataformas: Windows, macOS, Linux.

Descargar: MQTT Explorer

Conclusión: Instala una vez, úsalo durante una semana mientras configuras las cosas, olvida que lo tienes.

7. Ollama — Mejor LLM local para respaldar LLM Vision

Ollama es el tiempo de ejecución donde funciona el modelo multimodal local. LLaVA y sus descendientes, Qwen2.5-VL, moondream y otros modelos de visión pequeños se extraen con un par de comandos y funcionan felizmente en una GPU o Apple Silicon. LLM Vision apunta al punto final de Ollama y cada captura de evento hace un viaje de ida y vuelta a través de él.

Donde se queda corta: Se recomienda encarecidamente GPU o Apple Silicon para velocidad. Solo CPU es posible pero lento. La elección del modelo afecta la calidad de la descripción.

Precios:

Plataformas: Linux, macOS, Windows.

Descargar: Ollama

Conclusión: Instala como el motor detrás de LLM Vision cuando quieres que todo sea local.

Cómo elegir el correcto

Si comienzas desde cero: Home Assistant primero, Frigate segundo, LLM Vision tercero con un pequeño modelo de visión en Ollama. Esa es la pila de referencia.

Si Apple HomeKit es importante: agrega Scrypted para exponer cámaras que no son HomeKit.

Si el servidor del hogar ya es un cuadro de Windows: Blue Iris toma el rol de NVR y entrega eventos a Home Assistant.

Cuando Frigate no activa la automatización que esperas: MQTT Explorer para ver qué se publica realmente.

Si los LLM en la nube son aceptables: salta Ollama y apunta LLM Vision a OpenAI o Gemini para una calidad de descripción más alta al costo de dejar la casa.

Preguntas frecuentes

¿Puede Home Assistant hacer IA de cámara sin Frigate?

Hay integraciones más ligeras (detección de movimiento a través de la propia integración de cámara, DeepStack, CodeProject.AI). Frigate es donde vive la detección de objetos local de clase mundial actual. La mayoría de las personas terminan en ello.

¿Necesito una Coral Edge TPU?

Altamente recomendado. Frigate se ejecuta en CPU pero a una fracción de la velocidad de fotogramas. Un solo stick USB Coral maneja 3 a 5 cámaras cómodamente. Una GPU también funciona, con mayor costo de energía.

¿Cuál es el mejor LLM para LLM Vision?

Para local, Qwen2.5-VL y moondream son los actuales favoritos en hardware modesto. Para la nube, GPT-5 o Gemini-2.5-Pro producen descripciones notablemente mejores al costo de la privacidad.

¿Puedo ejecutar esto completamente sin la nube?

Sí. Home Assistant + Frigate + LLM Vision + Ollama cubre todo el flujo localmente. Solo las notificaciones telefónicas salen de la casa, e incluso esas se pueden enrutar a través de un servidor Ntfy o Gotify alojado por uno mismo.

¿Funciona esto con cámaras inalámbricas?

Cualquier cámara que emita RTSP o sea compatible con ONVIF funciona. Las cámaras Wi-Fi están bien; una red estable importa más que una cámara cableada.