Labs es donde pruebo las partes de un producto antes de que un cliente dependa de ellas: interfaces de voz en tiempo real, respuestas de LLM en streaming, inferencia en el dispositivo y la maquinaria aburrida que las rodea — máquinas de estados, manejo de interrupciones, evaluación. Algunos son míos y otros son pruebas de concepto construidas para responder una pregunta de un cliente, publicadas una vez respondida. Cada uno se publica como un repositorio real, con especificación, tests y documentación; no como un gist. Lo que sobrevive aquí es lo que llevo al trabajo con clientes.
Una especificación antes del código, tareas con criterios de aceptación, un pull request por cada una y tests que mantienen honesta a la documentación. Un experimento que otra persona no puede leer es una nota, no un proyecto.
De la entrada a la salida, incluyendo el medio poco glamoroso: buffers de audio, parsers de streaming, cancelación, estados de error. Los problemas interesantes de un producto con IA casi nunca viven en el prompt.
Primero los frameworks de la plataforma. Mantiene el build reproducible años después, mantiene limpia la licencia y me obliga a entender de verdad la capa que si no importaría sin mirar.
Si el trabajo puede correr en la máquina del usuario, corre ahí. Voz en el dispositivo, modelos locales e inferencia en el borde son restricciones de diseño que me gustan: abaratan el producto y simplifican la pregunta sobre los datos.
Habla con un LLM local o remoto usando tu voz. macOS nativo, voz en el dispositivo, cero dependencias.
Un visitante habla con una página en español y cuelga con una cita de 30 minutos confirmada en el calendario del negocio.
Ahora mismo hay dos repositorios públicos. HermesVoice es un cliente de voz nativo de macOS para modelos de lenguaje, con licencia MIT, en github.com/devrchancay/hermes-voice-jarvis. El agente de voz que agenda citas (github.com/devrchancay/elevenlabs-cal-demo) es una prueba de concepto construida para un cliente: un visitante habla con una página en español y cuelga con una cita confirmada, usando ElevenLabs Agents, Cal.com y un backend en Fastify. Antes, como parte del equipo de Nexxtway, contribuyó a react-rainbow-components, una librería open source de componentes React. Todo se construye en público: la especificación, la lista de tareas y los pull requests están en el repositorio.
HermesVoice es una app nativa de macOS, con una interfaz al estilo del HUD de J.A.R.V.I.S., que permite sostener una conversación hablada con un modelo de lenguaje. El reconocimiento y la síntesis de voz corren en el dispositivo con SFSpeechRecognizer y AVSpeechSynthesizer, la respuesta llega por server-sent events y se habla frase por frase, y puedes interrumpirla hablando encima. Está escrita en Swift y SwiftUI sin dependencias de terceros y requiere macOS 14 o superior.
Con cualquier endpoint compatible con OpenAI que sirva POST /v1/chat/completions con streaming. Eso incluye una instancia de Hermes Agent de Nous Research, la API de OpenAI y runtimes locales como Ollama y LM Studio. La URL del servidor se configura en la app y la API key es opcional y se guarda en el Keychain de macOS, así que un servidor local sin autenticación funciona sin ninguna clave.
No. Tanto el reconocimiento como la síntesis corren en el dispositivo, así que al modelo solo se envía el texto transcrito. El selector de idioma lista únicamente los idiomas que tu Mac puede transcribir y hablar localmente, y marca de forma explícita cualquier idioma cuyo reconocimiento tendría que salir del dispositivo. El único costo recurrente es el modelo.
Es una prueba de concepto construida para un cliente, y funciona de punta a punta: el visitante abre una página, habla en español con un asistente y cuelga con una cita de 30 minutos confirmada en el calendario del negocio. ElevenLabs Agents se encarga de la voz, los turnos y el modelo, Cal.com es el dueño del calendario, y un backend en Fastify con TypeScript queda en medio para que el modelo nunca haga aritmética de fechas, nunca escriba un timestamp y nunca vea la key de Cal.com. Hay un artículo completo en el blog sobre cómo se construyó.
HermesVoice tiene licencia MIT, así que se puede usar, modificar y lanzar comercialmente con la atribución correspondiente. El agente de voz que agenda citas es un repositorio público sin archivo de licencia, así que está para leerlo y aprender de él más que para reutilizarlo tal cual: si quieres ese flujo en tu producto, lo práctico es construirlo para tu calendario y tus textos. Los issues y pull requests son bienvenidos en ambos.
Primero la especificación. La arquitectura, el contrato de la API y el diseño de la UI se escriben antes de cualquier código, el trabajo se divide en tareas numeradas con criterios de aceptación y cada tarea se entrega como su propio pull request con tests. En HermesVoice las capturas del README se renderizan desde las vistas SwiftUI reales con ImageRenderer como parte de los tests, así que la documentación no puede alejarse en silencio de la app. En el agente de voz, el agente mismo es JSON versionado que se aplica con el CLI de ElevenLabs, y 153 tests más un harness de simulación corren sin tocar la red.
Sí: el agente de voz que agenda citas fue exactamente eso, construido de punta a punta para un cliente. Ramón construye funciones de voz y de IA de punta a punta para productos web, móviles y de escritorio: interfaces de voz en tiempo real, respuestas de LLM en streaming, RAG sobre tus propios datos e inferencia local o en el borde cuando el audio o los documentos no pueden salir de la máquina del usuario. La forma más rápida de empezar es una llamada corta para definir el caso de uso y las restricciones.
Más de una década enviando producto en web, mobile e IA me dejó algo más valioso que stack: criterio. Si tu equipo está atascado en una decisión técnica, evaluando un stack, o necesita una segunda opinión antes de invertir meses en una dirección, conversemos.
