Laboratorios de ingeniería de AI

Código de los artículos de este sitio. Cada ficha indica qué midió el proyecto y qué necesitas para ejecutarlo.

Laboratorios de las series

• Market Analyst Agent

  Serie: Engineering the Agentic Stack

  Un agente de investigación con LangGraph que obtiene datos de mercado y redacta informes. Es la implementación de referencia de la serie.

  Resultado: No hay benchmark. Las pruebas cubren las tool calls sobre datos sintéticos y el envío a aprobación que hace el guardián.

  Cómo ejecutarlo: uv run pytest tests/test_tools.py no necesita ningún modelo. Un análisis completo necesita Python 3.13+, Docker y claves API, y hace llamadas de pago al modelo.

  Repositorio · Parte 1

• Agent Harness Lab

  Serie: Recursive Harness Engineering

  Un asistente de soporte con LangChain para reembolsos, entregas y cambios de cuenta. Los archivos de especificación activan y desactivan componentes del harness.

  Resultado: Con gpt-6-luna, ambas especificaciones superaron 12 de 12 comprobaciones de estado propias; añadir Schema-Guided Reasoning y la protección de escritura Jev supuso un coste unas 2,2 veces mayor y aproximadamente el doble de tiempo. En ocho tareas de retail de τ³-bench, la especificación protegida superó 6 y la simple, 7, pero en cada ejecución fallaron tareas distintas, así que la diferencia no favorece a ninguna de las dos.

  Agente o workflow (v0.2.1-a2): De los cinco diseños, un workflow sin agente superó las 16 comprobaciones de estado, y la revisión de las trazas mostró que sus respuestas eran correctas. El agente con aprobación también las superó, pero respondió incorrectamente en ambos casos de reembolso aprobado. Cada tarea se ejecutó una vez y el workflow se escribió conociendo estas tareas, así que esto no es una clasificación general.

  Cómo ejecutarlo: make test se ejecuta sin conexión. make a1-custom, make a1-tau3 y make a2-matrix repiten los experimentos a través de OpenRouter y necesitan una clave API.

  Repositorio · Diseño del harness (v0.1.2-a1) · Agente o workflow

• Recursive Harness Engineering Lab

  Serie: Recursive Harness Engineering

  El pequeño ciclo de mejora de la serie: un proponente LLM fijo cambia los ajustes de una herramienta de memoria, unas pruebas deterministas sobre 20 historias sintéticas comprueban cada cambio y el feedback orienta la siguiente propuesta. No se transfiere nada entre campañas.

  Resultado: Tres campañas subieron de 13 a 20 de 20 con los mismos tres parches, usando 12 llamadas al modelo por unos USD 0.04. Un barrido de las 384 configuraciones encontró en menos de un segundo 16 que pasan, así que esta pequeña búsqueda no necesitaba un LLM; el barrido conocía los datos de prueba y tenía un presupuesto distinto.

  Cómo ejecutarlo: lab verify y lab serve comprueban el estudio registrado sin clave API. Una campaña nueva necesita OPENAI_API_KEY y --live.

  Repositorio · Artículo

Más laboratorios

• RAG Evals Demo

  Notebooks y módulos que calculan métricas de retrieval, reranking y generación sobre el corpus SciFact, además de un barrido sobre ajustes de chunking, embedding y LLM. Qdrant se ejecuta embebido, así que no necesitas Docker.

  Resultado: No se publica ningún benchmark de SciFact. Las pruebas unitarias fijan los ejemplos prácticos del artículo, como Recall@5 = 0.750, MRR = 0.625 y nDCG@5 = 0.627, para que puedas comprobar cada métrica con un cálculo a mano.

  Cómo ejecutarlo: make eval ejecuta la batería de pruebas. make benchmark llama a modelos alojados de GPT, Claude y Gemini y necesita sus claves API.

  Repositorio · Artículo

• TypeScript Agent Service

  Un monorepo pnpm para ingenieros de ML en Python que necesitan entregar TypeScript: dos implementaciones del agent loop, una API en streaming, historial de ejecuciones en Postgres, un worker y un servidor MCP.

  Resultado: 40 pruebas, de las cuales 36 se ejecutan sin Postgres ni clave API. Las pruebas del agent loop terminan en menos de un segundo sin red.

  Cómo ejecutarlo: Node 24 y pnpm. pnpm demo no necesita clave API, base de datos ni Docker. La API real necesita OPENAI_API_KEY y Postgres en Docker.

  Repositorio · Artículo

• Search Ranking Stack

  BM25, dense retrieval, fusión híbrida, reranking con cross-encoder y reranking con LLM sobre una muestra de datos de búsqueda de productos de Amazon ESCI, medidos etapa por etapa.

  Resultado: NDCG@10 es 0.585 para BM25, 0.611 para dense retrieval y 0.628 para la fusión híbrida, que supera a cada método por separado. Recall@100 queda fijado en el retrieval (0.842 para el híbrido), y las etapas posteriores no pueden subirlo.

  Cómo ejecutarlo: uv sync y después uv run download-data (descarga de 2,5 GB, muestra de 5 MB). La etapa LLM se ejecuta con Ollama, la API de Anthropic o un modelo Qwen local.

  Repositorio · Artículo

• Model Compression Demo

  Una CLI que planifica la cuantización de un LLM para un modelo y un hardware objetivo dados, y después imprime recetas, ejecuciones en seco, comandos de serving y planes de benchmark para vLLM, LLM Compressor y TensorRT-LLM.

  Resultado: No hay resultados medidos. Las cifras de benchmark del artículo proceden de otros equipos; la demo te da los comandos para medir las tuyas.

  Cómo ejecutarlo: uv run python demo.py plan y los demás comandos de planificación no necesitan GPU. Las ejecuciones de cuantización, serving y calidad necesitan una GPU y vLLM.

  Repositorio · Artículo