Recursive Harness Engineering
Primero harness engineering, después mejora recursiva.
Sistemas de AI en producción · Berlín
Diseño sistemas de AI en producción que abarcan ingeniería de software, agentes, evaluación, retrieval, seguridad e infraestructura, y convierto trazas y fallos en experimentos controlados, versiones fiables y comportamientos más seguros.
Mi serie Recursive Harness Engineering empieza por los fundamentos: construir un harness, evaluar su comportamiento de forma independiente y probar cambios. Los capítulos posteriores automatizarán la búsqueda de mejoras e investigarán si la experiencia de rondas anteriores ayuda con tareas nuevas.
Automatiza el experimento, no la autoridad para declararlo seguro.
Primero harness engineering, después mejora recursiva.
En orden. Empieza por el bucle.
Lo más leído
Las mismas tareas de soporte como un agente, un agente con aprobación, un agente dentro de un flujo de trabajo, un router y un flujo de trabajo sin agente, comparados con un mismo conjunto de pruebas.
Cómo los requisitos de la tarea dan forma a un harness de agente: elegir el flujo de control, las herramientas, la ejecución de código, el estado, los permisos y la evidencia antes de elegir un framework.
Un prólogo al recursive harness engineering: probar cambios secuenciales de un LLM en una herramienta de memoria y compararlos con una búsqueda sencilla.
Acerca de
Soy Slava Dubrov, Staff AI System Engineer con un doctorado en diagnóstico con AI. Trabajo en ingeniería de software, sistemas de agentes, evaluación, retrieval, seguridad e infraestructura de producción.