Recursive Harness Engineering
Eerst harness engineering, dan recursieve verbetering.
AI-systemen voor productie · Berlijn
Ik ontwerp production AI-systemen voor software engineering, agents, evaluatie, retrieval, security en infrastructuur—waarbij traces en fouten worden omgezet in gecontroleerde experimenten, betrouwbare releases en veiliger gedrag.
Mijn serie Recursive Harness Engineering begint bij de basis: een harness bouwen, het gedrag onafhankelijk evalueren en wijzigingen testen. Latere hoofdstukken zullen het zoeken naar verbeteringen automatiseren en onderzoeken of ervaring uit eerdere rondes helpt bij nieuwe taken.
Automatiseer het experiment, niet de bevoegdheid om het veilig te verklaren.
Eerst harness engineering, dan recursieve verbetering.
Op volgorde. Begin bij de lus.
Meest gelezen
Dezelfde supporttaken als agent, agent met goedkeuring, agent in een workflow, router en workflow zonder agent, vergeleken op één testset.
Hoe taakeisen een agent harness vormgeven: control flow, tools, code-uitvoering, state, permissies en bewijs kiezen voordat je een framework kiest.
Een proloog op recursive harness engineering: opeenvolgende LLM-wijzigingen aan een memory tool testen en vergelijken met eenvoudig zoeken.
Over
Ik ben Slava Dubrov, Staff AI System Engineer met een doctoraat in AI-diagnostiek. Ik werk aan software-engineering, agentsystemen, evaluatie, retrieval, beveiliging en productie-infrastructuur.