Recursive Harness Engineering
D'abord le harness engineering, puis l'amélioration récursive.
Systèmes d’AI en production · Berlin
Je conçois des systèmes d’IA en production à l’intersection de l’ingénierie logicielle, des agents, de l’évaluation, du retrieval, de la sécurité et de l’infrastructure — en transformant les traces et les échecs en expériences contrôlées, en mises en production fiables et en comportements plus sûrs.
Ma série Recursive Harness Engineering commence par les bases : construire un harness, évaluer son comportement de manière indépendante et tester les modifications. Les chapitres suivants automatiseront la recherche d’améliorations et étudieront si l’expérience des cycles précédents aide sur de nouvelles tâches.
Automatisez l’expérience, pas l’autorité qui la déclare sûre.
D'abord le harness engineering, puis l'amélioration récursive.
Dans l'ordre. Commencez par la boucle.
Les plus lus
Les mêmes tâches de support réalisées par un agent, un agent avec approbation, un agent dans un workflow, un routeur et un workflow sans agent, comparés sur un même jeu de tests.
Comment les exigences d’une tâche façonnent un harness d’agent : choisir le flux de contrôle, les outils, l’exécution de code, l’état, les permissions et les preuves avant de choisir un framework.
Un prologue au recursive harness engineering : tester les changements successifs d’un LLM sur un outil de mémoire et les comparer à une recherche simple.
À propos
Je suis Slava Dubrov, Staff AI System Engineer, titulaire d’un doctorat en diagnostic par AI. Je travaille sur l’ingénierie logicielle, les systèmes d’agents, l’évaluation, le retrieval, la sécurité et l’infrastructure de production.