Recursive Harness Engineering
Сначала основы harness engineering, затем рекурсивное улучшение.
AI-системы для production · Берлин
Я проектирую production AI-системы на стыке разработки ПО, агентов, оценки, retrieval, безопасности и инфраструктуры—и превращаю трейсы и сбои в контролируемые эксперименты, надёжные релизы и более безопасное поведение.
Моя серия Recursive Harness Engineering начинается с основ: построить харнесс, независимо оценить его поведение и проверить изменения. В следующих главах мы автоматизируем поиск улучшений и исследуем, помогает ли опыт предыдущих раундов на новых задачах.
Автоматизируйте эксперимент, но не право объявить его безопасным.
Сначала основы harness engineering, затем рекурсивное улучшение.
По порядку. Начните с цикла.
Самое читаемое
Одни и те же задачи поддержки, решённые агентом, агентом с одобрением, агентом внутри воркфлоу, роутером и воркфлоу без агента, и сравнение на одном наборе тестов.
Как требования задачи определяют харнесс агента: выбор потока управления, инструментов, выполнения кода, состояния, разрешений и доказательств до выбора фреймворка.
Пролог к рекурсивному харнесс-инжинирингу: проверяем последовательные изменения LLM в инструменте памяти и сравниваем с простым перебором.
Обо мне
Я Слава Дубров, Staff AI System Engineer с докторской степенью в области AI-диагностики. Я работаю на стыке разработки ПО, агентных систем, оценки, retrieval, безопасности и production-инфраструктуры.