Closed-Loop AI Engineering
Превращать трейсы и сбои в ограниченные эксперименты, независимую оценку и решения о выпуске, основанные на доказательствах.
AI-системы для production · Берлин
Создавать AI-системы, которые улучшаются на основе доказательств
Автоматический перевод Эта статья была автоматически переведена с оригинальной английской версии.
Я проектирую production AI-системы на стыке разработки ПО, агентов, оценки, retrieval, безопасности и инфраструктуры—и превращаю трейсы и сбои в контролируемые эксперименты, надёжные релизы и более безопасное поведение.
- Staff AI System Engineerразработка · агенты · оценка · безопасность
- 11+ летproduction AI и разработка ПО
- Докторская степеньAI-диагностика · эквивалент PhD
- Open sourceвоспроизводимые системы
Проблема production
Демо — не самая сложная часть.
Production-агенты ломаются на стыках памяти, retrieval, инструментов, прав доступа, оценки и контроля релизов. Улучшение одной метрики не является прогрессом, если оно ухудшает надёжность, безопасность или стоимость.
Три связанные инженерные опоры
Одна управляемая системаНадёжность и безопасность агентов
До релиза проверять, к каким действиям можно склонить агента, и держать политики вне оптимизатора.
Production-системы агентов
Проектировать память, retrieval, инструменты, harness, runtime и observability как одну управляемую систему.
Рабочий цикл
Автоматизируйте эксперимент, но не право объявить его безопасным.
- Наблюдать
- Диагностировать
- Предлагать
- Экспериментировать
- Оценивать
- Проверять
- Выпускать
- Учиться
Системы, эксперименты и доказательства
Все работы →Агентные системы
Engineering the Agentic Stack
Архитектура из шести частей: reasoning, память, инструменты, безопасность, runtime и harness вокруг модели.
Оценка
Оценка AI-агентов в production
Превращение трейсов в регрессионные наборы и связь с запускаемым RAG-evaluation harness с чёткими границами применимости.
Retrieval и язык
Поиск, OCR и NER
Практические руководства по ранжированию, пониманию документов, структурированному извлечению и объединяющим их системам.
Обо мне
Системы вокруг модели и есть продукт.
Я Слава Дубров, Staff AI System Engineer с докторской степенью в области AI-диагностики. Я работаю на стыке разработки ПО, агентных систем, оценки, retrieval, безопасности и production-инфраструктуры.
Подробнее о моей работе →Продолжить
Проследите за доказательствами, стоящими за идеями.
Изучите инженерные работы, запустите открытые артефакты или продолжите чтение материалов о системах.