Практические заметки о компонентах AI-систем, которые должны выдерживать эксплуатацию в production: агенты, эвал, безопасность, память, retrieval, модельный инжиниринг и инфраструктура. Серия Recursive Harness Engineering идёт по одному пути: построить харнесс, независимо оценить его поведение, затем автоматизировать поиск улучшений. Начните с одной из серий ниже или просмотрите все статьи по темам.
Серии · Частей: 3
Сначала основы harness engineering, затем рекурсивное улучшение.
Листайте части →
Серии · Частей: 6
По порядку. Начните с цикла.
Листайте части →
Оценка
Оценка поведения агентов и каждого этапа системы retrieval-augmented generation.
Retrieval и язык
Создание пайплайнов ранжирования, выбор Document AI и надёжное структурирование языка.
Краткие ответы
Выбираете модель, инструмент или подход? Здесь — короткая рекомендация, условия, от которых зависит выбор, и ссылка на подробное объяснение.
ИИ-агенты
Одни и те же задачи поддержки, решённые агентом, агентом с одобрением, агентом внутри воркфлоу, роутером и воркфлоу без агента, и сравнение на одном наборе тестов.
· 20 мин
ИИ-агенты
Как требования задачи определяют харнесс агента: выбор потока управления, инструментов, выполнения кода, состояния, разрешений и доказательств до выбора фреймворка.
· 25 мин
ИИ-агенты
Пролог к рекурсивному харнесс-инжинирингу: проверяем последовательные изменения LLM в инструменте памяти и сравниваем с простым перебором.
· 18 мин
Инструменты разработчика · ИИ-агенты
Сопоставим pydantic и Zod, FastAPI и Hono, Celery и очередь на Postgres, а затем создадим стриминговый агентный сервис в TypeScript-монорепозитории на pnpm.
· 23 мин
ИИ-агенты
Как принять протестированный артефакт, восстановить результат неопределённых tool calls, передать работу другой сессии и измерить, помогает ли компонент харнесса.
· 18 мин
Инженерия моделей · ИИ-инфраструктура
Практический гайд по выбору пути квантизации LLM и диффузионных моделей по боттлнеку, железу, рантайм-ядру, калибровочным данным и проверкам перед деплоем.
· 32 мин
ИИ-агенты
Почему агентам в рабочей системе нужна память под управлением схемы с временной валидностью, сведениями об источниках и структурированной обработкой конфликтов, а не векторный поиск по сырому тексту.
· 16 мин
ИИ-агенты
Как оценивать ИИ-агентов в продакшене: превращать трейсы в версионируемые регрессионные датасеты, метрики траекторий, откалиброванные джаджи и проверки в CI.
· 25 мин
ИИ-агенты
Как сохранить запуск агента при сбоях воркеров, проверить результаты внешних действий и выбрать рантайм: очередь и воркер, Temporal, сэндбоксы или хостинговые агенты.
· 28 мин
Поисковые и языковые системы
Метрики оценки RAG для парсинга, retrieval, реранкинга, генерации, цитирования и продакшен-телеметрии: с кодом и типичными сбоями.
· 43 мин
ИИ-агенты
Как авторизовать действие, предложенное агентом, изолировать его экзекьютор и проверить границы, которые гардрейлы модели обеспечить не могут.
· 24 мин
Поисковые и языковые системы
NER в 2026 году — это выбор между GLiNER, spaCy, Transformers и LLM-извлечением с учётом латентности, точности и контроля над схемой.
· 40 мин
ИИ-агенты
Спроектируйте контракт действия и результата для агента, а затем выберите JSON-вызовы, MCP, CLI или выполнение кода для работы, которую он должен сделать.
· 21 мин
Инженерия моделей · ИИ-инфраструктура
Справочник практика по 45 концепциям LLM-инжиниринга для production-систем: инференс, обучение, архитектура, деплой и эксплуатация.
· 71 мин
Поисковые и языковые системы
OCR в 2026 году означает выбор между классическими пайплайнами и VLM для текста, раскладки, таблиц и извлечения данных из документов.
· 21 мин
ИИ-инфраструктура
Как Polars, DataFusion, Daft, Ray Data и Spark выполняют табличные и мультимодальные нагрузки: код, сопоставимый бенчмарк и правила выбора.
· 18 мин
ИИ-агенты
Выбирайте память агента по сбою, который она должна предотвратить, а затем инструмент: checkpoint saver, key-value-хранилище, pgvector или Qdrant, файлы или фреймворк памяти.
· 24 мин
Поисковые и языковые системы
Как построить стек ранжирования поиска с BM25, плотными эмбеддингами, гибридным RRF, реранкингом cross-encoder и listwise-реранкингом через LLM на Amazon ESCI.
· 27 мин
ИИ-агенты
Как выбрать между фиксированными workflow, ReAct, ReWOO и Plan-and-Execute, исходя из того, когда результаты инструментов должны менять следующее действие.
· 13 мин
Инженерия моделей
Технический разбор Manifold-Constrained Hyper-Connections (mHC) от DeepSeek: масштабирование ширины остаточного потока, роутинг Sinkhorn и стабильность обучения.
· 12 мин
ИИ-агенты
Что публичные решения Enterprise RAG Challenge 3 говорят об итерациях над промптом, валидации, стратегии контекста, обёртках над инструментами и архитектуре агентов.
· 12 мин
Инженерия моделей
Когда файн-тюнить LLM, а когда хватит RAG или промптинга, и как сочетаются LoRA, QLoRA, DoRA, Unsloth, Axolotl, датасеты, эвалы и деплой.
· 27 мин
ИИ-агенты · Инженерия моделей
Как Schema-Guided Reasoning использует vLLM, XGrammar, схемы Pydantic и constrained decoding, чтобы ответы LLM были структурно валидными.
· 15 мин
Инженерия моделей · ИИ-инфраструктура
Как оценить и развернуть LoRAX для сервинга длинного хвоста LoRA-адаптеров: актуальные API, hardening Kubernetes-чарта, безопасность адаптеров, кэш-ориентированный роутинг и сравнение с vLLM.
· 15 мин
ИИ-агенты
Как предметно-ориентированное проектирование помогает ИИ-агентам использовать общий язык, ограниченные контексты, сервисы, репозитории и детерминированные бизнес-правила.
· 15 мин
ИИ-агенты
Как проектировать контекст-инжиниринг для ИИ-агентов: контекстные окна, иерархия инструкций, retrieval, память, инструменты, гардрейлы, provenance и сжатие.
· 23 мин
ИИ-агенты · Инструменты разработчика
Создайте собственный MCP-сервер с помощью uv и FastMCP, предоставьте инструменты ML-фичестора, протестируйте их локально и подключите сервер к Claude Desktop.
· 9 мин
Инженерия моделей
Как читать названия open-weight моделей: отделить роль обучения, архитектуру, метод квантизации, формат хранения, рантайм и требования к железу.
· 14 мин
Инструменты разработчика
Сравнение локальных инструментов для генерации изображений на macOS по установке, поддержке моделей, управлению воркфлоу, воспроизводимости, расширениям и статусу сопровождения.
· 11 мин
Инженерия моделей · Инструменты разработчика
Сравнение инструментов для локальных LLM на macOS по интерфейсу, формату модели, запасу памяти, доступу к API и рабочему процессу разработки на Apple Silicon.
· 11 мин
Инструменты разработчика
Как работает pyproject.toml: системы сборки, метаданные проекта, зависимости времени выполнения, группы для разработки, точки входа CLI и настройка инструментов.
· 8 мин
Инструменты разработчика
Разбираем файлы запуска Zsh: когда в macOS и Linux загружаются ~/.zprofile и ~/.zshrc, что помещать в каждый из них и как определить режим запущенного shell.
· 6 мин
ИИ-инфраструктура
Что фундаментальные модели изменили в MLOps: единицы релиза, retrieval, инструменты, эвалы, трейсинг, сервинг и инструменты для каждой задачи.
· 15 мин
Инженерия моделей · ИИ-инфраструктура
Как масштабировать LLM на несколько GPU и узлов с помощью параллелизма данных, шардирования, тензорного, конвейерного, контекстного и экспертного параллелизма и какой фреймворк что реализует.
· 18 мин
Инструменты разработчика
Чеклист настройки MacBook для AI-инжиниринга: инструменты Xcode, Homebrew, Python с uv, Docker, настройка терминала и VS Code.
· 7 мин
Инструменты разработчика
Как я использую uv на macOS для установки Python, зависимостей проектов, lock-файлов, скриптов со встроенными метаданными и разовых CLI-инструментов.
· 9 мин
Здесь пока пусто.
