AI Engineering Labs

Код к статьям этого сайта. В каждой карточке указано, что измерял проект и что нужно для его запуска.

Лабы к сериям

• Market Analyst Agent

  Серия: Engineering the Agentic Stack

  Исследовательский агент на LangGraph, который получает рыночные данные и пишет отчёты. В серии он служит референсной реализацией.

  Результат: Бенчмарка нет. Тесты покрывают tool calls на синтетических данных и то, что guardian направляет на одобрение.

  Запуск: uv run pytest tests/test_tools.py не требует модели. Полный анализ требует Python 3.13+, Docker и API-ключей и делает платные вызовы модели.

  Репозиторий · Часть 1

• Agent Harness Lab

  Серия: Recursive Harness Engineering

  Ассистент поддержки на LangChain по возвратам, доставке и изменениям аккаунта. Spec-файлы включают и выключают компоненты харнесса.

  Результат: С gpt-6-luna обе спецификации прошли 12 из 12 собственных проверок состояния; добавление Schema-Guided Reasoning и проверки записи через Jev увеличило стоимость примерно в 2.2 раза, а время работы — примерно вдвое. На восьми retail-задачах из τ³-bench спецификация с проверкой прошла 6, а базовая — 7, но от запуска к запуску проваливались разные задачи, поэтому разрыв не говорит в пользу ни одной из спецификаций.

  Агент или workflow (v0.2.1-a2): Workflow без агента, один из пяти вариантов, прошёл все 16 проверок состояния, а просмотр трейсов показал, что его ответы верны. Агент с согласованием тоже прошёл все проверки, но ответил неверно в обоих случаях одобренного возврата. Каждая задача запускалась один раз, и workflow создавался с учётом этих задач, поэтому это не общий рейтинг.

  Запуск: make test работает офлайн. make a1-custom, make a1-tau3 и make a2-matrix перезапускают эксперименты через OpenRouter и требуют API-ключ.

  Репозиторий · Проектирование харнесса (v0.1.2-a1) · Агент или workflow

• Recursive Harness Engineering Lab

  Серия: Recursive Harness Engineering

  Небольшой цикл улучшения из этой серии: неизменяемый LLM-агент меняет настройки инструмента памяти, детерминированные тесты на 20 синтетических историях проверяют каждое изменение, а обратная связь влияет на следующее предложение. Между кампаниями ничего не переносится.

  Результат: Три кампании прошли путь от 13 до 20 из 20 с одними и теми же тремя патчами, потратив 12 вызовов модели примерно на USD 0.04. Перебор всех 384 конфигураций меньше чем за секунду нашёл 16 проходящих, так что для этого небольшого поиска LLM не требовалась; перебор использовал знание тестовых данных и работал с другим бюджетом.

  Запуск: lab verify и lab serve проверяют записанное исследование без API-ключа. Для новой кампании нужны OPENAI_API_KEY и --live.

  Репозиторий · Статья

Другие лабы

• RAG Evals Demo

  Ноутбуки и модули, которые считают метрики retrieval, реранкинга и генерации на корпусе SciFact, плюс перебор настроек чанкинга, эмбеддингов и LLM. Qdrant работает во встроенном режиме, поэтому Docker не нужен.

  Результат: Бенчмарк на SciFact не приводится. Юнит-тесты фиксируют разобранные в статье примеры, например Recall@5 = 0.750, MRR = 0.625 и nDCG@5 = 0.627, так что каждую метрику можно сверить с ручным расчётом.

  Запуск: make eval запускает набор проверок. make benchmark вызывает облачные модели GPT, Claude и Gemini и требует их API-ключи.

  Репозиторий · Статья

• TypeScript Agent Service

  Монорепозиторий на pnpm для ML-инженеров на Python, которым нужно выпускать код на TypeScript: две реализации агентного цикла, стриминговый API, история запусков в Postgres, воркер и MCP-сервер.

  Результат: 40 тестов, из них 36 работают без Postgres и API-ключа. Тесты агентного цикла проходят меньше чем за секунду без сети.

  Запуск: Нужны Node 24 и pnpm. pnpm demo не требует API-ключа, базы данных или Docker. Для настоящего API нужны OPENAI_API_KEY и Postgres в Docker.

  Репозиторий · Статья

• Search Ranking Stack

  BM25, dense retrieval, гибридное слияние, реранкинг cross-encoder и реранкинг с помощью LLM на выборке данных товарного поиска Amazon ESCI с измерениями на каждом этапе.

  Результат: NDCG@10 равен 0.585 для BM25, 0.611 для dense retrieval и 0.628 для гибридного слияния, которое лучше каждого метода по отдельности. Recall@100 фиксируется на этапе retrieval (0.842 для гибридного варианта), и следующие этапы не могут его поднять.

  Запуск: uv sync, затем uv run download-data (загрузка 2.5 GB, выборка 5 MB). Этап с LLM работает через Ollama, Anthropic API или локальную модель Qwen.

  Репозиторий · Статья

• Model Compression Demo

  CLI, который планирует квантизацию LLM для заданной модели и целевого оборудования, а затем выводит рецепты, пробные запуски, команды сервинга и планы бенчмарков для vLLM, LLM Compressor и TensorRT-LLM.

  Результат: Измеренных результатов нет. Цифры бенчмарков в статье получены другими командами; демо даёт команды, чтобы измерить свои.

  Запуск: uv run python demo.py plan и другие команды планирования не требуют GPU. Для квантизации, сервинга и проверки качества нужны GPU и vLLM.

  Репозиторий · Статья