Labs d’ingénierie AI

Le code des articles de ce site. Chaque fiche indique ce que le projet a mesuré et ce qu’il faut pour l’exécuter.

Labs des séries

• Market Analyst Agent

  Série : Engineering the Agentic Stack

  Un agent de recherche LangGraph qui récupère des données de marché et rédige des rapports. C’est l’implémentation de référence de la série.

  Résultat : Aucun benchmark. Les tests couvrent les tool calls sur des données synthétiques et le routage vers la validation par le guardian.

  Exécution : uv run pytest tests/test_tools.py ne nécessite aucun modèle. Une analyse complète nécessite Python 3.13+, Docker et des clés API, et effectue des appels payants au modèle.

  Dépôt · Partie 1

• Agent Harness Lab

  Série : Recursive Harness Engineering

  Un assistant de support LangChain pour les remboursements, les livraisons et les modifications de compte. Des fichiers de spec activent et désactivent les composants du harness.

  Résultat : Avec gpt-6-luna, les deux specs ont réussi 12 vérifications d’état personnalisées sur 12 ; l’ajout de Schema-Guided Reasoning et du garde-fou d’écriture Jev a multiplié le coût par environ 2,2 et la durée par environ deux. Sur huit tâches retail de τ³-bench, la spec protégée en a réussi 6 et la spec simple 7, mais les tâches en échec différaient d’une exécution à l’autre, donc l’écart ne favorise aucune des deux.

  Agent ou workflow (v0.2.1-a2) : Sur cinq conceptions, un workflow sans agent a réussi les 16 vérifications d’état, et la lecture des traces a montré que ses réponses étaient correctes. L’agent avec approbation les a lui aussi réussies, mais a donné une réponse incorrecte dans les deux cas de remboursement approuvé. Chaque tâche a été exécutée une seule fois et le workflow a été écrit en connaissant ces tâches ; ce n’est donc pas un classement général.

  Exécution : make test s’exécute hors ligne. make a1-custom, make a1-tau3 et make a2-matrix relancent les expériences via OpenRouter et nécessitent une clé API.

  Dépôt · Conception du harness (v0.1.2-a1) · Agent ou workflow

• Recursive Harness Engineering Lab

  Série : Recursive Harness Engineering

  La petite boucle d’amélioration de la série : un proposeur LLM fixe modifie les paramètres d’un outil de mémoire, des tests déterministes sur 20 scénarios synthétiques vérifient chaque modification, et leur retour oriente la proposition suivante. Rien n’est conservé d’une campagne à l’autre.

  Résultat : Trois campagnes sont passées de 13 à 20 sur 20 avec les trois mêmes correctifs, en 12 appels au modèle pour environ USD 0.04. En moins d’une seconde, un balayage des 384 configurations en a trouvé 16 qui réussissent, donc cette petite recherche n’avait pas besoin d’un LLM ; le balayage connaissait toutefois les données de test et n’avait pas le même budget.

  Exécution : lab verify et lab serve vérifient l’étude enregistrée sans clé API. Une nouvelle campagne nécessite OPENAI_API_KEY et --live.

  Dépôt · Article

Autres labs

• RAG Evals Demo

  Des notebooks et des modules qui calculent les métriques de retrieval, de reranking et de génération sur le corpus SciFact, ainsi qu’un balayage des paramètres de découpage, d’embedding et de LLM. Qdrant s’exécute en mode embarqué, donc Docker n’est pas nécessaire.

  Résultat : Aucun benchmark SciFact n’est publié. Des tests unitaires fixent les exemples détaillés de l’article, comme Recall@5 = 0.750, MRR = 0.625 et nDCG@5 = 0.627, pour que vous puissiez vérifier chaque métrique par rapport à un calcul à la main.

  Exécution : make eval lance la suite. make benchmark appelle des modèles GPT, Claude et Gemini hébergés et nécessite leurs clés API.

  Dépôt · Article

• TypeScript Agent Service

  Un monorepo pnpm pour les ingénieurs ML Python qui doivent livrer du TypeScript : deux implémentations de l’agent loop, une API en streaming, un historique des exécutions dans Postgres, un worker et un serveur MCP.

  Résultat : 40 tests, dont 36 s’exécutent sans Postgres ni clé API. Les tests de l’agent loop se terminent en moins d’une seconde sans réseau.

  Exécution : Node 24 et pnpm. pnpm demo ne nécessite ni clé API, ni base de données, ni Docker. La vraie API nécessite OPENAI_API_KEY et Postgres dans Docker.

  Dépôt · Article

• Search Ranking Stack

  BM25, retrieval dense, fusion hybride, reranking par cross-encoder et reranking par LLM sur un échantillon de données de recherche de produits Amazon ESCI, mesurés étape par étape.

  Résultat : Le NDCG@10 est de 0.585 pour BM25, 0.611 pour le retrieval dense et 0.628 pour la fusion hybride, qui dépasse chaque méthode prise seule. Le Recall@100 est fixé au retrieval (0.842 pour l’hybride), et les étapes suivantes ne peuvent pas l’augmenter.

  Exécution : uv sync, puis uv run download-data (téléchargement de 2,5 Go, échantillon de 5 Mo). L’étape LLM passe par Ollama, l’API Anthropic ou un modèle Qwen local.

  Dépôt · Article

• Model Compression Demo

  Une CLI qui planifie la quantification d’un LLM pour un modèle et un matériel cible donnés, puis affiche des recettes, des simulations, des commandes de serving et des plans de benchmark pour vLLM, LLM Compressor et TensorRT-LLM.

  Résultat : Aucun résultat mesuré. Les chiffres de benchmark de l’article viennent d’autres équipes ; la démo vous donne les commandes pour mesurer les vôtres.

  Exécution : uv run python demo.py plan et les autres commandes de planification ne nécessitent pas de GPU. La quantification, le serving et les mesures de qualité nécessitent un GPU et vLLM.

  Dépôt · Article