AI Engineering Labs

Code bij de artikelen op deze site. Elke kaart vertelt wat het project heeft gemeten en wat je nodig hebt om het uit te voeren.

Labs bij de series

• Market Analyst Agent

  Serie: Engineering the Agentic Stack

  Een LangGraph-researchagent die marktdata ophaalt en rapporten schrijft. Het is de referentie-implementatie van de serie.

  Resultaat: Geen benchmark. De tests dekken tool calls op synthetische data en de goedkeuringsrouting van de guardian.

  Uitvoeren: uv run pytest tests/test_tools.py heeft geen model nodig. Een volledige analyse vereist Python 3.13+, Docker en API-sleutels, en doet betaalde modelaanroepen.

  Repository · Deel 1

• Agent Harness Lab

  Serie: Recursive Harness Engineering

  Een LangChain-supportassistent voor terugbetalingen, leveringen en accountwijzigingen. Specbestanden zetten harness-componenten aan en uit.

  Resultaat: Met gpt-6-luna haalden beide specs 12 van de 12 eigen state checks; met Schema-Guided Reasoning en de Jev write guard erbij kostte het ongeveer 2,2 keer zoveel en duurde het ongeveer twee keer zo lang. Op acht retailtaken uit τ³-bench haalde de spec met guard er 6 en de kale er 7, maar per run mislukten andere taken, dus het verschil pleit voor geen van beide.

  Agent of workflow (v0.2.1-a2): Van de vijf ontwerpen slaagde de workflow zonder agent voor alle 16 state checks, en bij het lezen van de traces bleken zijn antwoorden correct. De agent met goedkeuring slaagde er ook voor, maar antwoordde verkeerd bij beide goedgekeurde terugbetalingen. Elke taak draaide eenmaal en de workflow was geschreven met kennis van deze taken, dus dit is geen algemene rangorde.

  Uitvoeren: make test draait offline. make a1-custom, make a1-tau3 en make a2-matrix draaien de experimenten opnieuw via OpenRouter en vereisen een API-sleutel.

  Repository · Harness-ontwerp (v0.1.2-a1) · Agent of workflow

• Recursive Harness Engineering Lab

  Serie: Recursive Harness Engineering

  De kleine verbeterlus van de serie: een vaste LLM-proposer wijzigt de instellingen van een memory tool, deterministische tests op 20 synthetische verhalen controleren elke wijziging, en de feedback stuurt het volgende voorstel. Tussen campagnes wordt niets overgedragen.

  Resultaat: Drie campagnes gingen met dezelfde drie patches van 13 naar 20 van de 20, met 12 modelaanroepen voor ongeveer USD 0,04. Een sweep over alle 384 configuraties vond er in minder dan een seconde 16 die slagen, dus deze kleine zoektocht had geen LLM nodig; de sweep kende de testdata en had een ander budget.

  Uitvoeren: lab verify en lab serve controleren de opgeslagen studie zonder API-sleutel. Een nieuwe campagne vereist OPENAI_API_KEY en --live.

  Repository · Artikel

Meer labs

• RAG Evals Demo

  Notebooks en modules die retrieval-, reranking- en generatiemetrics berekenen op het SciFact-corpus, plus een sweep over instellingen voor chunking, embedding en LLM. Qdrant draait embedded, dus je hebt geen Docker nodig.

  Resultaat: Er wordt geen SciFact-benchmark gerapporteerd. Unittests leggen de uitgewerkte voorbeelden uit het artikel vast, zoals Recall@5 = 0.750, MRR = 0.625 en nDCG@5 = 0.627, zodat je elke metric kunt vergelijken met een handmatige berekening.

  Uitvoeren: make eval draait de suite. make benchmark roept gehoste GPT-, Claude- en Gemini-modellen aan en vereist hun API-sleutels.

  Repository · Artikel

• TypeScript Agent Service

  Een pnpm-monorepo voor Python-ML-engineers die TypeScript moeten opleveren: twee implementaties van de agent loop, een streaming API, runhistorie in Postgres, een worker en een MCP-server.

  Resultaat: 40 tests, waarvan 36 draaien zonder Postgres of API-sleutel. De tests van de agent loop zijn in minder dan een seconde klaar, zonder netwerk.

  Uitvoeren: Node 24 en pnpm. pnpm demo heeft geen API-sleutel, database of Docker nodig. De echte API vereist OPENAI_API_KEY en Postgres in Docker.

  Repository · Artikel

• Search Ranking Stack

  BM25, dense retrieval, hybrid fusion, cross-encoder reranking en LLM-reranking op een steekproef van Amazon ESCI-productzoekdata, fase voor fase gemeten.

  Resultaat: NDCG@10 is 0,585 voor BM25, 0,611 voor dense retrieval en 0,628 voor hybrid fusion, wat beter is dan elke methode afzonderlijk. Recall@100 ligt vast bij retrieval (0,842 voor hybrid), en latere fasen kunnen die niet verhogen.

  Uitvoeren: uv sync, daarna uv run download-data (2,5 GB download, 5 MB steekproef). De LLM-fase draait via Ollama, de Anthropic API of een lokaal Qwen-model.

  Repository · Artikel

• Model Compression Demo

  Een CLI die LLM-quantization plant voor een gegeven model en doelhardware, en daarna recepten, dry runs, servingcommando’s en benchmarkplannen afdrukt voor vLLM, LLM Compressor en TensorRT-LLM.

  Resultaat: Geen gemeten resultaat. De benchmarkcijfers in het artikel komen van andere teams; de demo geeft je de commando’s om zelf te meten.

  Uitvoeren: uv run python demo.py plan en de andere planningscommando’s hebben geen GPU nodig. Quantization-, serving- en kwaliteitsruns vereisen een GPU en vLLM.

  Repository · Artikel