AI Engineering Labs

Code zu den Artikeln auf dieser Website. Jede Karte sagt, was das Projekt gemessen hat und was Sie zum Ausführen brauchen.

Labs zu den Serien

• Market Analyst Agent

  Serie: Engineering the Agentic Stack

  Ein LangGraph-Research-Agent, der Marktdaten abruft und Berichte schreibt. Er ist die Referenzimplementierung der Serie.

  Ergebnis: Kein Benchmark. Die Tests decken Tool Calls auf synthetischen Daten und das Freigabe-Routing des Guardian ab.

  Ausführen: uv run pytest tests/test_tools.py braucht kein Model. Eine vollständige Analyse braucht Python 3.13+, Docker sowie API-Schlüssel und macht kostenpflichtige Model-Aufrufe.

  Repository · Teil 1

• Agent Harness Lab

  Serie: Recursive Harness Engineering

  Ein LangChain-Support-Assistent für Erstattungen, Lieferungen und Kontoänderungen. Spec-Dateien schalten Harness-Komponenten ein und aus.

  Ergebnis: Mit gpt-6-luna bestanden beide Specs 12 von 12 eigenen State-Prüfungen; Schema-Guided Reasoning und der Jev Write Guard erhöhten die Kosten auf etwa das 2,2-Fache und die Laufzeit auf etwa das Doppelte. Bei acht Retail-Aufgaben aus τ³-bench bestand die Spec mit Guard 6 und die einfache 7, aber bei jedem Lauf schlugen andere Aufgaben fehl, daher spricht der Abstand für keine der beiden.

  Agent oder Workflow (v0.2.1-a2): Von fünf Designs bestand ein Workflow ohne Agent alle 16 State-Prüfungen, und laut Prüfung der Traces waren seine Antworten korrekt. Auch der Agent mit Freigabe-Middleware bestand alle 16, antwortete aber in beiden Fällen mit genehmigter Erstattung falsch. Jede Aufgabe lief einmal, und der Workflow wurde mit Blick auf diese Aufgaben geschrieben, daher ist das keine allgemeine Rangfolge.

  Ausführen: make test läuft offline. make a1-custom, make a1-tau3 und make a2-matrix wiederholen die Experimente über OpenRouter und brauchen einen API-Schlüssel.

  Repository · Harness-Design (v0.1.2-a1) · Agent oder Workflow

• Recursive Harness Engineering Lab

  Serie: Recursive Harness Engineering

  Der kleine Verbesserungszyklus der Serie: Ein unveränderter LLM-Vorschlagsgeber passt die Einstellungen eines Memory Tools an, deterministische Tests auf 20 synthetischen Szenarien prüfen jede Änderung, und das Feedback prägt den nächsten Vorschlag. Zwischen Kampagnen wird nichts übertragen.

  Ergebnis: Drei Kampagnen kamen mit denselben drei Patches von 13 auf 20 von 20 und nutzten dabei 12 Model-Aufrufe für etwa USD 0.04. Ein Durchlauf über alle 384 Konfigurationen fand in unter einer Sekunde 16, die bestehen, daher brauchte diese kleine Suche kein LLM; der Durchlauf kannte die Testdaten und hatte ein anderes Budget.

  Ausführen: lab verify und lab serve prüfen die aufgezeichnete Studie ohne API-Schlüssel. Eine neue Kampagne braucht OPENAI_API_KEY und --live.

  Repository · Artikel

Weitere Labs

• RAG Evals Demo

  Notebooks und Module, die Metriken für Retrieval, Reranking und Generierung auf dem SciFact-Korpus berechnen, dazu ein Durchlauf über Einstellungen für Chunking, Embedding und LLM. Qdrant läuft eingebettet, daher brauchen Sie kein Docker.

  Ergebnis: Es wird kein SciFact-Benchmark berichtet. Unit-Tests fixieren die durchgerechneten Beispiele des Artikels, etwa Recall@5 = 0.750, MRR = 0.625 und nDCG@5 = 0.627, sodass Sie jede Metrik mit einer Handrechnung abgleichen können.

  Ausführen: make eval führt die Suite aus. make benchmark ruft gehostete GPT-, Claude- und Gemini-Models auf und braucht deren API-Schlüssel.

  Repository · Artikel

• TypeScript Agent Service

  Ein pnpm-Monorepo für Python-ML-Engineers, die TypeScript ausliefern müssen: zwei Implementierungen des Agent Loop, eine Streaming-API, Run-Historie in Postgres, ein Worker und ein MCP-Server.

  Ergebnis: 40 Tests, davon laufen 36 ohne Postgres oder API-Schlüssel. Die Tests des Agent Loop sind in unter einer Sekunde ohne Netzwerk fertig.

  Ausführen: Node 24 und pnpm. pnpm demo braucht keinen API-Schlüssel, keine Datenbank und kein Docker. Die echte API braucht OPENAI_API_KEY und Postgres in Docker.

  Repository · Artikel

• Search Ranking Stack

  BM25, Dense Retrieval, Hybrid Fusion, Cross-Encoder-Reranking und LLM-Reranking auf einer Stichprobe von Amazon-ESCI-Produktsuchdaten, Stufe für Stufe gemessen.

  Ergebnis: NDCG@10 liegt bei 0.585 für BM25, 0.611 für Dense Retrieval und 0.628 für Hybrid Fusion, die damit jede der beiden Methoden allein übertrifft. Recall@100 steht nach dem Retrieval fest (0.842 für Hybrid), und spätere Stufen können ihn nicht erhöhen.

  Ausführen: uv sync, dann uv run download-data (2,5 GB Download, 5 MB Stichprobe). Die LLM-Stufe läuft über Ollama, die Anthropic API oder ein lokales Qwen-Model.

  Repository · Artikel

• Model Compression Demo

  Eine CLI, die die LLM-Quantization für ein gegebenes Model und eine Zielhardware plant und dann Rezepte, Dry Runs, Serving-Befehle und Benchmark-Pläne für vLLM, LLM Compressor und TensorRT-LLM ausgibt.

  Ergebnis: Kein gemessenes Ergebnis. Die Benchmark-Zahlen im Artikel stammen von anderen Teams; die Demo gibt Ihnen die Befehle, um selbst zu messen.

  Ausführen: uv run python demo.py plan und die anderen Planungsbefehle brauchen keine GPU. Quantization-, Serving- und Qualitätsläufe brauchen eine GPU und vLLM.

  Repository · Artikel