Praktische Field Notes zu den Bestandteilen von AI-Systemen, die in der Produktion bestehen müssen: Agents, Eval, Security, Memory, Retrieval, Model Engineering und Infrastruktur. Recursive Harness Engineering folgt einem gemeinsamen Weg: den Harness bauen, sein Verhalten unabhängig evaluieren und dann die Suche nach Verbesserungen automatisieren. Beginne mit einer der Serien unten oder durchsuche alle Artikel nach Thema.
Serien · Teile: 3
Erst Harness Engineering, dann rekursive Verbesserung.
Durch die Teile wischen →
Serien · Teile: 6
Der Reihe nach. Beginne beim Loop.
Durch die Teile wischen →
Evaluation
Agentenverhalten und jede Stufe eines Retrieval-Augmented-Generation-Systems evaluieren.
Retrieval & Sprache
Ranking-Pipelines bauen, Dokument-AI-Systeme auswählen und Sprache zuverlässig strukturieren.
Kurzantworten
Sie wählen ein Modell, ein Tool oder einen Ansatz? Hier finden Sie eine kurze Empfehlung, die Bedingungen dafür und einen Link zur ausführlichen Erklärung.
KI-Agenten
Dieselben Support-Aufgaben als Agent, als Agent mit Freigabe, als Agent in einem Workflow, als Router und als Workflow ohne Agent, verglichen auf einem Testset.
· 23 Min.
KI-Agenten
Wie die Anforderungen einer Aufgabe einen Agent-Harness formen: Ablaufsteuerung, Tools, Codeausführung, State, Berechtigungen und Nachweise festlegen, bevor man ein Framework wählt.
· 29 Min.
KI-Agenten
Ein Prolog zum rekursiven Harness Engineering: sequenzielle Änderungen eines LLM an einem Speicherwerkzeug testen und mit einfacher Suche vergleichen.
· 20 Min.
Entwicklungswerkzeuge · KI-Agenten
Pydantic auf Zod, FastAPI auf Hono und Celery auf eine Postgres-Queue abbilden und dann einen Streaming-Agent-Service in einem pnpm-TypeScript-Monorepo bauen.
· 25 Min.
KI-Agenten
Wie man ein getestetes Artefakt akzeptiert, unsichere Tool Calls wiederherstellt, Arbeit an eine andere Session übergibt und misst, ob eine Harness-Komponente hilft.
· 21 Min.
Modellentwicklung · KI-Infrastruktur
Ein praktischer Leitfaden zur Auswahl von Quantization-Pfaden für LLMs und Diffusion-Models anhand von Bottleneck, Hardware, Runtime-Kernel, Calibration Data und Deployment-Checks.
· 32 Min.
KI-Agenten
Warum produktive AI Agents Schema-Guided Memory mit zeitlicher Gültigkeit, Provenance und strukturierter Konfliktbehandlung brauchen statt Vector-Recall über Rohtext.
· 16 Min.
KI-Agenten
Wie sich AI Agents in Production evaluieren lassen: Traces werden zu versionierten Regression-Datasets, Trajectory-Metriken, kalibrierten Judges und CI-Checks.
· 27 Min.
KI-Agenten
Setzen Sie einen Agent Run nach Worker-Ausfällen fort, gleichen Sie unsichere Tool-Effekte ab und wählen Sie eine Runtime: Queue und Worker, Temporal, Sandboxes oder gehostete Agents.
· 30 Min.
Retrieval- und Sprachsysteme
RAG-Evaluationsmetriken für Parsing, Retrieval, Reranking, Generation, Zitate und Produktionstelemetrie, mit Code und Failure Modes.
· 45 Min.
KI-Agenten
Wie Sie die vorgeschlagene Aktion eines Agents autorisieren, seinen Executor eingrenzen und die Grenzen testen, die Model Guardrails nicht durchsetzen können.
· 26 Min.
Retrieval- und Sprachsysteme
NER bedeutet 2026, zwischen GLiNER, spaCy, Transformers und LLM-Extraktion abzuwägen – nach Latency, Genauigkeit und Schema-Kontrolle.
· 42 Min.
KI-Agenten
Entwirf den Action- und Result-Vertrag eines Agents und wähle dann JSON Calls, MCP, CLI oder Code Execution für die Arbeit, die er erledigen muss.
· 23 Min.
Modellentwicklung · KI-Infrastruktur
Ein Nachschlagewerk für Praktiker zu 45 LLM-Engineering-Konzepten für Produktionssysteme, von Inference, Training und Architektur bis zu Deployment und Betrieb.
· 73 Min.
Retrieval- und Sprachsysteme
OCR im Jahr 2026 bedeutet, zwischen klassischen Pipelines und VLMs für Text, Layout, Tabellen und Document Extraction zu wählen.
· 22 Min.
KI-Infrastruktur
Wie Polars, DataFusion, Daft, Ray Data und Spark tabellarische und multimodale Workloads ausführen, mit Code, einem fairen Benchmark und Entscheidungsregeln.
· 19 Min.
KI-Agenten
Wählen Sie Agent Memory nach dem Fehler, den sie verhindern soll, und dann das Werkzeug: Checkpoint Saver, Key-Value-Stores, pgvector oder Qdrant, Dateien oder ein Memory-Framework.
· 26 Min.
Retrieval- und Sprachsysteme
So bauen Sie einen Search-Ranking-Stack mit BM25, dichten Embeddings, hybrider RRF, Cross-Encoder-Reranking und LLM-Listwise-Reranking auf Amazon ESCI.
· 28 Min.
KI-Agenten
Wählen Sie zwischen festen Workflows, ReAct, ReWOO und Plan-and-Execute anhand der Frage, wann tool results die nächste Aktion ändern müssen.
· 15 Min.
Modellentwicklung
Ein technischer Überblick über DeepSeeks Manifold-Constrained Hyper-Connections (mHC): Skalierung der Breite des Residual Stream, Sinkhorn-Routing und Trainingsstabilität.
· 13 Min.
KI-Agenten
Was öffentliche Einreichungen zur Enterprise RAG Challenge 3 über Prompt-Iteration, Validierung, Context-Strategie, Tool-Wrapper und Agent-Architektur zeigen.
· 13 Min.
Modellentwicklung
Wann Sie LLMs fine-tunen sollten, wann RAG oder Prompting sinnvoller sind und wie LoRA, QLoRA, DoRA, Unsloth, Axolotl, Datasets, Evals und Deployment zusammenpassen.
· 28 Min.
KI-Agenten · Modellentwicklung
Wie Schema-Guided Reasoning vLLM, XGrammar, Pydantic-Schemas und Constrained Decoding nutzt, um strukturell gültige LLM-Ausgaben zu erzwingen.
· 17 Min.
Modellentwicklung · KI-Infrastruktur
LoRAX für Long-Tail-LoRA-Serving bewerten und deployen: mit aktuellen APIs, gehärtetem Kubernetes-Chart, Adapter-Sicherheit, Cache-bewusstem Routing und den Abwägungen gegenüber vLLM.
· 15 Min.
KI-Agenten
Wie Domain-Driven Design AI Agents hilft, gemeinsame Sprache, Bounded Contexts, Services, Repositories und deterministische Geschäftsregeln zu nutzen.
· 16 Min.
KI-Agenten
Wie du Context Engineering für AI Agents entwirfst: Context Windows, Instruction Hierarchy, Retrieval, Memory, Tools, Guardrails, Provenance und Compression.
· 25 Min.
KI-Agenten · Entwicklungswerkzeuge
Einen eigenen MCP-Server mit uv und FastMCP entwickeln, ML-Feature-Store-Tools bereitstellen, lokal testen und den Server mit Claude Desktop verbinden.
· 10 Min.
Modellentwicklung
So liest du die Namen von Open-Weight-Modellen, indem du Training-Rolle, Architektur, Quantization-Methode, Speicherformat, Runtime und Hardware-Passung getrennt betrachtest.
· 14 Min.
Entwicklungswerkzeuge
Lokale Tools zur Bildgenerierung unter macOS im Vergleich: Einrichtung, Model-Unterstützung, Kontrolle über den Workflow, Reproduzierbarkeit, Erweiterungen und Wartungsstatus.
· 12 Min.
Modellentwicklung · Entwicklungswerkzeuge
Lokale LLM-Tools auf macOS im Vergleich: Oberfläche, Modellformat, Speicherreserve, API-Zugriff und Entwicklungs-Workflow auf Apple Silicon.
· 11 Min.
Entwicklungswerkzeuge
Wie pyproject.toml funktioniert: Build-Systeme, Projekt-Metadaten, Laufzeitabhängigkeiten, Entwicklungsgruppen, CLI-Entry-Points und Tool-Konfiguration.
· 8 Min.
Entwicklungswerkzeuge
Zsh-Startup-Dateien erklärt: wann ~/.zprofile und ~/.zshrc unter macOS und Linux geladen werden, was in welche Datei gehört und wie sich der Modus der laufenden Shell diagnostizieren lässt.
· 7 Min.
KI-Infrastruktur
Was Foundation Models an MLOps verändert haben: Release-Einheiten, Retrieval, Tools, Evaluation, Tracing, Serving und die Tools für jede dieser Aufgaben.
· 16 Min.
Modellentwicklung · KI-Infrastruktur
Wie Sie LLMs mit Data, Sharded, Tensor, Pipeline, Context und Expert Parallelism über GPUs und Nodes skalieren und welches Framework welche Variante implementiert.
· 19 Min.
Entwicklungswerkzeuge
Eine Checkliste für das MacBook-Setup für AI Engineering: Xcode-Tools, Homebrew, Python mit uv, Docker, Terminal-Setup und VS Code.
· 8 Min.
Entwicklungswerkzeuge
Wie ich uv unter macOS für Python-Installationen, Projektabhängigkeiten, Lock-Dateien, Inline-Skripte und einmalige CLI-Tools verwende.
· 10 Min.
Hier ist noch nichts.
