Slava Dubrov bei seinem Vortrag auf dem World Agentic AI Summit Berlin 2026

AI-Systeme für den Produktionseinsatz

Über Slava Dubrov

AI-Systeme für Produktion, Evaluation, Sicherheit und die Evidenzschleifen, die sie verbessern.

Ich bin Slava Dubrov – offiziell Dr. Viacheslav Dubrov* – und arbeite als Staff AI Systems Engineer an der Schnittstelle von Agent-Systemen, Evaluation, AI Security, Retrieval und Production Infrastructure. Seit 2011 beschäftige ich mich mit Machine Learning: zunächst in der Diagnostikforschung für Energieanlagen, danach in der Industrie mit Forecasting, Recommendations, Fraud Detection, Retrieval und AI Agents.

In der Regel verantworte ich den gesamten Weg: Ich stimme mit den künftigen Nutzern ab, was ein System leisten muss; danach baue und evaluiere ich es, bringe es in Produktion und betreibe es. Derzeit bin ich Staff Machine Learning Engineer bei octonomy AI und arbeite an Production AI und Software-Systemen. Zuvor habe ich bei HubSpot die Arbeit am Context Layer für Retrieval, Grounding und Memory Infrastructure geleitet und anschließend an Agent Execution in den Bereichen LLM Deployment, Fine-Tuning, Evaluation, Safety und Runtime gearbeitet. Der rote Faden ist die Frage, was passiert, wenn ein vielversprechender Model-Output auf ein reales System trifft.

Ob man AI-Systemen vertrauen kann, beschäftigt mich schon seit der Zeit vor LLM-Assistenten. Bei OLX habe ich einen internen Kurs zu Explainable AI entwickelt und gehalten, und bei Wayfair und HubSpot habe ich Trustworthy-AI-Workshops zu Explainability, Fairness und Robustness geleitet. Agents werfen dieselben Fragen auf, nur mit höheren Einsätzen: was ein System tun darf, wie es sich angreifen lässt und ob eine Evaluation tatsächlich zeigt, was sie zu zeigen behauptet. Ich schreibe über Agent Security und Agent Evaluation, und bei octonomy AI habe ich begonnen, unsere Agents per Red-Teaming auf Sicherheitslücken zu prüfen.

Meine Serie Recursive Harness Engineering untersucht, wie sich ein Harness bauen lässt, Änderungen unabhängig evaluiert werden und die Suche nach Verbesserungen automatisiert wird. Die ersten Kapitel schaffen die Grundlagen, bevor Rekursion untersucht wird. Ein kleines Experiment mit einem Memory Tool zeigt, wie ein unveränderter Agent anhand von Testfeedback seine nächste Änderung auswählt; spätere Experimente werden untersuchen, ob gesammelte Erfahrungen bei neuen Aufgaben helfen. Menschen definieren Ziele, zulässige Änderungen, Budgets und Kriterien für die Übernahme eines Ergebnisses. Evaluators und die Entscheidung über eine Übernahme bleiben vom Optimierer unabhängig.


Werdegang

Meine Arbeit hat sich von der Diagnostikforschung über Ranking, Fraud Detection und Retrieval Infrastructure bis hin zu Production Agents entwickelt.

  • seit 2026

    octonomy AI

    Staff Machine Learning Engineer

    Production-AI-Systeme bei einem Startup für Agentic AI.

  • 2024–2026

    HubSpot

    Senior Software Engineer II, danach Tech Lead ML II

    Embeddings und Forecasting für AI Signals, Embedding Hub und Context Layer für AI Agents, anschließend Agent Execution.

  • 2021–2024

    Wayfair

    Senior Machine Learning Scientist

    Fraud und Scam Detection auf GCP. Ich entwickelte und leitete Systeme, die mit jährlichen Einsparungen von etwa $4M verbunden waren.

  • 2018–2021

    OLX Group (Prosus)

    Data Scientist

    Recommendation und Search Ranking im Maßstab eines Marktplatzes.

  • 2017–2018

    Zalando

    Research Engineer

    Demand Forecasting für die Logistik, mit Spark Pipelines auf AWS.

  • 2015–2017

    Moskau und Berlin

    Machine Learning für das Monitoring der Netzwerksicherheit, Kundenanalysen für einen nationalen Telekommunikationsanbieter und NLP zur Priorisierung von E-Mails bei einem Berliner SaaS-Startup.

  • 2011–2015

    Platov South-Russian State Polytechnic University

    Promotionsforschung zur Diagnostik von Hochspannungsanlagen mit Machine Learning.

Vom Problem zur Produktion

  • Recommendations bei OLX, 2019–2020. Ich leitete die Entwicklung eines item2vec-Recommenders von der angewandten Forschung bis in die Produktion, zunächst bei OLX Polen.
  • Fraud Detection bei Wayfair, 2021–2024. Zwölf Tage nach meinem Einstieg hatte ich einen Proof of Concept und einen Merge Request für die Produktion in Arbeit. Danach verantwortete ich eines der produktiven Fraud-Models des Teams, einschließlich seines Refactorings und seiner Roadmap, und entwickelte selbstüberwachte Session-Embeddings, die über Vertex AI Pipelines neben den bestehenden Models bereitgestellt wurden.
  • Embedding Hub bei HubSpot, 2024–2026. Ich entwickelte den Embedding Hub, einen gemeinsam genutzten Vector Service auf Basis von Qdrant, und koordinierte ihn per RFC über drei Teams hinweg. Er bildete den Kern des Context Layers, den ich für die AI Agents von HubSpot leitete.

Öffentliche Nachweise

  • Auf dem World Agentic AI Summit Berlin 2026 präsentierte ich „Engineering the Agentic Stack“: eine Production Architecture, die Cognitive Engine, Memory, Tools, Security und die sie umgebende Runtime abdeckt.
  • Edge of Context enthält die ausführliche technische Dokumentation, einschließlich der sechsteiligen Serie Engineering the Agentic Stack. Die Website baue und betreibe ich selbst, einschließlich der Pipeline, die sie in sieben Sprachen übersetzt.
  • Recursive Harness Engineering verbindet Harness-Design, Evaluation und Verbesserung durch ausführbare Experimente mit einem Memory Tool und einem Support-Assistenten.
  • Labs sammelt reproduzierbare Artefakte, die lokal ausgeführt werden können.

Engineering-Prinzipien

  • Lege fest, wie Erfolg gemessen wird, bevor du ein Model auswählst.
  • Mache das Verhalten beobachtbar, bevor du es autonom machst.
  • Bevorzuge Environment State und Outcomes gegenüber plausiblen finalen Antworten.
  • Lass jede hinzugefügte Harness-Komponente ihre Kosten durch Ablation rechtfertigen.
  • Halte Evaluators, Security Policy und Promotion Authority vom Optimizer unabhängig.
  • Bewahre fehlgeschlagene Experimente als Evidenz auf.
  • Verwende den günstigsten Repair Layer, der den tatsächlichen Fehler behebt.

Forschung, Lehre und Zertifizierungen

Ich habe einen Abschluss als Kandidat der technischen Wissenschaften (russischer Doktorgrad, PhD-Äquivalent) von der Southern Federal University. In meiner Dissertation entwickelte ich ein zweistufiges Verfahren zur Zustandserkennung von Hochspannungs-Leistungsschaltern: zuerst Fuzzy-Regeln und statistische Regeln, danach neuronale Netze, die mit einem genetischen Algorithmus abgestimmt werden. Zuvor erwarb ich einen Ingenieurabschluss mit Auszeichnung in Informations- und Messtechnik.

  • Stipendien und Fördermittel: zwei DAAD-Leonhard-Euler-Stipendien für Forschungsaufenthalte an der TU Braunschweig (2011) und der TU Dortmund (2013), ein sechsmonatiges DAAD-Lomonossow-Stipendium in Mechatronik an der TU Ilmenau (2013–2014), das Stipendium des russischen Präsidenten für junge Wissenschaftler (2013–2014) sowie eine UMNIK-Förderung für Jugendinnovationen als Projektleiter.
  • Publikationen: 25 wissenschaftliche Veröffentlichungen, ein Patent zur Diagnose elektrischer Schaltgeräte und ein mitverfasster Benchmark von Job-Recommendation-Methoden, der online auf OLX Jobs getestet wurde.
  • Lehre und Mentoring: ein Kurs zu Spark und Spark MLlib an der Higher School of Economics in Moskau (2016), zwei interne Kurse bei OLX zu Machine Learning und zu Explainable AI sowie Workshops zu Deep Learning und Trustworthy AI bei Wayfair und HubSpot. Seit meiner Zeit bei Zalando habe ich Engineers als Mentor betreut, darunter Kollegen, die in ML- und AI-Engineering-Rollen gewechselt sind.
  • Erworbene Zertifizierungen: AWS Certified Machine Learning – Specialty (2020) und AWS Certified Solutions Architect – Associate (2019); Udacity-Nanodegrees in Machine Learning, AI, Deep Reinforcement Learning, AI for Trading und Computer Vision (2017–2021).

Fähigkeiten

FähigkeitArbeitsbereiche
Agent-SystemeReasoning Loops, Memory, Tool Interfaces, Runtimes, Harnesses, Observability
Evaluation und AssuranceTrace-basierte Evaluation, Regression Suites, Red-Teaming, Guardrails, Permissions, Explainability, Robustness
Retrieval und ContextSemantic und Hybrid Retrieval, Reranking, Grounding, Context Compression
Model EngineeringFine-Tuning, LoRA/QLoRA, Serving, Quantization, Structured Generation
Applied Machine LearningRecommendations, Search Ranking, Fraud Detection, Forecasting, selbstüberwachte Embeddings, Graph Neural Networks
Product DeliverySpezifikationen mit Nutzern, A/B-Tests, gestufte Rollouts, Model-Roadmaps
Production InfrastructureAWS, GCP, Kubernetes, Spark, Batch, Streaming und Echtzeit-ML-Systeme

Andernorts

Mein beruflicher Hintergrund ist auf LinkedIn zu finden. Source Code und reproduzierbare Artefakte gibt es auf GitHub. Neue Essays erscheinen außerdem auf Substack.


* Kandidat der technischen Wissenschaften (russischer Doktorgrad, PhD-Äquivalent), verliehen von der Southern Federal University, Rostow am Don, 2015.