Slava Dubrov tijdens zijn presentatie op de World Agentic AI Summit Berlin 2026

AI-systemen voor productie

Over Slava Dubrov

AI-systemen voor productie, evaluatie, beveiliging en de bewijslussen die ze verbeteren.

Ik ben Slava Dubrov—formeel Dr. Viacheslav Dubrov*—een Staff AI Systems Engineer die werkt aan agent-systemen, evaluatie, AI security, retrieval en production infrastructure. Ik werk sinds 2011 aan machine learning: eerst aan diagnostiekonderzoek voor energieapparatuur, daarna aan voorspellingen, aanbevelingen, fraudedetectie, retrieval en AI agents in het bedrijfsleven.

Meestal ben ik verantwoordelijk voor het hele traject: met de mensen die een systeem gaan gebruiken afspreken wat het moet doen, en het daarna bouwen, evalueren, uitrollen en laten draaien. Tegenwoordig ben ik Staff Machine Learning Engineer bij octonomy AI en werk ik aan production AI en softwaresystemen. Daarvoor leidde ik bij HubSpot het werk aan de Context Layer voor retrieval, grounding en memory infrastructure. Vervolgens werkte ik aan Agent Execution, met focus op LLM deployment, fine-tuning, evaluatie, safety en runtime. De rode draad is wat er gebeurt nadat een veelbelovende modeloutput een echt systeem bereikt.

Ik houd me al langer dan LLM-assistenten bestaan bezig met de vraag of AI-systemen te vertrouwen zijn. Bij OLX bouwde en gaf ik een interne cursus over verklaarbare AI, en bij Wayfair en HubSpot gaf ik workshops over betrouwbare AI, met aandacht voor verklaarbaarheid, eerlijkheid en robuustheid. Agents roepen dezelfde vragen op, met hogere inzet: wat een systeem mag doen, hoe het kan worden aangevallen en of een evaluatie daadwerkelijk laat zien wat ze beweert. Ik schrijf over agent security en agent evaluation, en bij octonomy AI ben ik begonnen met het red-teamen van onze agents op securityzwakheden.

Mijn serie Recursive Harness Engineering onderzoekt hoe je een harness bouwt, wijzigingen onafhankelijk evalueert en het zoeken naar verbeteringen automatiseert. De eerste hoofdstukken leggen de basis voordat we recursie onderzoeken. Een klein experiment met een memory tool laat zien hoe een vaste proposer testfeedback gebruikt om de volgende wijziging te kiezen; latere experimenten zullen onderzoeken of opgebouwde ervaring helpt bij nieuwe taken. Mensen bepalen de doelen, toegestane wijzigingen, budgetten en criteria voor het accepteren van een resultaat. Evaluators en de bevoegdheid om wijzigingen te accepteren blijven onafhankelijk van de verbeteraar.


Loopbaan

Mijn werk is verschoven van diagnostiekonderzoek naar ranking, fraudedetectie, retrieval infrastructure en production agents.

  • 2026–heden

    octonomy AI

    Staff Machine Learning Engineer

    Production AI-systemen bij een startup voor agentic AI.

  • 2024–2026

    HubSpot

    Senior Software Engineer II, daarna Tech Lead ML II

    Embeddings en voorspellingen voor AI Signals, de Embedding Hub en Context Layer voor AI agents, daarna Agent Execution.

  • 2021–2024

    Wayfair

    Senior Machine Learning Scientist

    Fraude- en oplichtingsdetectie op GCP. Ik bouwde en leidde systemen die verband houden met ongeveer $4M aan jaarlijkse besparingen.

  • 2018–2021

    OLX Group (Prosus)

    Data Scientist

    Aanbevelingen en search ranking op marketplace-schaal.

  • 2017–2018

    Zalando

    Research Engineer

    Vraagvoorspelling voor de logistiek, met Spark-pipelines op AWS.

  • 2015–2017

    Moskou en Berlijn

    Machine learning voor monitoring van netwerkbeveiliging, klantanalyses voor een nationale telecomoperator en NLP voor e-mailprioritering bij een SaaS-startup in Berlijn.

  • 2011–2015

    Platov South-Russian State Polytechnic University

    Promotieonderzoek naar diagnostiek met machine learning voor hoogspanningsapparatuur.

Van probleem tot productie

  • Aanbevelingen bij OLX, 2019–2020. Ik leidde een item2vec-aanbevelingssysteem van toegepast onderzoek naar productie, te beginnen met OLX Polen.
  • Fraudedetectie bij Wayfair, 2021–2024. Twaalf dagen na mijn start had ik een proof of concept en een merge request voor productie onderhanden. Daarna was ik verantwoordelijk voor een van de fraudemodels die het team in productie had, inclusief de refactoring en roadmap ervan, en bouwde ik self-supervised session embeddings die via Vertex AI Pipelines naast de bestaande models werden uitgerold.
  • Embedding Hub bij HubSpot, 2024–2026. Ik bouwde de Embedding Hub, een gedeelde vectorservice op Qdrant, en coördineerde die over drie teams heen via een RFC. Het was de kern van de Context Layer die ik leidde voor de AI agents van HubSpot.

Publiek bewijs

  • Tijdens de World Agentic AI Summit Berlin 2026 presenteerde ik “Engineering the Agentic Stack”: een production architecture voor de cognitive engine, memory, tools, security en de runtime daaromheen.
  • Edge of Context bevat het uitgebreide engineeringverslag, waaronder de zesdelige serie Engineering the Agentic Stack. Ik bouw en beheer de site zelf, inclusief de pipeline die hem naar zeven talen vertaalt.
  • Recursive Harness Engineering verbindt harness-ontwerp, evaluatie en verbetering met uitvoerbare experimenten rond een memory tool en een supportassistent.
  • Labs verzamelt reproduceerbare artifacts die lokaal kunnen worden uitgevoerd.

Engineeringprincipes

  • Bepaal hoe succes wordt gemeten voordat je een model kiest.
  • Maak gedrag observeerbaar voordat je het autonoom maakt.
  • Geef de voorkeur aan de omgevingstoestand en uitkomsten boven plausibele eindantwoorden.
  • Laat elke toegevoegde harness-component zijn kosten via ablation rechtvaardigen.
  • Houd evaluators, security policy en promotion authority onafhankelijk van de optimizer.
  • Bewaar mislukte experimenten als bewijs.
  • Gebruik de goedkoopste repair layer die de werkelijke failure oplost.

Onderzoek, onderwijs en certificeringen

Ik heb een Kandidat of Technical Sciences-graad (Russische doctoraatsgraad, equivalent aan een PhD) van Southern Federal University. In mijn proefschrift ontwikkelde ik een methode in twee fasen om de toestand van hoogspanningsvermogensschakelaars vast te stellen: eerst fuzzy en statistische regels, daarna neurale netwerken die zijn afgesteld met een genetisch algoritme. Daarvoor behaalde ik een ingenieursdiploma met onderscheiding in informatie- en meettechniek.

  • Beurzen en subsidies: twee DAAD Leonhard Euler-beurzen voor onderzoeksverblijven aan TU Braunschweig (2011) en TU Dortmund (2013), een DAAD Lomonosov-beurs van zes maanden in mechatronica aan TU Ilmenau (2013–2014), de beurs van de Russische president voor jonge wetenschappers (2013–2014) en een UMNIK-innovatiesubsidie voor jongeren als projectleider.
  • Publicaties: 25 onderzoekspublicaties, een patent op het diagnosticeren van elektrische schakelapparatuur en een samen met anderen geschreven benchmark van methoden voor het aanbevelen van vacatures, online getest op OLX Jobs.
  • Onderwijs en mentoring: een cursus over Spark en Spark MLlib aan de Higher School of Economics in Moskou (2016), twee interne cursussen bij OLX, over machine learning en over verklaarbare AI, en workshops over deep learning en betrouwbare AI bij Wayfair en HubSpot. Sinds Zalando ben ik mentor van engineers, onder wie collega’s die zijn overgestapt naar rollen in ML en AI engineering.
  • Behaalde certificeringen: AWS Certified Machine Learning – Specialty (2020) en AWS Certified Solutions Architect – Associate (2019); Udacity-nanodegrees in machine learning, AI, deep reinforcement learning, AI voor trading en computer vision (2017–2021).

Competenties

CompetentieWerkgebieden
Agent-systemenreasoning loops, memory, tool interfaces, runtimes, harnesses, observability
Evaluatie en assurancetrace-based evaluatie, regression suites, red-teaming, guardrails, permissions, verklaarbaarheid, robuustheid
Retrieval en contextsemantic en hybrid retrieval, reranking, grounding, context compression
Model engineeringfine-tuning, LoRA/QLoRA, serving, quantization, structured generation
Toegepaste machine learningaanbevelingen, search ranking, fraudedetectie, voorspellingen, self-supervised embeddings, graph neural networks
Product deliveryspecificaties samen met gebruikers, A/B-tests, gefaseerde uitrol, model-roadmaps
Production infrastructureAWS, GCP, Kubernetes, Spark, batch, streaming en real-time ML systems

Elders

Mijn professionele achtergrond staat op LinkedIn. Broncode en reproduceerbare artifacts staan op GitHub. Nieuwe essays verschijnen ook op Substack.


* Kandidat of Technical Sciences (Russische doctoraatsgraad, equivalent aan een PhD), toegekend door Southern Federal University, Rostov aan de Don, 2015.