Closed-Loop AI Engineering
Convertir trazas y fallos en experimentos acotados, evaluación independiente y decisiones de promoción basadas en evidencias.
Sistemas de AI en producción · Berlín
Construyo sistemas de AI que mejoran a partir de la evidencia
Traducción automática Este artículo se tradujo automáticamente a partir de la versión original en inglés.
Diseño sistemas de AI en producción que abarcan ingeniería de software, agentes, evaluación, retrieval, seguridad e infraestructura, y convierto trazas y fallos en experimentos controlados, versiones fiables y comportamientos más seguros.
- Staff AI System Engineersoftware · agentes · evaluación · seguridad
- Más de 11 añosAI y software en producción
- Doctoradodiagnóstico con AI · equivalente a PhD
- Código abiertosistemas reproducibles
El problema de producción
La demo no es la parte difícil.
Los agentes en producción fallan en las uniones entre memoria, retrieval, herramientas, permisos, evaluación y control de versiones. Mejorar una métrica no es progreso si el cambio empeora la fiabilidad, la seguridad o el coste.
Tres pilares de ingeniería conectados
Un sistema gobernadoGarantía y seguridad de agentes
Comprobar qué se puede manipular a un agente para que haga antes de publicarlo y mantener las políticas fuera del optimizador.
Sistemas de agentes en producción
Diseñar memoria, retrieval, herramientas, harnesses, runtimes y observabilidad como un único sistema gobernado.
El ciclo operativo
Automatiza el experimento, no la autoridad para declararlo seguro.
- Observar
- Diagnosticar
- Proponer
- Experimentar
- Evaluar
- Cuestionar
- Promover
- Aprender
Sistemas, experimentos y evidencias
Ver todo el trabajo →Sistemas de agentes
Engineering the Agentic Stack
Una arquitectura en seis partes sobre razonamiento, memoria, herramientas, seguridad, runtime y el harness que rodea al modelo.
Evaluación
Evaluación de agentes de AI en producción
Convertir trazas en suites de regresión y conectarlas con un harness ejecutable de evaluación de RAG con afirmaciones acotadas.
Retrieval y lenguaje
Búsqueda, OCR y NER
Guías prácticas sobre ranking, comprensión de documentos, extracción estructurada y los sistemas que los conectan.
Acerca de
Los sistemas que rodean al modelo son el producto.
Soy Slava Dubrov, Staff AI System Engineer con un doctorado en diagnóstico con AI. Trabajo en ingeniería de software, sistemas de agentes, evaluación, retrieval, seguridad e infraestructura de producción.
Más sobre mi trabajo →Seguir explorando
Sigue las evidencias que hay detrás de las ideas.
Lee el trabajo de ingeniería, ejecuta los artefactos públicos o continúa con los textos que explican los sistemas.