Laboratórios de engenharia de AI

Código para os artigos deste site. Cada cartão indica o que o projeto mediu e o que precisa para o executar.

Laboratórios das séries

• Market Analyst Agent

  Série: Engineering the Agentic Stack

  Um agente de investigação com LangGraph que obtém dados de mercado e escreve relatórios. É a implementação de referência da série.

  Resultado: Sem benchmark. Os testes cobrem as tool calls com dados sintéticos e o encaminhamento para aprovação feito pelo guardian.

  Como executar: uv run pytest tests/test_tools.py não precisa de modelo. Uma análise completa precisa de Python 3.13+, Docker e chaves API, e faz chamadas pagas ao modelo.

  Repositório · Parte 1

• Agent Harness Lab

  Série: Recursive Harness Engineering

  Um assistente de suporte com LangChain para reembolsos, entregas e alterações de conta. Os ficheiros de spec ligam e desligam componentes do harness.

  Resultado: Com gpt-6-luna, ambas as specs passaram 12 de 12 verificações de estado personalizadas; acrescentar o Schema-Guided Reasoning e o Jev write guard custou cerca de 2,2 vezes mais e cerca do dobro do tempo. Em oito tarefas de retalho do τ³-bench, a spec protegida passou 6 e a simples 7, mas falharam tarefas diferentes em cada execução, por isso a diferença não favorece nenhuma das duas.

  Agente ou workflow (v0.2.1-a2): Entre cinco desenhos, um workflow sem agente passou as 16 verificações de estado, e a revisão dos traces considerou corretas as suas respostas. O agente com aprovação também as passou, mas deu a resposta errada nos dois casos de reembolso aprovado. Cada tarefa correu uma vez e o workflow foi escrito com estas tarefas em vista, pelo que isto não é uma classificação geral.

  Como executar: make test corre offline. make a1-custom, make a1-tau3 e make a2-matrix repetem as experiências através do OpenRouter e precisam de uma chave API.

  Repositório · Desenho do harness (v0.1.2-a1) · Agente ou workflow

• Recursive Harness Engineering Lab

  Série: Recursive Harness Engineering

  O pequeno ciclo de melhoria da série: um proponente LLM fixo altera as definições de uma ferramenta de memória, testes deterministas em 20 histórias sintéticas verificam cada alteração, e o feedback orienta a proposta seguinte. Nada passa de uma campanha para outra.

  Resultado: Três campanhas subiram de 13 para 20 de 20 com os mesmos três patches, usando 12 chamadas ao modelo por cerca de USD 0.04. Em menos de um segundo, uma varredura das 384 configurações encontrou 16 que passam, pelo que esta pequena pesquisa não precisava de um LLM; a varredura conhecia os dados de teste e tinha um orçamento diferente.

  Como executar: lab verify e lab serve verificam o estudo gravado sem chave API. Uma nova campanha precisa de OPENAI_API_KEY e de --live.

  Repositório · Artigo

Mais laboratórios

• RAG Evals Demo

  Notebooks e módulos que calculam métricas de retrieval, reranking e geração no corpus SciFact, mais uma varredura de definições de chunking, embedding e LLM. O Qdrant corre integrado, por isso não precisa de Docker.

  Resultado: Não é reportado nenhum benchmark no SciFact. Os testes unitários fixam os exemplos práticos do artigo, como Recall@5 = 0.750, MRR = 0.625 e nDCG@5 = 0.627, para que possa verificar cada métrica com um cálculo manual.

  Como executar: make eval corre o conjunto de testes. make benchmark chama modelos alojados GPT, Claude e Gemini e precisa das respetivas chaves API.

  Repositório · Artigo

• TypeScript Agent Service

  Um monorepo pnpm para engenheiros de ML em Python que precisam de entregar TypeScript: duas implementações de agent loop, uma API em streaming, histórico de execuções em Postgres, um worker e um servidor MCP.

  Resultado: 40 testes, dos quais 36 correm sem Postgres nem chave API. Os testes do agent loop terminam em menos de um segundo, sem rede.

  Como executar: Node 24 e pnpm. pnpm demo não precisa de chave API, base de dados nem Docker. A API real precisa de OPENAI_API_KEY e de Postgres em Docker.

  Repositório · Artigo

• Search Ranking Stack

  BM25, dense retrieval, fusão híbrida, reranking com cross-encoder e reranking com LLM sobre uma amostra de dados de pesquisa de produtos Amazon ESCI, medidos etapa a etapa.

  Resultado: O NDCG@10 é 0.585 para BM25, 0.611 para dense retrieval e 0.628 para a fusão híbrida, que supera cada método isolado. O Recall@100 fica fixado no retrieval (0.842 para o híbrido), e as etapas seguintes não o conseguem aumentar.

  Como executar: uv sync, depois uv run download-data (download de 2,5 GB, amostra de 5 MB). A etapa com LLM corre através do Ollama, da API da Anthropic ou de um modelo Qwen local.

  Repositório · Artigo

• Model Compression Demo

  Uma CLI que planeia a quantização de LLMs para um dado modelo e hardware de destino, e depois imprime receitas, dry runs, comandos de serving e planos de benchmark para vLLM, LLM Compressor e TensorRT-LLM.

  Resultado: Sem resultado medido. Os números de benchmark do artigo vêm de outras equipas; a demo dá-lhe os comandos para medir os seus.

  Como executar: uv run python demo.py plan e os outros comandos de planeamento não precisam de GPU. As execuções de quantização, serving e qualidade precisam de uma GPU e de vLLM.

  Repositório · Artigo