Laboratorium inżynierii AI

Kod do artykułów z tej strony. Każda karta mówi, co projekt zmierzył i czego potrzebujesz, aby go uruchomić.

Laboratoria do serii

• Market Analyst Agent

  Seria: Engineering the Agentic Stack

  Agent badawczy LangGraph, który pobiera dane rynkowe i pisze raporty. To implementacja referencyjna tej serii.

  Wynik: Brak benchmarku. Testy obejmują wywołania narzędzi na danych syntetycznych oraz to, co strażnik kieruje do zatwierdzenia.

  Uruchomienie: uv run pytest tests/test_tools.py nie wymaga modelu. Pełna analiza wymaga Pythona 3.13+, Dockera i kluczy API oraz wykonuje płatne wywołania modelu.

  Repozytorium · Część 1

• Agent Harness Lab

  Seria: Recursive Harness Engineering

  Asystent obsługi klienta w LangChain do zwrotów, dostaw i zmian w koncie. Pliki spec włączają i wyłączają komponenty harnessu.

  Wynik: Z gpt-6-luna oba pliki spec przeszły 12 z 12 własnych kontroli stanu; dodanie Schema-Guided Reasoning i strażnika zapisów Jev zwiększyło koszt około 2,2 raza i wydłużyło czas działania mniej więcej dwukrotnie. Na ośmiu zadaniach retail z τ³-bench spec ze strażnikiem przeszedł 6, a zwykły 7, ale przy każdym uruchomieniu nie powiodły się inne zadania, więc różnica nie przemawia za żadnym z nich.

  Agent czy workflow (v0.2.1-a2): Workflow bez agenta, jeden z pięciu projektów, przeszedł wszystkie 16 kontroli stanu, a przegląd śladów wykonania wykazał, że jego odpowiedzi były poprawne. Agent z zatwierdzaniem również przeszedł te kontrole, ale odpowiedział błędnie w obu przypadkach zatwierdzonego zwrotu. Każde zadanie uruchomiono raz, a workflow napisano ze znajomością tych zadań, więc nie jest to ogólny ranking.

  Uruchomienie: make test działa offline. make a1-custom, make a1-tau3 i make a2-matrix ponownie uruchamiają eksperymenty przez OpenRouter i wymagają klucza API.

  Repozytorium · Projekt harnessu (v0.1.2-a1) · Agent czy workflow

• Recursive Harness Engineering Lab

  Seria: Recursive Harness Engineering

  Mała pętla ulepszania z tej serii: niezmieniany agent LLM modyfikuje ustawienia narzędzia pamięci, deterministyczne testy na 20 syntetycznych historiach sprawdzają każdą zmianę, a informacja zwrotna kształtuje kolejną propozycję. Między kampaniami nic nie jest przenoszone.

  Wynik: Trzy kampanie zaczęły od 13 z 20 i doszły do 20 z 20 dzięki tym samym trzem poprawkom, przy 12 wywołaniach modelu za około USD 0.04. Przegląd wszystkich 384 konfiguracji w niecałą sekundę znalazł 16, które przechodzą, więc to małe wyszukiwanie nie wymagało LLM; przegląd znał jednak dane testowe i miał inny budżet.

  Uruchomienie: lab verify i lab serve sprawdzają zapisane badanie bez klucza API. Nowa kampania wymaga OPENAI_API_KEY i --live.

  Repozytorium · Artykuł

Więcej laboratoriów

• RAG Evals Demo

  Notebooki i moduły, które obliczają metryki wyszukiwania, rerankingu i generowania na korpusie SciFact, oraz przegląd ustawień podziału na fragmenty, embeddingów i LLM. Qdrant działa w trybie wbudowanym, więc nie potrzebujesz Dockera.

  Wynik: Brak raportowanego benchmarku SciFact. Testy jednostkowe utrwalają przykłady z artykułu, takie jak Recall@5 = 0.750, MRR = 0.625 i nDCG@5 = 0.627, więc możesz porównać każdą metrykę z obliczeniem ręcznym.

  Uruchomienie: make eval uruchamia zestaw ewaluacji. make benchmark wywołuje hostowane modele GPT, Claude i Gemini i wymaga ich kluczy API.

  Repozytorium · Artykuł

• TypeScript Agent Service

  Monorepo pnpm dla inżynierów ML pracujących w Pythonie, którzy muszą dostarczać kod w TypeScript: dwie implementacje pętli agenta, strumieniowe API, historia wykonań w Postgres, worker i serwer MCP.

  Wynik: 40 testów, z których 36 działa bez Postgres i klucza API. Testy pętli agenta kończą się w niecałą sekundę bez dostępu do sieci.

  Uruchomienie: Node 24 i pnpm. pnpm demo nie wymaga klucza API, bazy danych ani Dockera. Prawdziwe API wymaga OPENAI_API_KEY i Postgres w Dockerze.

  Repozytorium · Artykuł

• Search Ranking Stack

  BM25, wyszukiwanie wektorowe, fuzja hybrydowa, reranking z cross-encoderem i reranking przez LLM na próbce danych wyszukiwania produktów Amazon ESCI, mierzone etap po etapie.

  Wynik: NDCG@10 wynosi 0,585 dla BM25, 0,611 dla wyszukiwania wektorowego i 0,628 dla fuzji hybrydowej, która wypada lepiej niż każda z tych metod osobno. Recall@100 ustala się na etapie wyszukiwania (0,842 dla wariantu hybrydowego), a późniejsze etapy nie mogą go podnieść.

  Uruchomienie: uv sync, potem uv run download-data (pobranie 2,5 GB, próbka 5 MB). Etap LLM działa przez Ollama, Anthropic API lub lokalny model Qwen.

  Repozytorium · Artykuł

• Model Compression Demo

  CLI, które planuje kwantyzację LLM dla danego modelu i sprzętu docelowego, a potem wypisuje przepisy, przebiegi próbne, polecenia udostępniania modelu i plany benchmarków dla vLLM, LLM Compressor i TensorRT-LLM.

  Wynik: Brak zmierzonego wyniku. Liczby z benchmarków w artykule pochodzą od innych zespołów; demo daje ci polecenia, którymi zmierzysz własne.

  Uruchomienie: uv run python demo.py plan i pozostałe polecenia planowania nie wymagają GPU. Kwantyzacja, udostępnianie modelu i testy jakości wymagają GPU i vLLM.

  Repozytorium · Artykuł