Evals i prompt regression testing w automatyzacji B2B
Wprowadzenie drobnej zmiany w prompcie kwalifikującym leady (np. dopisanie nowego kryterium branżowego) może niepostrzeżenie popsuć skuteczność w 20 innych scenariuszach. Brak testów regresyjnych sprawia, że błędy wychodzą na jaw dopiero po utracie wartościowych transakcji, gdy wypaczone reguły odrzucą kluczowe szanse.
System ewaluacji (Evals) w automatyzacji sprzedaży chroni pipeline przed degradacją jakości po modyfikacji promptów:
| Komponent systemu Evals | Rola | Sposób realizacji |
|---|---|---|
| Golden Dataset | Wzorcowa próba testowa | Zbiór 50-100 realnych, trudnych leadów z ręcznie przypisaną wzorcową decyzją |
| Metryki skuteczności | Ocena jakości klasyfikacji | Accuracy, Precision (unikanie fałszywych leadów), Recall (niewyrzucanie dobrych) |
| LLM-as-a-Judge | Zautomatyzowany sędzia | Większy model (np. Claude 3.5 Sonnet / GPT-4o) oceniający wyjście z punktową rubryką |
| CI/CD dla promptów | Bramka wdrożeniowa | Zakaz publikacji promptu do n8n, jeśli wynik testu spadł poniżej 92% |
- Zgromadź zbiór testowy (Golden Dataset) zawierający min. 50 zróżnicowanych przypadków: leady idealne, przypadki graniczne (edge cases) oraz próby phishingu/spamu.
- Dla każdego przypadku zdefiniuj wzorzec oczekiwany (Ground Truth) zatwierdzony przez Head of Sales.
- Przed wdrożeniem nowej wersji promptu uruchom automatyczny skrypt testujący (np. w Pythonie lub n8n), porównujący wersję v1 i v2.
- Przeanalizuj macierz pomyłek (Confusion Matrix): czy nowy prompt nie generuje fałszywych odrzuceń (False Negatives) na kluczowych kontach.
- ZŁY
- Zmiana promptu bezpośrednio na produkcji w Make bez testów. Po 3 dniach okazuje się, że nowy warunek odrzucił wszystkich dyrektorów IT z firm poniżej 100 osób, ucinając pipeline o 40 000 zł.
- DOBRY
- Zestaw 50 leadów wzorcowych w arkuszu ewaluacyjnym. Przed wdrożeniem promptu v2 system generuje raport regresji: zgodność z decyzjami handlowca wzrosła z 86% do 94%, a trudne przypadki spółek holdingowych są poprawnie kwalifikowane.
Jesteś inżynierem jakości systemów AI (AI Evaluation & QA Engineer) w zespole sprzedaży. Kontekst: Modyfikuję główny prompt kwalifikujący i scoringujący leady w [MAKE / N8N]. Chcę wdrożyć system ewaluacji (Evals), aby uniknąć regresji jakości. Obecny model produkcyjny: [GPT-4O-MINI / CLAUDE 3.5 HAIKU]. Sędzia (LLM-as-a-Judge): [CLAUDE 3.5 SONNET / GPT-4O]. Zadanie: 1. Zaprojektuj strukturę zbioru testowego (Golden Dataset) w formacie JSON/tabeli: jakie 5 kategorii leadów musi się w nim znaleźć. 2. Zdefiniuj rubrykę oceniania dla sędziego (LLM-as-a-Judge) w skali 1-5 pod kątem: trafności biznesowej, precyzji uzasadnienia i przestrzegania ograniczeń negatywnych. 3. Podaj kryteria akceptacji wdrożenia (Pass/Fail criteria): jakie progi procentowe Precision i Recall decydują o dopuszczeniu promptu do produkcji. 4. Sformułuj prompt dla modelu sędziego (Judge Prompt) z zakazem pobłażliwości dla halucynacji. Format: Kompletny szablon procedury Evals z promptem sędziego i strukturą tabeli testowej.
Warianty i alternatywne scenariusze
Wykorzystanie dedykowanych bibliotek: DeepEval, Promptfoo lub Braintrust do automatycznych testów w GitHub Actions.
Wersja niska-bariera: automatyczny arkusz Google Sheets z webhookiem n8n odpalającym testy 50 wierszy na żądanie.
Ćwiczenie praktyczne
Stwórz prosty zestaw 10 trudnych przypadków leadów i przetestuj na nich dwie wersje swojego promptu, mierząc, która wersja popełniła mniej błędów klasyfikacji.