Optimierte AI Agents schneller und sicher releasen – mit automatisiertem Testing

Jede neue Version eines AI Agents verspricht eine Verbesserung. Doch bevor du ein Update veröffentlichst, musst du sicher sein, dass daraus auch ein besseres Kundenerlebnis wird. Dafür brauchst du überzeugende Antworten auf zwei Fragen: Decken die Tests der verbesserten Version jedes Anliegen, jedes Szenario und alle Guardrails ab? Und welche Daten zeigen dir, dass die neue Version besser funktioniert als die, die deine Kund:innen heute nutzen?

Testszenarien so zu konfigurieren, dass sie diese Fragen beantworten, braucht Zeit. Dabei können Szenarien übersehen werden, an die niemand gedacht hat. Die meisten Teams finden erst heraus, ob eine Änderung etwas verbessert hat, wenn sie diese im Kontakt mit Kund:innen testen. Mit zunehmender Zahl an Agents und Use Cases kann die Optimierung deshalb entweder Verbesserungen ausbremsen – oder jedes neue Agent-Release birgt das Risiko, dass die Leistung nachlässt. 

Parloas Automated Simulations & Evaluations und Automated Agent A/B Testing helfen dir, bestehende Agents zu optimieren und zugleich weitere Agents und Use Cases einzuführen. Du reduzierst den manuellen Aufwand für die Evaluation deiner Agents, testest alle relevanten Szenarien und vergleichst aktuelle und neue Agent-Versionen automatisch. So beschleunigst du deine Verbesserungszyklen und stellst dabei sicher, dass deine Agents zuverlässig bleiben. 

Teste deine AI Agents in einem Bruchteil der bisher benötigten Zeit 

Vor 18 Monaten brachte Parloa als erster Anbieter Agent Simulations & Evaluations auf den Markt. Damit konnten unsere Kund:innen Tausende synthetische Gespräche erstellen, um ihre Agents vor dem Start gründlich zu testen. Doch je mehr Agents es gibt und je komplexer sie werden, desto eher kann die Zeit, die du brauchst, um die Simulationen zu bauen, zum Engpass werden. 

Deshalb haben wir die Testfunktionen zu Automated Simulations & Evaluations weiterentwickelt. Wenn ein Agent erstellt oder geändert wird, entwirft Parloa Navigator jetzt innerhalb weniger Minuten automatisch passende Simulationen und Evaluationen. Der Entwurf deckt die Anliegen ab, die der Agent bearbeiten soll, sowie Tool-Aufrufe, Übergaben und Gesprächsverläufe. Die Evaluationen bewerten die Ergebnisse und prüfen, ob der Agent Anweisungen, Guardrails und die vom Unternehmen gesetzten Grenzen einhält. 

Auch anonymisierte Transkripte früherer Gespräche lassen sich hinzufügen. Sie zeigen, wie Kund:innen Gespräche führen. So können die Simulationen die Agent-Performance anhand echter Kundeninteraktionen auswerten. 

Draft Tests können vor ihrem Einsatz geprüft und bearbeitet werden. Fachexperte:innen entscheiden, ob die Szenarien das gewünschte Kundenerlebnis und die Unternehmensstandards widerspiegeln. Ist das der Fall, können die Simulationen genutzt werden, um den Agent vor dem Release zu evaluieren. 

Mehr Sicherheit bei jedem neuen Agent-Release 

Eine neue Version kann alle Evaluationen bestehen und trotzdem eine wichtige Frage offenlassen: Ist sie besser als die Version, die du heute im Einsatz hast? 

Automated Agent A/B Testing vergleicht die alte und die neue Version anhand derselben Testszenarien und Qualitätskennzahlen. Die Ergebnisse werden nebeneinander angezeigt. So siehst du leichter, wo die neue Version besser oder schlechter abschneidet und wo sie gleich geblieben ist.

Du kannst die Review Scores für jedes festgelegte Kriterium prüfen und das zugehörige Gespräch ansehen. So erkennst du genau, was sich verändert hat. Bevor du die neue Version veröffentlichst, kannst du abwägen, ob die Verbesserungen mögliche Nachteile aufwiegen. 

AI Agents schneller verbessern – für mehr Zuverlässigkeit

Automated Simulations & Evaluations reduziert den manuellen Aufwand, um passende Tests für einen Agent zu erstellen. Mit Automated Agent A/B Testing kannst du die aktuelle Version und die vorgeschlagene Verbesserung nach denselben Kriterien vergleichen. Zusammen machen sie die Verbesserungszyklen deiner Agents wiederholbar und schneller. So kannst du jederzeit sicher sein, dass du deinen Kund:innen das bestmögliche Erlebnis bietest.

Du möchtest mehr über Automated Simulations & Evaluations und über Automated A/B Testing erfahren? Sprich mit unserem Team.