Wie Test-Time Scaling die Grenzen von Agentic AI neu definiert

Wie Test-Time Scaling die Grenzen von Agentic AI neu definiert

In den 1860er-Jahren machte der englische Ökonom William Jevons eine überraschende Beobachtung: Die Einführung effizienter Dampfmaschinen führte nicht dazu, dass der Kohleverbrauch sank. Im Gegenteil: Er stieg an.

Warum? Weil Dampfkraft durch die effizientere Nutzung günstiger wurde. Und wenn etwas weniger kostet, steigt die Nachfrage. Zudem wurden neue Märkte erschlossen: Dampfkraft verbreitete sich über verschiedene Industrien hinweg und kam in immer mehr Maschinen, Fabriken und Produktionsanlagen zum Einsatz.

Effizienzverbesserungen führten also nicht zu einer Verringerung, sondern zu einem Anstieg des Verbrauchs. Dies wird als Jevons Paradox bezeichnet.

Eine ähnliche Dynamik zeigt sich bei AI: Je besser Agentic-AI-Modelle komplexe Aufgaben lösen, desto häufiger werden sie eingesetzt – in immer mehr Bereichen. Irgendwann könnte AI so allgegenwärtig werden wie Strom, ohne dass wir darüber nachdenken müssen.

Agentic-AI-Systeme entwickeln sich schnell weiter: Anstatt auf vortrainiertes Wissen zuzugreifen, denken sie bei jeder Interaktion aktiv nach (Reasoning). Indem sie mehrere mögliche Denkpfade gleichzeitig durchlaufen, liefern sie keine auswendig gelernten Antworten mehr, sondern reagieren flexibel und zuverlässig – auch auf neue Situationen.

Diese Entwicklung verändert die Erwartungen an das, was Technologie bewirken kann, grundlegend. Test-Time Scaling wird zum neuen Standard für den produktiven Einsatz von Agentic AI im Kundenservice. Nutzer:innen rechnen mit AI Agents, die aus jeder Unterhaltung lernen und sich in Echtzeit neuen Herausforderungen anpassen.

Was ist Test-Time Scaling?

Test-Time Scaling ist eine Methode, bei der das bereits trainierte AI-Modell zusätzliche Rechenleistung bekommt, während es im Einsatz ist und Antworten generiert (Inferenz). Dies führt dazu, dass es gründlicher nachdenken und dadurch genauere Ergebnisse liefern kann.

Ziel ist es, die Leistung des AI-Modells zu verbessern, ohne es neu zu trainieren oder die Architektur zu verändern. Dieses Prinzip wird vor allem für komplexe Aufgaben wie das Reasoning oder zur Lösung mehrstufiger Probleme genutzt. Die Umsetzung erfolgt durch:

• Längere Rechenzeiten.

• Leistungsstärkere Hardware.

• Das Erzeugen verschiedener Antwortvorschläge (Samples).

• Die Verwendung mehrerer Modelle gleichzeitig (Ensembles).

Diese Techniken ermöglichen es, die Performance des AI-Modells während der Anwendung zu optimieren, auch wenn es nichts Neues dazugelernt hat. Gleichzeitig steigt mit diesem Prozess der Rechenaufwand: Denn je effizienter und leistungsfähiger AI-Modelle werden, desto häufiger werden sie genutzt – und desto mehr Rechen-Power ist notwendig.

Test-Time Scaling ist ein Teilbereich der AI Scaling Laws. Diese Skalierungsgesetze beschreiben, welchen Einfluss der Einsatz zusätzlicher Rechenleistung in verschiedenen Phasen – beim Pre-Training, Post-Training und bei der Inferenz – auf die Leistungsfähigkeit eines AI-Modells hat.

Die 3 grundlegenden AI Scaling Laws

AI Scaling Laws sind empirische Muster, die zeigen, wie sich die Performance der AI-Modelle verbessert, wenn Modellgröße, Datenmenge und Rechenleistung erhöht werden. Der Leistungszuwachs folgt meist einem Potenzgesetz: Werden mehr Ressourcen eingesetzt, zum Beispiel größere Modelle, mehr Daten oder mehr Rechenleistung, führt das zu einer besseren Leistung, aber der Mehrwert nimmt ab.

Die Skalierungsgesetze bieten eine hilfreiche Orientierung, wie sich Rechenleistung, Daten oder Modellparameter nutzen lassen, um die maximale Leistungsfähigkeit eines AI-Systems zu erzielen – ohne unnötige Kosten zu verursachen.

Es gibt drei Arten von AI Scaling Laws, die sich für unterschiedliche Anwendungsbereiche eignen:

1. Pre-Training Scaling

Dieser Ansatz zielt darauf ab, immer größere Basismodelle (Foundation Models) zu bauen und diese mit riesigen Mengen an Datensätzen zu trainieren. In dieser Phase lernt das Modell grundlegende Sprachmuster und allgemeines Weltwissen, ohne auf eine spezielle Aufgabe festgelegt zu sein. Ein typisches Beispiel für ein Basismodell ist GPT-3.

Wenn das Pre-Training skaliert wird, steigt die Leistungsfähigkeit des Modells, und es wird immer besser darin, Gespräche zu führen. Allerdings nimmt auch der Bedarf an Rechenleistung zu. Außerdem kann die Anpassungsfähigkeit des Modells bei komplexen oder neuen Anfragen eingeschränkt sein, sobald das Training abgeschlossen ist. Selbst wenn es mit vielfältigen Daten trainiert wurde, hat das Modell möglicherweise Schwierigkeiten beim Reasoning mit Aufgaben, die tiefes Verständnis, mehrere Denkschritte oder Entscheidungen auf Grundlage aktueller Informationen erfordern.

2. Post-Training Scaling

Beim Post-Training Scaling werden die großen vortrainierten Modelle für spezielle Aufgaben angepasst. Entwickler können die Leistung des Modells verbessern, indem sie es mit zusätzlichen Daten trainieren und auf spezifische Ziele optimieren, zum Beispiel um Kundeninteraktionen oder den Umgang mit kritischen Themen zu verbessern (Fine-Tuning).

Ansätze wie das Fine-Tuning bei GPT-3.5 und Reinforcement Learning from Human Feedback (RLHF) zeigen, wie Anpassungen beim Post-Training die Genauigkeit des AI-Modells erhöhen und unangemessene Ergebnisse reduzieren können – zum Beispiel voreingenommene Sprache, Falschinformationen oder unpassende Antworten bei sensiblen Anliegen.

Diese Methoden können allerdings an ihre Grenzen stoßen, wenn das Modell Aufgaben außerhalb seines neuen Spezialgebiets bewältigen muss. Deshalb sollte das Modell immer wieder mit aktuellen Daten nachtrainiert werden, damit es auf dem neuesten Stand bleibt und neue Entwicklungen kennt.

3. Test-Time Scaling

Test-Time Scaling erweitert die Fähigkeiten der AI um mehr Flexibilität, indem es AI-Modellen ermöglicht, in Echtzeit intensiv nachzudenken, wenn sie mit komplexen oder ungewöhnlichen Prompts konfrontiert sind. Modelle wie ChatGPT o3 können beispielsweise während der Nutzung verschiedene Antwortmöglichkeiten durchdenken oder bei Bedarf zurückgehen und einen anderen Ansatz wählen. So kommen sie zu passenden Lösungen, die nicht nur auf auswendig gelerntem Wissen basieren.

Dieser dynamische Ansatz macht AI-Modelle anpassungsfähiger und eröffnet neue Möglichkeiten, um erstklassige Kundengespräche zu bieten sowie komplexe Probleme zu lösen.

Jedoch braucht diese Methode während der Anwendung mehr Rechenleistung - und es gilt, die richtige Balance zwischen Performance und Effizienz zu finden: Es sollte genug Leistung eingesetzt werden, damit die AI hochwertige Ergebnisse bereitstellt. Gleichzeitig sind schnelle Antworten gefragt, um effizient und wirtschaftlich zu bleiben. Da während der Inferenz mehr Rechen-Power benötigt wird, können die Antwortzeiten länger sein. Diese Latenzen beeinträchtigen potenziell vor allem Echtzeit-Use-Cases wie Sprachsteuerung, Chats oder die Suche, bei denen jede Millisekunde zählt. Deshalb ist es genauso wichtig, die Leistung für geringe Latenzen zu optimieren, wie die richtige Antwort zu liefern.

Test-Time Scaling verbessert Real-Time Reasoning in Konversationen

Agentic-AI-Systeme basieren häufig auf einem einzigen, großen Modell, das für jede Anfrage genutzt wird – was mit hohen Kosten verbunden ist. Zudem führt diese Methode nicht immer zu den präzisesten Ergebnissen. Hinzu kommt: Wenn das System keine Mechanismen hat, um seine eigenen Antworten zu überprüfen oder zu verbessern, besteht das Risiko, dass es halluziniert, Sachverhalte zu sehr vereinfacht oder auf einem falschen Lösungsweg hängenbleibt.

Test-Time Scaling hingegen verfolgt einen neuen Ansatz: Ein kleineres Modell generiert die Antworten, während ein zusätzliches Judge-Modell (Prüfmodell) kontrolliert, ob diese konsistent und präzise sind.

Diese Methode braucht zwar bei der Inferenz etwas mehr Rechenleistung, kann aber insgesamt schneller und günstiger sein, als ein großes Modell für alle Anfragen zu benutzen.

Ein Beispiel: Wenn ein kleineres Basismodell in einer Situation nur mittelmäßige Ergebnisse liefert, kann der Einsatz zusätzlicher Test-Time Rechenleistung dazu führen, dass es besser abschneidet als ein Modell, das 14-mal so groß ist. Das zeigt, wie leistungsfähig Test-Time Scaling ist.

Smarte Orchestrierung für bessere Kundenerlebnisse

Verbraucher:innen interessieren sich nicht dafür, wie Ressourcen eingesetzt werden, sondern ob AI genaue und hilfreiche Antworten liefert. Kommt während der Testzeit ein zweites Modell als Judge (Prüfinstanz) zum Einsatz, können Fehler oder Halluzinationen erkannt und korrigiert werden, bevor sie Auswirkungen auf Nutzer:innen haben.

In der Customer Experience (CX) führt Test-Time Scaling zu weniger Eskalationen, flüssigeren Gesprächen und höherer Kundenzufriedenheit – ohne dass die AI-Systeme kontinuierlich nachtrainiert oder immer größere Modelle gebaut werden müssen.

Gleichzeitig ermöglicht dieser Ansatz einen smarten Weg, komplexe Anliegen zu bearbeiten.

Nicht jede Anfrage erfordert eine aufwändige Bearbeitung – einfache Aufgaben erledigt ein schlankes Modell schnell und zuverlässig. Ist eine Frage mehrdeutig, kritisch oder schwer zu beantworten, kann dasselbe Modell in einen asynchronen Test-Time-Scaling-Flow wechseln: Es folgt eine kurze Gesprächspause, während die AI im Hintergrund ein tiefergehendes Reasoning durchführt und den Kund:innen anschließend eine präzise Antwort bereitstellt.

Diese intelligente Orchestrierung, bei der das System entscheidet, wann es welches Modell benutzt und wie es zwischen ihnen wechselt, macht es sowohl kosteneffizient als auch nutzerfreundlich. Und sie ist ausschlaggebend, um AI-Lösungen bereitzustellen, die im großen Maßstab zuverlässig, schnell und vertrauenswürdig funktionieren.

Mit Test-Time Scaling können Entwickler ihre Systeme so finetunen, dass sie effizient arbeiten und zugleich hochwertige Ergebnisse liefern. Der leichte Anstieg der Latenz durch den parallelen Einsatz von zwei Modellen ist dabei oft ein lohnender Kompromiss – zugunsten genauerer Antworten.

Dieses System sorgt dafür, dass Konsument:innen verlässliche, hochwertige Antworten bekommen, wie sie es sich wünschen und erwarten. Es zeigt, dass eine clevere Kombination aus smarter Architektur und dynamischer Validierung die Art und Weise, wie wir über die Leistung von AI und Kundenzufriedenheit denken, von Grund auf transformieren kann.

Du möchtest wissen, wie du deine Kundeninteraktionen verbesserst? Nimm Kontakt mit uns auf!