Test-Time Compute bezeichnet die Rechenleistung, die ein KI-Modell beim Antworten (in der Inferenz) einsetzt — im Gegensatz zur Rechenzeit, die einmalig beim Training verbraucht wird. Die Idee: Statt immer größere Modelle zu trainieren, lässt man ein vorhandenes Modell bei schwierigen Fragen länger und gründlicher „nachdenken“.
Inference Scaling: Mehr Kandidaten, bessere Antworten
Ein LLM kann zur Antwortzeit mehrere Lösungs-Kandidaten erzeugen und daraus die beste auswählen oder eine Lösung iterativ verbessern. Die zentrale Forschungsarbeit „Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters“ (Snell et al., August 2024, arXiv 2408.03314) zeigt: Ein kleines Modell mit compute-optimal verteilter Testzeit schlägt ein Modell, das etwa 14-mal größer ist. Entscheidend ist die Verteilung der Rechenzeit: Moderat viele Kandidaten mit einem guten Verifier schlagen wahllos sehr viele Kandidaten.
Zwei Grundstrategien
- Verifier-basiert: Der Generator erzeugt mehrere Antworten (best-of-n), ein separates Prüfmodell wählt die beste aus.
- Iteratives Verfeinern: Das Modell überarbeitet die eigene Lösung in mehreren Schritten (Revise).
o1 und die Praxis
OpenAI machte Test-Time Compute mit o1 (September 2024, „Learning to Reason with LLMs“) populär: Das Modell wurde mit Reinforcement Learning darauf trainiert, vor der Antwort eine lange interne Gedankenkette zu erzeugen — mehr Testzeit führt messbar zu besseren Ergebnissen. Verwandte Techniken sind Chain-of-Thought und Self-Consistency; die Grenzen der Skalierung untersucht das LLM-Evaluation-Umfeld.
Verwandte Grundlagen: Verifier und Program of Thoughts.