Rectified Flow ist ein Trainingsverfahren für generative Modelle, das Rausch- und Datenverteilung über möglichst geradlinige Transportpfade verbindet. Es wurde 2022 von Xingchao Liu, Chengyue Gong und Qiang Liu (UT Austin) in der Arbeit „Flow Straight and Fast" vorgeschlagen (arXiv 2209.03003, ICML 2023).
Idee
Wie beim Flow Matching lernt ein neuronales Netz ein Vektorfeld, das eine einfache Rauschverteilung in die Datenverteilung überführt. Der Unterschied: Rectified Flow begradigt die Trajektorien durch einen Reflow-Schritt — die Pfade werden aus den bereits gelernten Lösungen neu gezogen und werden dadurch nahezu Geraden.
Vorteile
- Sehr wenige Integrationsschritte beim Sampling (oft 1 bis 10 statt 1000)
- Geringere Transportkosten zwischen den Verteilungen
- Ein-Schritt-Generatoren werden möglich (z. B. InstaFlow)
Rectified Flow ist eng mit dem Score-Matching-Zugang verwandt: Die marginalen Vektorfelder lassen sich als Kombination von Score-Funktionen ausdrücken. Praktisch bekannt wurde das Verfahren als Grundlage von Stable Diffusion 3 und FLUX, die im latenten Raum eines Autoencoders arbeiten — ähnlich wie bei VQ-VAE und anderen latenten Diffusionsmodellen.
Verwandte Grundlagen: Diffusion Model, Stable Diffusion, Score-Based Model.