Synthetic Data (deutsch: synthetische Daten) sind künstlich erzeugte Daten, die reale Daten in Umfang und Struktur nachbilden, aber keinen direkten Bezug zu echten Personen oder Ereignissen haben. Sie werden von Algorithmen, Simulationen oder generativen KI-Modellen erzeugt und dienen als Trainingsmaterial für maschinelles Lernen.
Warum synthetische Daten?
- Datenschutz: Keine echten Personendaten nötig, dadurch DSGVO-konforme Verarbeitung.
- Seltene Fälle: Unfall-Szenarien, seltene Krankheiten oder Randfälle lassen sich beliebig erzeugen.
- Kosten: Manuell gelabelte Daten sind teuer; synthetische Daten skalieren günstig.
- Ausgewogenheit: Klassen-Ungleichgewichte (viele Beispiele einer Klasse, wenige einer anderen) lassen sich gezielt ausgleichen.
Synthetische Daten bei großen Sprachmodellen
Seit etwa 2023 nutzen LLM-Entwickler verstärkt von Modellen selbst erzeugte Daten. Ein bekanntes Beispiel ist das Nachrechnen von Mathematik-Aufgaben mit Kontroll-Lösungen, um Reasoning-Korpora zu skalieren. Wichtig ist die Qualitätskontrolle: Schlecht geprüfte synthetische Daten können Fehler verstärken — ein Phänomen, das oft mit Model Collapse in Verbindung gebracht wird. Gute synthetische Daten durchlaufen daher eine Verifier- oder Filter-Stufe, bevor sie ins Training fließen. Eng verwandt ist die Self-Verification: Modelle prüfen ihre eigenen Antworten, bevor Beispiele übernommen werden.
Abgrenzung
Synthetic Data ist die Datenquelle, Distillation das Verfahren, Wissen aus einem großen Modell in ein kleineres zu übertragen. Beides kann kombiniert werden: Ein großes Lehrer-Modell erzeugt synthetische Antworten, aus denen das Schüler-Modell lernt.
Verwandte Grundlagen: Fine-Tuning, LLM-Evaluation, Transfer Learning.