Zum Inhalt springen
  • BTC $59.212 −3,9%
  • ETH $1.671 −3,9%
  • SOL $69,51 −2,0%
  • BNB $537,58 −5,3%
  • XRP $0,9086 −3,9%
  • DOGE $0,0544 −3,8%
  • ADA $0,1412 −3,6%

GPT-4o erzielte 0,82 bei nichtöffentlichen Büchern – was bedeutet das für die GPT-Trainingsdaten von OpenAI?

Eine Studie zu den Trainingsdaten von OpenAIs GPT ergab einen deutlichen Unterschied zwischen Modellen, die mit urheberrechtlich geschützten, nicht öffentlichen Büchern getestet wurden: GPT-4o erzielte Ergebnisse deutlich über dem Zufallsniveau, während zwei andere Modelle sich nahe am Zufallsbereich bewegten. Der Forscher Ilan Strauss nutzte die Ergebnisse, um mögliche Verstöße gegen…

OpenAI GPT training data
OpenAI GPT Training Data Study Raises Access Questions

Eine Studie zu OpenAI GPT-Trainingsdaten ergab einen deutlichen Unterschied zwischen Modellen, die mit urheberrechtlich geschützten, nicht öffentlichen Büchern getestet wurden: GPT-4o erzielte Werte deutlich über dem Zufall, während zwei andere Modelle sich in der Nähe des Zufallsbereichs bewegten. Der Forscher Ilan Strauss nutzte die Ergebnisse, um mögliche Verstöße gegen Zugriffsrechte zu untersuchen, nicht nur die Frage, ob Material im Training verwendet wurde.

Die Studie mit dem Titel Beyond Public Access in LLM Pre-Training Data nutzte eine rechtmäßig erworbene Sammlung von 34 Büchern von O’Reilly Media mit insgesamt 13.962 Absätzen. Strauss setzte den DE-COP-Mitgliedschaftsinferenz-Angriff ein, um zu testen, ob paywall-geschütztes Material wiedererkannt wird, das die Modelle nach Aussage der Studie nicht zur Nutzung für das Training lizenziert hatten.

Testen der GPT-Trainingsdaten von OpenAI

GPT-4o erzielte einen AUROC-Wert von 0,82, verglichen mit 0,54 für GPT-3.5 Turbo und 0,56 für GPT-4o Mini. Bei dieser Kennzahl entspricht 0,50 reinem Zufall. Das gebootstrapte 95 %-Konfidenzintervall von GPT-4o lag zwischen 0,60 und 0,96.

Der Vergleich umfasste über die Leistung hinausgehende Unterschiede: GPT-3.5 Turbo war zwei Jahre früher trainiert worden, während GPT-4o Mini ein kleineres Modell war.

Zur Überprüfung der Ergebnisse setzte Strauss unabhängige Paraphrasiermodelle, Gemma und Qwen, ein und wiederholte die Analyse, wobei jeweils ein Buch ausgelassen wurde. Die Studie verglich außerdem GPT-4o mit GPT-4o Mini, die beide denselben Trainings-Cutoff vom Oktober 2023 hatten, um zu testen, ob Sprachveränderungen im Zeitverlauf die Ergebnisse erklärten.

Die Ergebnisse sind weiterhin vorläufig. Strauss nennt die begrenzte Buchauswahl, mögliche Verunreinigungen der Kontroll­daten nach dem Cutoff sowie Unterschiede in Modellgröße, Architektur und Trainingszusammensetzung als Einschränkungen.

Der Fokus der Studie auf nicht öffentliche Inhalte wirft Fragen zu möglichen Zugriffsverletzungen in den GPT-Trainingsdaten von OpenAI auf, statt nur zur bloßen Einbeziehung ins Training. Strauss fordert Offenlegungspflichten zur Herkunft von Pre-Training-Daten sowie formale Märkte für die Lizenzierung von Trainingsinhalten.

Artikel mit Unterstützung durch künstliche Intelligenz erstellt und von der Redaktion überprüft.

Francesco Antonio Russo

Alle Artikel von Francesco Antonio Russo