Eine Studie zu OpenAI GPT-Trainingsdaten ergab einen deutlichen Unterschied zwischen Modellen, die mit urheberrechtlich geschützten, nicht öffentlichen Büchern getestet wurden: GPT-4o erzielte Werte deutlich über dem Zufall, während zwei andere Modelle sich in der Nähe des Zufallsbereichs bewegten. Der Forscher Ilan Strauss nutzte die Ergebnisse, um mögliche Verstöße gegen Zugriffsrechte zu untersuchen, nicht nur die Frage, ob Material im Training verwendet wurde.
Die Studie mit dem Titel Beyond Public Access in LLM Pre-Training Data nutzte eine rechtmäßig erworbene Sammlung von 34 Büchern von O’Reilly Media mit insgesamt 13.962 Absätzen. Strauss setzte den DE-COP-Mitgliedschaftsinferenz-Angriff ein, um zu testen, ob paywall-geschütztes Material wiedererkannt wird, das die Modelle nach Aussage der Studie nicht zur Nutzung für das Training lizenziert hatten.
Testen der GPT-Trainingsdaten von OpenAI
GPT-4o erzielte einen AUROC-Wert von 0,82, verglichen mit 0,54 für GPT-3.5 Turbo und 0,56 für GPT-4o Mini. Bei dieser Kennzahl entspricht 0,50 reinem Zufall. Das gebootstrapte 95 %-Konfidenzintervall von GPT-4o lag zwischen 0,60 und 0,96.
Der Vergleich umfasste über die Leistung hinausgehende Unterschiede: GPT-3.5 Turbo war zwei Jahre früher trainiert worden, während GPT-4o Mini ein kleineres Modell war.
Zur Überprüfung der Ergebnisse setzte Strauss unabhängige Paraphrasiermodelle, Gemma und Qwen, ein und wiederholte die Analyse, wobei jeweils ein Buch ausgelassen wurde. Die Studie verglich außerdem GPT-4o mit GPT-4o Mini, die beide denselben Trainings-Cutoff vom Oktober 2023 hatten, um zu testen, ob Sprachveränderungen im Zeitverlauf die Ergebnisse erklärten.
Die Ergebnisse sind weiterhin vorläufig. Strauss nennt die begrenzte Buchauswahl, mögliche Verunreinigungen der Kontrolldaten nach dem Cutoff sowie Unterschiede in Modellgröße, Architektur und Trainingszusammensetzung als Einschränkungen.
Der Fokus der Studie auf nicht öffentliche Inhalte wirft Fragen zu möglichen Zugriffsverletzungen in den GPT-Trainingsdaten von OpenAI auf, statt nur zur bloßen Einbeziehung ins Training. Strauss fordert Offenlegungspflichten zur Herkunft von Pre-Training-Daten sowie formale Märkte für die Lizenzierung von Trainingsinhalten.
Artikel mit Unterstützung durch künstliche Intelligenz erstellt und von der Redaktion überprüft.




