Zum Inhalt springen
  • BTC $57.944 −6,1%
  • ETH $1.636 −6,4%
  • SOL $67,81 −6,2%
  • BNB $523,60 −8,3%
  • XRP $0,8927 −6,9%
  • DOGE $0,0530 −7,2%
  • ADA $0,1387 −6,9%

Multi-Belohnungs-Deep-Reinforcement-Learning stabilisiert das Training mit zwei Signalen

Shourov Joarder und drei weitere Autoren schlagen Multi-Reward-Reinforcement-Learning vor, um das Training großer Sprachmodelle ohne externe Aufsicht stabiler zu machen. Laut den Autoren erhöht die Kombination zweier interner Belohnungssignale die Robustheit in Benchmarks zum mathematischen Denken und zur Code-Generierung. Die Leistungen nähern sich denen überwachter Methoden an. Der…

apprendimento per rinforzo multi-ricompensa

Shourov Joarder und drei weitere Autoren schlagen Multi-Reward-Reinforcement-Learning vor, um das Training großer Sprachmodelle stabiler zu machen, ohne externe Aufsicht.

Nach Ansicht der Autoren verbessert die Kombination von zwei internen Belohnungssignalen die Robustheit in Benchmarks für mathematisches Denken und Codegenerierung. Die Leistung nähert sich der von überwachten Methoden an.

Die Methode basiert auf Reinforcement Learning from Internal Feedback (RLIF), das die Trainingssignale aus dem Modell selbst gewinnt. Dies ist ein anderer Ansatz als Reinforcement Learning with Verifiable Rewards (RLVR), das sich häufig auf menschliche Annotationen oder Referenzlösungen stützt.

Das Paper identifiziert eine Schwachstelle in den aktuellen RLIF-Methoden: Sie verwenden in der Regel nur eine einzige interne Belohnung. Laut den Autoren kann diese Abhängigkeit zu Reward Hacking, Entropie-Kollaps und einer Schwächung der Argumentationsstruktur führen.

Wie Multi-Reward-Reinforcement-Learning das Training ausbalanciert

Das Framework stützt sich auf zwei komplementäre Signale statt auf ein einziges internes Maß. Das erste ist eine Belohnung auf Antwortebene, basierend auf Cluster-Voting. Die zweite ist eine Belohnung auf Completion-Ebene, basierend auf tokenweiser Selbstsicherheit (token-wise self-certainty).

Um sie zu kombinieren, wenden die Forschenden eine auf GDPO basierende Normalisierung an, die Ungleichgewichte zwischen den Skalen der beiden Belohnungen reduziert. Dieser Schritt dient der Ausbalancierung der Signale. Gegen den Trainingskollaps kommt eine separate Technik zum Einsatz.

Es handelt sich um die KL-Cov-Regularisierung, die auf Tokenverteilungen mit niedriger Entropie abzielt, die für eine überproportionale Verringerung der Entropie verantwortlich sind. Die Autoren beschreiben sie als ein Werkzeug, das die Exploration erhält und in späten Trainingsphasen einen Kollaps verhindert.

Stabilität und Ergebnisse in Benchmarks

In Benchmarks für mathematisches Denken und Codegenerierung berichtet das Paper über höhere Stabilität und Robustheit im Vergleich zu früheren Ansätzen des unbeaufsichtigten Reinforcement-Learnings.

Das Multi-Reward-Reinforcement-Learning-Framework erzielt zudem Ergebnisse, die laut den Autoren nahe an denen von überwachtem RLVR liegen.

Das Paper erklärt, dass die Autoren planen, den Code zu veröffentlichen.

Inhalt erstellt mit Unterstützung künstlicher Intelligenz und mit menschlicher redaktioneller Überprüfung.

Francesco Antonio Russo

Alle Artikel von Francesco Antonio Russo