Können die heute leistungsstärksten KI-Codierungstools tatsächlich mit der tief verankerten Physik umgehen, die in wissenschaftliche Bildgebungs-Workflows eingebettet ist? Ein neuer Benchmark namens Imaging-101 wurde entwickelt, um das herauszufinden – und die Antwort ist, zumindest derzeit, ein klares Nein. Eingereicht im Juli 2026 von einem Team aus zwölf Forschenden, darunter Siyi Chen, Jiahe Ying und He Sun, stellt die Studie das Benchmarking von LLM-Coding-Agenten in den Mittelpunkt eines Feldes, in dem falsche Mathematik nicht nur fehlerhafte Software erzeugt, sondern wissenschaftlich bedeutungslose Ergebnisse.
Summary
Wichtigste Erkenntnisse
- Imaging-101 ist ein Benchmark aus 57 fachlich geprüften Aufgaben der rechnergestützten Bildgebung, die sich über sechs wissenschaftliche Domänen erstrecken und jeweils in einer peer-reviewten Publikation verankert sind.
- Jede Aufgabe folgt einer standardisierten Pipeline mit vier Stufen: Vorverarbeitung, Vorwärts-Physikmodellierung, inverser Löser und Visualisierung.
- Die Evaluation umfasst drei Bereiche – Planung, Funktions-Unit-Tests und End-to-End-Rekonstruktion – und untersucht unterschiedliche Fähigkeiten der Agenten.
- Sieben führende große Sprachmodelle wurden evaluiert, wodurch systematische Herausforderungen sichtbar wurden, die über das hinausgehen, was allgemeine Coding-Benchmarks aufdecken.
- Die Studie identifiziert konkrete Lücken bei der Algorithmusauswahl, im Umgang mit physikalischen Konventionen und bei der Pipeline-Integration und weist auf domänenspezialisierte Agenten als Weg nach vorn hin.
Was Imaging-101 tatsächlich testet
Rechnergestützte Bildgebung liegt an der Schnittstelle von Physik, Mathematik und Softwaretechnik. Die zentrale Herausforderung besteht darin, verborgene Signale zu rekonstruieren aus indirekten, verrauschten Messungen – man denke an die Rekonstruktion eines medizinischen Bildes aus Sensordaten oder die Wiedergewinnung einer Struktur aus gestreutem Licht. Sie bildet die Grundlage quantitativer Entdeckungen in vielen wissenschaftlichen Disziplinen, doch der Aufbau einer korrekten Rekonstruktionspipeline erfordert tiefgehende Fachkenntnis. Selbst erfahrene Fachwissenschaftler empfinden dies als mühsam.
Imaging-101 wurde entwickelt, um zu prüfen, ob LLMs bei dieser Arbeit sinnvoll unterstützen können. Der Benchmark versammelt 57 fachlich geprüfte Aufgaben aus sechs wissenschaftlichen Domänen, wobei jede Aufgabe in einer peer-reviewten Publikation verankert ist. Diese Verankerung ist wichtig: Sie bedeutet, dass der Benchmark nicht abstrakte Programmierkompetenz misst, sondern ob ein KI-Agent reale, veröffentlichte wissenschaftliche Methoden in funktionierenden Code übersetzen kann.
Standardisierte Pipeline mit vier Stufen
Um Aufgaben domänenübergreifend vergleichbar zu machen, wird jedes der 57 Probleme in dieselbe Struktur überführt. Die Pipeline mit vier Stufen durchläuft Vorverarbeitung, Vorwärts-Physikmodellierung, inversen Löser und Visualisierung. Jede Stufe bringt ihre eigene Komplexität mit sich. Die Vorwärts-Physikmodellierung etwa verlangt von einem Agenten, die physikalischen Gesetze zu kodieren, die bestimmen, wie ein Signal gemessen wird – also nicht nur syntaktisch korrekten Code zu schreiben, sondern die richtigen Gleichungen zu erfassen. In der Stufe des inversen Lösers wird der Agent dann aufgefordert, diesen Prozess mathematisch umzukehren.
Diese Pipeline-Struktur ist eine der bewusstesten Designentscheidungen von Imaging-101. Durch die Standardisierung des Workflows wird es möglich, genau zu isolieren, an welcher Stelle ein LLM scheitert – ob es am Verständnis des physikalischen Aufbaus mangelt, an numerischen Methoden scheitert oder schlicht nicht in der Lage ist, die Stufen zu einer kohärenten End-to-End-Lösung zu integrieren.
Wie die Evaluation aufgebaut war
Das Forschungsteam evaluierte sieben hochmoderne große Sprachmodelle, die für Programmieraufgaben optimiert sind. Anstatt die Leistung mit einer einzigen Kennzahl zu messen, ist die Evaluation in drei unterschiedliche Bereiche aufgeteilt, die verschiedene Fähigkeiten der Agenten untersuchen sollen.
Der erste Bereich testet die Planung – also ob ein Agent den Gesamtansatz korrekt durchdenken kann, bevor er irgendeinen Code schreibt. Der zweite nutzt Funktions-Unit-Tests, um einzelne Komponenten der Pipeline zu isolieren und die Genauigkeit des Codes im Detail zu bewerten. Der dritte und anspruchsvollste Bereich misst die End-to-End-Rekonstruktion und verlangt vom Agenten, eine vollständige, funktionierende Pipeline zu erzeugen, die tatsächlich ein sinnvolles Signal aus Rohmessdaten rekonstruiert.
Dieses Drei-Bereiche-Design ist analytisch klug. Ein Modell kann in der Planung gut abschneiden – also die richtige Strategie formulieren – und dennoch völlig scheitern, wenn es diese Strategie im Code umsetzen muss. Die Trennung der Bereiche macht solche Fehlschläge sichtbar, anstatt sie durch Mittelung zu verschleiern.
Wo LLMs bei wissenschaftlichen Bildgebungsaufgaben versagen
Die Ergebnisse bringen eine Reihe von systematischen Herausforderungen zutage, die allgemeine Coding-Benchmarks schlicht nicht offenlegen. Drei Problemfelder stechen in den Befunden deutlich hervor.
- Algorithmusauswahl: LLMs haben Schwierigkeiten, den passenden Rekonstruktionsalgorithmus für einen gegebenen physikalischen Aufbau zu wählen, und greifen häufig auf generische oder falsche Ansätze zurück.
- Umgang mit physikalischen Konventionen: Wissenschaftliche Bildgebung beruht auf präzisen Konventionen – Koordinatensystemen, Einheitendefinitionen, Vorzeichenkonventionen in Gleichungen – und Modelle liegen hier häufig falsch, auf eine Weise, die Ergebnisse stillschweigend verfälscht.
- Pipeline-Integration: Selbst wenn einzelne Stufen korrekt implementiert sind, treten zusätzliche Fehlermodi zutage, sobald sie zu einem funktionierenden End-to-End-System verbunden werden.
Bedeutsam an diesen Erkenntnissen ist, dass sie eine qualitativ andere Klasse von Schwierigkeiten darstellen als typische Aufgaben der Softwareentwicklung. Das Schreiben eines Web-Scrapers oder einer Sortierfunktion erfordert kein Verständnis der Physik der Wellenfortpflanzung oder der Mathematik der Fourier-Inversion. Rechnergestützte Bildgebung schon. Die Lücke zwischen allgemeiner Programmierkompetenz und domänenspezifischer wissenschaftlicher Programmierung erweist sich als größer, als bestehende Benchmarks vermuten lassen.
Warum diese Lücke über die Wissenschaft hinaus wichtig ist
Die Implikationen reichen weiter als ein einzelnes Forschungspapier. LLM-Coding-Agenten werden zunehmend als universelle wissenschaftliche Assistenten positioniert – als Werkzeuge, mit denen Forschende die Implementierung neuer Methoden beschleunigen könnten. Wenn diese Agenten systematisch an physikalischen Konventionen scheitern oder ungeeignete inverse Löser wählen, kann ihr Einsatz ohne sorgfältige menschliche Aufsicht schwer erkennbare Fehler in wissenschaftliche Pipelines einführen. Fehler, die keine Exceptions auslösen, sondern leise falsche Antworten produzieren.
In Bereichen, in denen rechnergestützte Bildgebung Entdeckungen vorantreibt – von der medizinischen Diagnostik bis zur Materialwissenschaft – ist das ein ernstzunehmendes Zuverlässigkeitsproblem, kein theoretisches.
Der Weg nach vorn: domänenspezialisierte Agenten
Die Studie belässt es nicht bei der Problemidentifikation. Das Forschungsteam verweist auf fähigkeitserweiterte und domänenspezialisierte Agenten als praktikablen Verbesserungsweg. Die Argumentation legt nahe, dass ein universell einsetzbares LLM, so leistungsfähig es bei konventionellen Programmieraufgaben auch sein mag, strukturelle Grenzen aufweist, wenn es auf physikbasierte wissenschaftliche Workflows angewendet wird. Agenten, die speziell mit Domänenwissen ausgestattet sind – sei es durch Fine-Tuning, Retrieval-gestützte Werkzeuge oder strukturierte Fähigkeitsmodule – stellen die vielversprechendere Richtung dar.
Imaging-101 selbst ist als Infrastruktur positioniert, um Fortschritte entlang dieses Weges zu messen. Durch einen standardisierten Benchmark mit fachlich geprüften Aufgaben und einem reproduzierbaren Evaluationsrahmen bietet er Forschenden ein konkretes Ziel, um die Leistung von Agenten bei LLM-Rekonstruktionsaufgaben in der rechnergestützten Bildgebung zu verbessern. Die Verankerung des Benchmarks in peer-reviewten Publikationen bedeutet zudem, dass er reale wissenschaftliche Praxis widerspiegelt und keine synthetischen Spielzeugprobleme.
Ob sich das Feld rasch in Richtung spezialisierter Agenten bewegt oder weiterhin auf universelle Modelle mit menschlicher Korrektur setzt – Imaging-101 liefert nun das klarste verfügbare Bild davon, wo die Lücken tatsächlich liegen und wie tief sie reichen.
FAQ
Was ist der Zweck des Imaging-101-Benchmarks?
Imaging-101 bewertet die Leistung von Coding-Agenten großer Sprachmodelle bei 57 fachlich geprüften Aufgaben der rechnergestützten Bildgebung in sechs wissenschaftlichen Domänen. Jede Aufgabe wird in eine Pipeline mit vier Stufen standardisiert, was eine systematische Bewertung ermöglicht, wo KI-Agenten in wissenschaftlichen Bildgebungs-Workflows erfolgreich sind und wo sie scheitern.
Aus welchen Stufen besteht die Pipeline der rechnergestützten Bildgebung in Imaging-101?
Die Pipeline besteht aus vier Stufen: Vorverarbeitung, Vorwärts-Physikmodellierung, inverser Löser und Visualisierung. Jede Stufe stellt eine eigene technische Herausforderung dar – von der Kodierung physikalischer Messgesetze bis zur Rekonstruktion verborgener Signale aus verrauschten Daten.
Mit welchen Herausforderungen waren LLM-Coding-Agenten in der Evaluation konfrontiert?
Die evaluierten Modelle hatten vor allem mit drei Bereichen zu kämpfen: der Auswahl des geeigneten Algorithmus für einen gegebenen physikalischen Aufbau, dem korrekten Umgang mit physikalischen Konventionen wie Koordinatensystemen und Vorzeichenfestlegungen sowie der Integration einzelner Pipeline-Komponenten zu einem funktionierenden End-to-End-Rekonstruktionssystem.
Welche zukünftigen Verbesserungen werden für LLM-Coding-Agenten in der rechnergestützten Bildgebung vorgeschlagen?
Die Studie schlägt fähigkeitserweiterte und domänenspezialisierte Agenten als praktikablen Weg nach vorn vor. Anstatt sich auf universelle Modelle zu verlassen, empfehlen die Forschenden Agenten, die mit domänenspezifischem Wissen und strukturierten Fähigkeiten ausgestattet sind, da diese besser für die Anforderungen wissenschaftlicher Bildgebungs-Pipelines geeignet sind.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Was ist der Zweck des Imaging-101-Benchmarks?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Imaging-101 bewertet die Leistung von Coding-Agenten großer Sprachmodelle bei 57 fachlich geprüften Aufgaben der rechnergestützten Bildgebung in sechs wissenschaftlichen Domänen. Jede Aufgabe wird in eine Pipeline mit vier Stufen standardisiert, was eine systematische Bewertung ermöglicht, wo KI-Agenten in wissenschaftlichen Bildgebungs-Workflows erfolgreich sind und wo sie scheitern.“}},{„@type“:“Question“,“name“:“Aus welchen Stufen besteht die Pipeline der rechnergestützten Bildgebung in Imaging-101?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Die Pipeline besteht aus vier Stufen: Vorverarbeitung, Vorwärts-Physikmodellierung, inverser Löser und Visualisierung. Jede Stufe stellt eine eigene technische Herausforderung dar – von der Kodierung physikalischer Messgesetze bis zur Rekonstruktion verborgener Signale aus verrauschten Daten.“}},{„@type“:“Question“,“name“:“Mit welchen Herausforderungen waren LLM-Coding-Agenten in der Evaluation konfrontiert?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Die evaluierten Modelle hatten vor allem mit drei Bereichen zu kämpfen: der Auswahl des geeigneten Algorithmus für einen gegebenen physikalischen Aufbau, dem korrekten Umgang mit physikalischen Konventionen wie Koordinatensystemen und Vorzeichenfestlegungen sowie der Integration einzelner Pipeline-Komponenten zu einem funktionierenden End-to-End-Rekonstruktionssystem.“}},{„@type“:“Question“,“name“:“Welche zukünftigen Verbesserungen werden für LLM-Coding-Agenten in der rechnergestützten Bildgebung vorgeschlagen?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Die Studie schlägt fähigkeitserweiterte und domänenspezialisierte Agenten als praktikablen Weg nach vorn vor. Anstatt sich auf universelle Modelle zu verlassen, empfehlen die Forschenden Agenten, die mit domänenspezifischem Wissen und strukturierten Fähigkeiten ausgestattet sind, da diese besser für die Anforderungen wissenschaftlicher Bildgebungs-Pipelines geeignet sind.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.
