NVIDIA setzt erhebliches Gewicht hinter seinen Aufruf zu offenen Standards in der künstlichen Intelligenz, und der neueste Schritt zeigt, wie weit sich diese Initiative inzwischen auf Robotik, selbstfahrende Autos und maschinelles Sehen erstreckt. Im Juli schloss sich der Chiphersteller mehr als 200 Unternehmen und Organisationen an und unterzeichnete einen offenen Brief mit dem Titel „Open Weights and American AI Leadership“, in dem argumentiert wird, dass die Führungsrolle im Bereich KI daran gemessen werden sollte, wie weit sich offene Systeme über alle Sektoren hinweg verbreiten, und nicht an einem einzelnen Vorzeigemodell. Aufbauend auf diesem Engagement hat NVIDIA nun Cosmos 3 vorgestellt, eine neue Familie offener physischer KI-Modelle, die Maschinen dabei helfen soll zu verstehen und vorherzusagen, was in der realen Welt geschieht – nicht nur zu beschreiben, was eine Kamera sieht.
Summary
Wichtigste Erkenntnisse
- NVIDIA hat sich mehr als 200 Unternehmen und Organisationen angeschlossen, die hinter einem offenen Brief stehen, der offene KI-Ökosysteme vorantreibt.
- NVIDIA Cosmos 3 ist ein neues offenes physisches KI-Grundlagenmodell, das auf einer Mixture-of-Transformers-Architektur basiert.
- Die Cosmos-3-Familie umfasst drei Größen: Super (64B), Nano (16B) und Edge (4B), jeweils ausgerichtet auf unterschiedliche Bereitstellungsanforderungen.
- Cosmos 3 belegt Platz 1 in mehreren unabhängigen Benchmarks, darunter Artificial Analysis, PAIBench, Physics-IQ, RoboLab und VANTAGE-Bench.
- Unternehmen in den Bereichen Robotik, autonome Fahrzeuge und Vision-KI sowie die wachsende NVIDIA-Cosmos-Koalition bauen bereits auf der Modellfamilie auf.
NVIDIA schließt sich dem Vorstoß für offene physische KI-Ökosysteme an
Offener Zugang zu Modellgewichten ist das, was Entwicklern ermöglicht, tatsächlich auf Grundlagenmodellen aufzubauen, anstatt nur den Zugang zu ihnen zu mieten. NVIDIAs Entscheidung, den Brief „Open Weights and American AI Leadership“ mitzuunterzeichnen, spiegelt ein breiteres Argument wider, das in der Branche an Fahrt gewinnt: dass ciò che consente a chiunque di scaricare, esaminare, personalizzare ed eseguire modelli aperti sulla propria infrastruttura die weitverbreitete KI-Einführung überhaupt erst möglich macht.
Dieses Prinzip ist vor allem in Bereichen wichtig, in denen ein einziges generisches Modell die Aufgabe nicht erfüllen kann. Physische KI, der Zweig der künstlichen Intelligenz, der sich mit Robotern, autonomen Fahrzeugen und Vision-Systemen in realen Umgebungen befasst, ist genau eine solche Domäne. Jede Implementierung ist im Grunde ein Spezialisierungsproblem, da ein Lagerroboter, ein Lieferfahrzeug und eine Industriekamera jeweils über völlig unterschiedliche physische Bedingungen nachdenken müssen. Offene Weltmodelle geben Engineering-Teams die Flexibilität, eine gemeinsame Grundlage an jede dieser sehr unterschiedlichen Umgebungen anzupassen, anstatt jedes Mal von vorne zu beginnen.
Was physische KI von anderen KI-Systemen unterscheidet
Physische KI muss Konsequenzen verstehen und vorhersagen, nicht nur Erscheinungen erkennen. Genau dieser Unterschied ist der Grund, warum Weltmodelle existieren: Sie werden darauf trainiert zu lernen, wie sich physische Umgebungen verhalten, vorherzusehen, was als Nächstes passieren könnte, und herauszufinden, welche Aktionen angesichts dieser Vorhersage sinnvoll sind.
In der Praxis bedeutet das, dass ein Weltmodell physikalisch fundierte Daten darüber erzeugen kann, wie sich Objekte bewegen und interagieren, zukünftige Zustände einer Umgebung simuliert und Entwicklern eine Grundlage an die Hand gibt, die sie dann für einen bestimmten Roboter, ein selbstfahrendes Auto oder ein Vision-System feinabstimmen können. Anstatt für jeden neuen Anwendungsfall riesige Mengen an realem Filmmaterial zu sammeln, können Teams auf Weltmodell-Simulationen zurückgreifen, um synthetische Trainingsdaten zu generieren und Richtlinien zu testen, bevor irgendetwas die reale Welt berührt. NVIDIAs Omniverse-Bibliotheken, Teil des Agent Toolkit, gehen noch einen Schritt weiter, indem sie vorgefertigte Werkzeuge für den Aufbau simulationsbereiter Umgebungen bereitstellen, in denen physische KI-Systeme trainiert, getestet und validiert werden können, bevor sie in der realen Welt eingesetzt werden.
Im Inneren von NVIDIA Cosmos 3, dem neuen offenen physischen KI-Grundlagenmodell
Cosmos 3 ist NVIDIAs Antwort auf das Fragmentierungsproblem, das die Entwicklung physischer KI seit Langem verlangsamt. Anstatt separate Modelle für Szenenverständnis, Datengenerierung und Aktionsvorhersage zu pflegen, können sich Entwickler nun auf eine einzige offene Modellfamilie verlassen, die alle drei Aufgaben übernimmt. NVIDIA beschreibt Cosmos 3 als ein fortschrittliches offenes physisches KI-Grundlagen-Omni-Modell, das auf einer Mixture-of-Transformers-Architektur basiert und visuelles Schlussfolgern, Weltgenerierung und Aktionsvorhersage in einem System vereint.
Diese Flexibilität ist der entscheidende Punkt. Entwickler können Cosmos 3 als Vision-Language-Modell zur Interpretation einer Szene nutzen, als physikalisch fundierten Weltsimulator, der zukünftige Zustände vorhersagt und groß angelegte synthetische Trainingsdaten generiert, oder als Rückgrat für spezialisierte Weltaktionsmodelle, die für einen bestimmten Roboter oder ein bestimmtes Fahrzeug entwickelt werden.
Modellvarianten für jeden Bereitstellungsbedarf
Die Cosmos-3-Familie ist in drei Größen erhältlich, die jeweils ein anderes Gleichgewicht zwischen Leistungsfähigkeit und Hardware-Footprint anvisieren:
- Cosmos 3 Super (64B) ist für hochpräzises Weltmodellieren ausgelegt.
- Cosmos 3 Nano (16B) ist auf effizientes Schlussfolgern und Post-Training abgestimmt.
- Cosmos 3 Edge (4B) ist für Vision-Reasoning auf dem Gerät und die Bereitstellung von Roboter-Policies konzipiert.
Cosmos 3 Edge ist leicht genug, um auf Edge-GPUs zu laufen, und NVIDIA sagt, dass es auf NVIDIA-RTX-GPUs, NVIDIA-DGX-Systemen und NVIDIA-Jetson-Hardware, einschließlich der Jetson-Thor-Plattform, bereitgestellt werden kann. Diese Bandbreite ist wichtig für Unternehmen, die Inferenz direkt auf einem Roboter oder Fahrzeug ausführen müssen, anstatt alles über ein Rechenzentrum zu leiten.
Benchmark-Führerschaft über Aufgaben hinweg
In unabhängigen Benchmark-Bewertungen belegt Cosmos 3 derzeit Platz 1 bei Artificial Analysis für Open-Weight-Generazione da testo a immagine e da immagine a video, bei PAIBench für die Weltgenerierung und in der Kategorie da immagine a video von Physics-IQ. Per la politica dei robot tasks specifically, führt es den RoboLab-Benchmark an. Cosmos 3 Super ist laut NVIDIA außerdem das höchstplatzierte offene Modell auf VANTAGE-Bench für das visuelle Verständnis.
Diese Platzierungen positionieren Cosmos 3 als echten Referenzpunkt für alle, die offene physische KI-Modelle entwickeln, und nicht als eine Nischenforschungsveröffentlichung. NVIDIAs breiterer physischer KI-Stack rundet das Bild mit Isaac GR00T für Robotik, Alpamayo für autonome Fahrzeuge und Metropolis für Vision-KI ab, was bedeutet, dass Cosmos 3 nicht isoliert arbeitet, sondern in ein breiteres Set von Werkzeugen einfließt, die bereits auf bestimmte Branchen zugeschnitten sind.
Branchenadoption und die NVIDIA-Cosmos-Koalition
Unternehmen aus den Bereichen Robotik, autonome Fahrzeuge und Vision-KI bauen bereits auf NVIDIA Cosmos auf, was darauf hindeutet, dass sich die Modellfamilie über die Demo-Phase hinaus in aktive Entwicklungspipelines bewegt. In der Robotik gehören Doosan Robotics, LG Electronics, Samsung Electronics und Skild AI zu den von NVIDIA genannten Anwendern. Im Bereich autonome Fahrzeuge arbeiten Li Auto, Xiaomi und Afari mit der Plattform. Für Vision-KI-Anwendungen, die industrielle Überwachung und Smart-Space-Systeme antreiben, werden Centific, Fogsphere, Linker Vision, Milestone Systems und Yuan als Entwickler genannt, die auf Cosmos aufbauen.
Warum ist diese Verbreitung über drei sehr unterschiedliche Branchen hinweg wichtig? Sie ist ein Zeichen dafür, dass ein einziges offenes Grundlagenmodell tatsächlich als gemeinsame Infrastruktur dienen kann, anstatt nur für einen eng gefassten Anwendungsfall zu funktionieren – genau das Argument, das NVIDIA und seine Mitunterzeichner Anfang dieses Jahres in dem offenen Brief vorgebracht haben.
Die NVIDIA-Cosmos-Koalition ist der Mechanismus, der diese Dynamik aufrechterhalten soll. Sie bringt riunendo costruttori di modelli mondiali, sviluppatori di IA e leader dell’IA fisica affinché forniscano modelli, ricerche e metodologie di valutazione zurück in das offene Ökosystem. NVIDIA hat die Koalition kürzlich auf Japan ausgeweitet, wo sich führende Unternehmen aus Robotik und Fertigung anschließen und offene Weltmodelle entwickeln wollen, die auf Fabriken, Logistik, Landwirtschaft, Bauwesen, Gesundheitswesen und Transport zugeschnitten sind. Zusammen mit der bereits laufenden Branchenadoption signalisiert diese Expansion, dass eine offene Modellfamilie zu einer gemeinsamen Grundlage für physische KI wird und nicht nur die proprietäre Wette eines einzelnen Unternehmens bleibt.
FAQ
Was sind offene Weltmodelle und warum sind sie wichtig?
Offene Weltmodelle können auf jede Infrastruktur heruntergeladen, dort geprüft, verändert und ausgeführt werden, was Entwicklern die nötige Anpassungsfähigkeit gibt, physische KI-Anwendungen für einen bestimmten Roboter, ein bestimmtes Fahrzeug oder ein bestimmtes Vision-System zu spezialisieren.
Was unterscheidet physische KI von anderen KI-Typen?
Physische KI erfordert das Verstehen und Vorhersagen von Konsequenzen in realen physischen Umgebungen, nicht nur die Interpretation von Erscheinungen, wie es ein typisches Vision-Modell tut.
Was sind die verschiedenen Varianten von NVIDIA Cosmos 3 und wofür werden sie verwendet?
Cosmos 3 Super (64B) ist für hochpräzises Weltmodellieren ausgelegt, Cosmos 3 Nano (16B) ist für effizientes Schlussfolgern und Post-Training konzipiert, und Cosmos 3 Edge (4B) ist für leichtgewichtige Edge-GPU-Bereitstellungen gedacht, einschließlich auf Robotern mit Jetson-Thor-Hardware.
Wie unterstützt die NVIDIA-Cosmos-Koalition die Entwicklung physischer KI?
Sie fördert die Zusammenarbeit zwischen Weltmodell-Erstellern und KI-Entwicklern weltweit und wurde kürzlich um führende Unternehmen aus Robotik und Fertigung in Japan erweitert, die offene Weltmodelle für Sektoren von der Logistik bis zum Gesundheitswesen entwickeln wollen.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Was sind offene Weltmodelle und warum sind sie wichtig?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Offene Weltmodelle können auf jede Infrastruktur heruntergeladen, dort geprüft, verändert und ausgeführt werden, was Entwicklern die nötige Anpassungsfähigkeit gibt, physische KI-Anwendungen für einen bestimmten Roboter, ein bestimmtes Fahrzeug oder ein bestimmtes Vision-System zu spezialisieren.“}},{„@type“:“Question“,“name“:“Was unterscheidet physische KI von anderen KI-Typen?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Physische KI erfordert das Verstehen und Vorhersagen von Konsequenzen in realen physischen Umgebungen, nicht nur die Interpretation von Erscheinungen, wie es ein typisches Vision-Modell tut.“}},{„@type“:“Question“,“name“:“Was sind die verschiedenen Varianten von NVIDIA Cosmos 3 und wofür werden sie verwendet?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Cosmos 3 Super (64B) ist für hochpräzises Weltmodellieren ausgelegt, Cosmos 3 Nano (16B) ist für effizientes Schlussfolgern und Post-Training konzipiert, und Cosmos 3 Edge (4B) ist für leichtgewichtige Edge-GPU-Bereitstellungen gedacht, einschließlich auf Robotern mit Jetson-Thor-Hardware.“}},{„@type“:“Question“,“name“:“Wie unterstützt die NVIDIA-Cosmos-Koalition die Entwicklung physischer KI?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Sie fördert die Zusammenarbeit zwischen Weltmodell-Erstellern und KI-Entwicklern weltweit und wurde kürzlich um führende Unternehmen aus Robotik und Fertigung in Japan erweitert, die offene Weltmodelle für Sektoren von der Logistik bis zum Gesundheitswesen entwickeln wollen.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.
