Eine kürzlich von io.net durchgeführte, peer-reviewed Studie hat das Augenmerk auf eine stille Revolution in der Welt der künstlichen Intelligenz gelenkt: die Nutzung von Consumer-GPUs, um die Kosten der KI drastisch zu senken.
Veröffentlicht und akzeptiert von der renommierten 6th International Artificial Intelligence and Blockchain Conference (AIBC 2025), stellt die Forschung „Idle Consumer GPUs as a Complement to Enterprise Hardware for LLM Inference“ den ersten offenen Benchmark für heterogene GPU-Cluster dar, die direkt auf dem dezentralen Cloud von io.net getestet wurden.
Inhalt
Das Herz der Studie: RTX 4090 gegen H100
Im Mittelpunkt der Analyse steht ein Vergleich zwischen den Consumer-GPUs, wie der beliebten Nvidia RTX 4090, und den leistungsstarken Enterprise-GPUs, insbesondere der H100.
Die Ergebnisse sind überraschend: Konfigurationen mit vier RTX 4090 erreichen zwischen 62% und 78% der Rechenleistung der H100, jedoch bei etwa der Hälfte der Betriebskosten. In Bezug auf die wirtschaftliche Effizienz liegt der Kosten pro Million Token bei zwischen $0.111 und $0.149, mit einer Reduzierung von bis zu 75% für Batch-Arbeitslasten oder bei Latenztoleranz.
Effizienz und Nachhaltigkeit: ein mögliches Gleichgewicht
Obwohl die H100 in Bezug auf die Energieeffizienz überlegen bleiben – etwa 3,1-mal mehr pro verarbeitetem Token – hebt die Studie einen oft übersehenen Aspekt hervor: Die Nutzung inaktiver Consumer-GPUs ermöglicht es, die Lebensdauer der Hardware zu verlängern und die Kohlenstoffemissionen zu reduzieren, insbesondere wenn man auf Stromnetze mit einem hohen Anteil an erneuerbaren Energien zurückgreift. Auf diese Weise ist Nachhaltigkeit kein ferner Traum mehr, sondern eine konkrete Chance für diejenigen, die AI-Infrastrukturen entwickeln und verwalten.
Hybrid Routing: der Schlüssel zur Optimierung von Kosten und Leistung
Laut Aline Almeida, Head of Research bei der IOG Foundation und Hauptautorin der Studie, besteht die ideale Lösung nicht darin, zwischen Enterprise- oder Consumer-GPUs zu wählen, sondern eine heterogene Infrastruktur zu übernehmen:
„Das hybride Routing zwischen Enterprise- und Consumer-GPUs bietet ein pragmatisches Gleichgewicht zwischen Leistung, Kosten und Nachhaltigkeit.“
Diese Strategie ermöglicht es Organisationen, sich an ihre eigenen Latenz- und Budgetanforderungen anzupassen und gleichzeitig die Umweltbelastung zu reduzieren.
Praktische Anwendungen: Wo Consumer-GPUs den Unterschied machen
Die Studie hebt hervor, dass Consumer-GPUs besonders geeignet sind für:
- Entwicklung und Test von KI-Modellen
- Batchverarbeitung und Arbeiten mit Latenztoleranz
- Überlaufkapazität zur Bewältigung von Verkehrsspitzen
- Forschung und Entwicklungsumgebungen
- Chat-Streaming und Embedding, bei denen Latenzen zwischen 200 und 500 ms akzeptabel sind
Im Gegensatz dazu bleiben Enterprise-GPUs wie die H100 unschlagbar für Echtzeitanwendungen und halten eine Latenz von unter 55 Millisekunden auch bei hoher Auslastung.
Die Zukunft des KI-Computings ist verteilt und zugänglich
Für Gaurav Sharma, CEO von io.net, stellt diese Forschung eine Bestätigung der Unternehmensvision dar:
„Die peer-reviewed Analyse bestätigt unsere Grundthese: Die Zukunft des Rechnens wird verteilt, heterogen und zugänglich sein. Indem wir sowohl Datacenter- als auch Consumer-Hardware nutzen, können wir den Zugang zu fortschrittlicher KI-Infrastruktur demokratisieren und sie gleichzeitig nachhaltiger gestalten.“
io.net: eine globale Plattform für dezentrale KI
Mit dem größten weltweiten Netzwerk von verteilten GPUs und On-Demand-Hochleistungsrechnern positioniert sich io.net als die Referenzplattform für Entwickler und Organisationen, die Modelle trainieren, Agenten verwalten und LLM-Infrastrukturen skalieren möchten. Die Integration der Programmierbarkeit von io.cloud und dem API-Toolkit von io.intelligence bietet ein umfassendes Ökosystem für AI-Startups jeder Größe.
Wichtige Forschungsergebnisse
- RTX 4090 Konfigurationen: 4 GPUs erreichen 62-78% der H100-Leistung bei halben Kosten, mit dem besten Kosten/Nutzen-Verhältnis pro Million Token.
- Latenz: H100 garantiert Zeiten unter 55 ms auch bei hohen Lasten; Consumer-GPUs sind ideal für Lasten, die Latenzen zwischen 200 und 500 ms tolerieren.
- Nachhaltigkeit: Die Nutzung inaktiver Consumer-GPUs reduziert den CO2-Ausstoß und verlängert die Lebensdauer der Hardware.
- Flexibilität: Die heterogene Infrastruktur ermöglicht es, Kosten und Leistung je nach spezifischen Anforderungen zu optimieren.
Eine neue Ära für die Entwicklung von KI
Die Forschung von io.net markiert einen Wendepunkt für diejenigen, die im Bereich der künstlichen Intelligenz arbeiten. Dank der Integration von Consumer- und Enterprise-GPUs ist es nun möglich, leistungsstarke, kostengünstige und nachhaltige Infrastrukturen zu bauen, ohne signifikante Leistungseinbußen. Eine Gelegenheit, die verspricht, die KI zu demokratisieren und sie einer immer größeren Anzahl von Entwicklern und Organisationen weltweit zugänglich zu machen.




