Große KI-Modelle auszuführen bedeutet in der Regel, die Hardware anderer zu mieten, deren Preisgestaltung zu akzeptieren und darauf zu hoffen, dass sich das Modell, von dem man abhängt, nicht über Nacht stillschweigend ändert. Mesh LLM basiert auf einer anderen Prämisse: dass verteiltes KI-Computing über Maschinen, die Sie bereits besitzen, dieses gesamte Arrangement ersetzen kann – und es über eine einzige, vertraute API zugänglich macht.
Summary
Wichtigste Erkenntnisse
- Mesh LLM bündelt GPUs und Speicher mehrerer Maschinen zu einem einzigen verteilten KI-Computing-Mesh, das über eine OpenAI-kompatible API unter localhost:9337/v1 erreichbar ist.
- Modelle können lokal ausgeführt, an einen Peer weitergeleitet oder mithilfe eines Pipeline-Modus namens „Skippy“ über mehrere Maschinen aufgeteilt werden – ohne dass der Client den Unterschied bemerkt.
- Das Netzwerk stützt sich auf iroh-Endpunkte, die öffentlich-schlüssel-authentifizierte, NAT-überwindende QUIC-Verbindungen herstellen, ohne dass ein zentraler Server erforderlich ist.
- Der Modellkatalog wird mit mehr als 40 Modellen ausgeliefert, von Modellen mit weniger als einer Milliarde Parametern bis hin zu Mixture-of-Experts-Architekturen mit 235 Milliarden Parametern.
- Sowohl die Teilnahme an einem öffentlichen Mesh als auch private Deployments werden unterstützt; eine mobile App auf Basis des Swift-SDKs von iroh ist in Entwicklung.
Mesh LLM ermöglicht verteiltes KI-Computing mit gebündelten GPUs
Die Kernidee ist trügerisch einfach. Mesh LLM bündelt die GPUs und den Speicher, die sich über so viele Maschinen verteilen, wie Sie hinzufügen möchten – eine Workstation in einem Raum, ein Server in einem anderen, eine Maschine am anderen Ende des Büros – und präsentiert das Ganze als eine einheitliche Rechenoberfläche. Für die Client-Anwendungen, die sich damit verbinden, ist keine Neukonfiguration erforderlich.
Das ist wichtig, weil die Hardware bereits existiert. Teams, die KI-Workloads ausführen, haben oft GPUs über Büros, unter Schreibtischen und in kleinen Serverräumen verteilt. Was gefehlt hat, ist eine Schicht, die diese Maschinen wie eine einzige Instanz agieren lässt.
OpenAI-kompatible API-Abstraktion
Die Schnittstelle, die Mesh LLM bereitstellt, ist bewusst vertraut. Jeder OpenAI-kompatible Client kann auf http://localhost:9337/v1 zeigen und Anfragen exakt so senden, wie er es an einen gehosteten Cloud-Dienst tun würde. Aus Sicht des Clients ändert sich nichts. Wo die Arbeit tatsächlich ausgeführt wird – lokal, auf einer Peer-Maschine oder verteilt über mehrere – bleibt vollständig unsichtbar.
Dies ist eine bedeutsame Designentscheidung. Sie bedeutet, dass bestehende Tools, Workflows und Integrationen nicht neu geschrieben werden müssen. Die verteilte Natur des Mesh ist ein Implementierungsdetail, über das der Client nie nachdenken muss.
Flexible Ausführungsmodi, einschließlich der „Skippy“-Pipeline
Wenn eine Anfrage eintrifft, hat Mesh LLM drei Möglichkeiten, sie zu bearbeiten. Es kann das Modell lokal auf der GPU der empfangenden Maschine ausführen, die Anfrage an einen Peer weiterleiten, der das Zielmodell bereits geladen hat, oder – für Modelle, die zu groß für eine einzelne Maschine sind – die Arbeitslast sequentiell über mehrere Knoten aufteilen. Dieser dritte Weg wird „Skippy“-Modus genannt.
Wie Skippy große Modelle über Maschinen aufteilt
Skippy partitioniert ein Modell nach Layer-Bereichen in Pipeline-Stufen: Layer 0 bis 15 könnten auf einem Knoten laufen, 16 bis 31 auf dem nächsten und so weiter entlang der Kette. Aktivierungen fließen von Stufe zu Stufe durch das Mesh. Die praktische Folge ist, dass ein Cluster aus bescheidenen Maschinen gemeinsam ein Modell ausführen kann, das keine von ihnen allein in den Speicher laden könnte.
Hier wird der architektonische Anspruch von Mesh LLM deutlich. Ein Mixture-of-Experts-Modell mit 235 Milliarden Parametern ist nichts, was die meisten Teams auf einer einzelnen Consumer- oder Prosumer-GPU ausführen können. Skippy macht es möglich, genau das zu versuchen – mit Hardware, die bereits bezahlt ist und ungenutzt herumsteht. Die Latenz- und Durchsatzcharakteristika eines solchen Setups werden hier nicht quantifiziert, aber die Fähigkeit an sich stellt eine bedeutende Erweiterung dessen dar, was selbstgehostete KI leisten kann.
Sichere Peer-to-Peer-Netzwerkarchitektur mit iroh-Endpunkten
Es gibt keinen zentralen Server, der das Mesh koordiniert. Jeder Knoten startet einen iroh-Endpunkt – einen öffentlichen Schlüssel, der sowohl als Identität des Knotens als auch als einzige Netzwerkschnittstelle dient. Auf dieser Grundlage übernimmt iroh Hole-Punching, NAT-Traversal und Relay-Fallback, um direkte, authentifizierte QUIC-Verbindungen zwischen beliebigen zwei Knoten herzustellen, egal wo sie sich befinden.
QUIC-ALPN-Protokolle zur Verkehrstrennung
Der Protokoll-Stack ist bewusst segmentiert. Drei unterschiedliche QUIC-ALPN-Bezeichner trennen verschiedene Arten von Traffic:
- mesh-llm/1 – der Haupt-Mesh-Kanal, der Gossip, Routing, HTTP-Tunnel und Plugin-Ereignisse transportiert
- mesh-llm-control/1 – die Owner-Control-Plane, die Konfigurationsabgleich und Eigentumsbestätigung übernimmt
- skippy-stage/2 – ein dedizierter, latenzsensitiver Transport für Aktivierungsdaten, die zwischen Pipeline-Stufen fließen
Innerhalb der Hauptverbindung ist jeder Stream mit einem führenden Byte gekennzeichnet, das seinen Typ identifiziert – Gossip, Inferenz-Proxying, Routenabfragen, Peer-Lifecycle-Ereignisse, Plugin-RPC-Kanäle und mehr – alles multiplexed über eine einzige Verbindung. Der Effekt ist eine saubere Verkehrstrennung ohne den Overhead separater Verbindungen für jedes Anliegen.
Knotenidentität und NAT-Traversal
Um Knoten zu unterstützen, die sich nicht direkt über das offene Internet erreichen können, betreibt Mesh LLM zwei iroh-Relay-Server in unterschiedlichen geografischen Regionen. Knoten, die direkte Pfade aufbauen können, tun dies; diejenigen, die es nicht können, haben stets ein nahegelegenes Fallback. Die Netzwerkschicht ist also so ausgelegt, dass sie einfach funktioniert – statt eine sorgfältige Firewall-Konfiguration oder statische Adressierung zu erfordern.
Was diese Architektur tatsächlich bringt, ist eine Art Netzwerk-Uniformität. Ob eine Anfrage zu localhost geroutet wird oder Aktivierungen über eine Skippy-Pipeline zu einer Maschine auf einem anderen Kontinent streamt – das zugrunde liegende Primitive ist dasselbe: eine authentifizierte QUIC-Verbindung, adressiert über einen öffentlichen Schlüssel. Die Komplexität der physischen Topologie verschwindet hinter einer konsistenten Abstraktion.
Ein Modellkatalog von Laptop-Größe bis zu 235B-Parameter-Giganten
Mesh LLM wird mit mehr als 40 Modellen ausgeliefert. Die Bandbreite reicht von Modellen mit einer halben Milliarde Parametern, die klein genug sind, um auf einem Laptop zu laufen, bis hin zu Mixture-of-Experts-Architekturen mit 235 Milliarden Parametern am oberen Ende. Die Architektur ist erweiterbar: Plugins deklarieren ihre Fähigkeiten in einem Manifest, und die Laufzeit leitet Aufrufe weiter und stellt Fähigkeiten über MCP, HTTP, Inferenz und Mesh-Ereignisse bereit.
Die praktische Folge ist, dass Nutzer nicht separat Modelle beschaffen und konfigurieren müssen, um loszulegen. Der Katalog deckt das gesamte Spektrum an Anwendungsfällen ab – von leichter, schneller Inferenz auf bescheidener Hardware bis hin zu großskaligen Workloads, die über ein Mesh verteilt sind.
Verteiltes Computing als Gegenbewegung
Das Design von Mesh LLM steht vor einem sichtbaren Hintergrund: Zentralisierte KI-Infrastruktur stößt auf spürbare Reibung. Eine Umfrage vom Mai ergab, dass über 70 Prozent der US-Amerikaner den Bau neuer Rechenzentren in der Nähe ihrer Gemeinden ablehnen und dabei Verschmutzung, Lärm und Energie– sowie Wasserverbrauch als Gründe anführen. Das Solar- und Energieunternehmen Sunrun hat kürzlich ein Pilotprogramm gestartet, um kleine Compute-Knoten in den Häusern von Kunden zu platzieren, mit dem Ziel, diese verteilte Rechenleistung an Enterprise-KI-Käufer zu verkaufen – ein Zeichen dafür, dass die Branche selbst nach Alternativen zu großen, konsolidierten Rechenzentren sucht.
Mesh LLM nähert sich demselben Druck aus einem anderen Blickwinkel. Anstatt neue verteilte Infrastruktur von Grund auf zu bauen, aktiviert es Rechenleistung, die bereits existiert – GPUs, die Teams besitzen, aber nicht voll ausschöpfen können, weil keine kohärente Schicht sie miteinander verbunden hat. Der Fokus darauf, Lock-in bei zentralen Anbietern zu vermeiden, Kosten zu senken und die Kontrolle der Nutzer darüber zu bewahren, wo Modelle laufen und wohin Daten gehen, spiegelt eine echte Lücke in dem wider, was bestehende Cloud-APIs bieten können.
Eine mobile App auf Basis des Swift-SDKs von iroh befindet sich in Entwicklung, mit Plänen zur Unterstützung des aufkommenden ACP-Agentenstandards. Das würde es anderen Clients ermöglichen, direkt dem Mesh beizutreten und die Netzwerkeffekte jedes Knotens zu verstärken, der online geht. Die längerfristige Richtung ist klar: mehr Peer-to-Peer-Ausführung, weniger Vermittler und ein offener Standard für Agenten-Interoperabilität, der nicht über den zentralen Server irgendeines Anbieters läuft.
FAQ
Wie ermöglicht Mesh LLM verteiltes KI-Computing?
Mesh LLM bündelt GPUs und Speicher mehrerer Maschinen in einem Mesh-Netzwerk und stellt das gesamte verteilte Setup dann als eine einzige OpenAI-kompatible API bereit. Clients verbinden sich mit localhost:9337/v1 und interagieren wie gewohnt, während das Mesh entscheidet, ob Anfragen lokal ausgeführt, an einen Peer weitergeleitet oder über mehrere Maschinen aufgeteilt werden.
Welche Ausführungsmodi unterstützt Mesh LLM für KI-Modelle?
Modelle können lokal auf der GPU einer Maschine laufen, an einen Peer weitergeleitet werden, der das Modell bereits geladen hat, oder über mehrere Maschinen mithilfe des „Skippy“-Pipeline-Modus aufgeteilt werden, bei dem ein Modell nach Layer-Bereichen partitioniert wird und Aktivierungen von Stufe zu Stufe durch das Mesh fließen.
Wie wird die sichere Vernetzung in Mesh LLM gehandhabt?
Jeder Knoten betreibt einen iroh-Endpunkt, der öffentlich-schlüssel-authentifizierte QUIC-Verbindungen mit NAT-Traversal und Relay-Fallback herstellt, ohne sich auf einen zentralen Server zu stützen. Zwei regionale iroh-Relays bieten Fallback-Pfade für Knoten, die sich nicht direkt verbinden können.
Welche Modelle sind über Mesh LLM verfügbar?
Mesh LLM wird mit über 40 Modellen ausgeliefert, von kleinen Modellen mit einer halben Milliarde Parametern, die sich für Laptops eignen, bis hin zu sehr großen Mixture-of-Experts-Modellen mit 235 Milliarden Parametern, die für Skippy-Deployments über mehrere Maschinen gedacht sind.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Wie ermöglicht Mesh LLM verteiltes KI-Computing?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Mesh LLM bündelt GPUs und Speicher mehrerer Maschinen in einem Mesh-Netzwerk und stellt das gesamte verteilte Setup dann als eine einzige OpenAI-kompatible API bereit. Clients verbinden sich mit localhost:9337/v1 und interagieren wie gewohnt, während das Mesh entscheidet, ob Anfragen lokal ausgeführt, an einen Peer weitergeleitet oder über mehrere Maschinen aufgeteilt werden.“}},{„@type“:“Question“,“name“:“Welche Ausführungsmodi unterstützt Mesh LLM für KI-Modelle?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Modelle können lokal auf der GPU einer Maschine laufen, an einen Peer weitergeleitet werden, der das Modell bereits geladen hat, oder über mehrere Maschinen mithilfe des „Skippy“-Pipeline-Modus aufgeteilt werden, bei dem ein Modell nach Layer-Bereichen partitioniert wird und Aktivierungen von Stufe zu Stufe durch das Mesh fließen.“}},{„@type“:“Question“,“name“:“Wie wird die sichere Vernetzung in Mesh LLM gehandhabt?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Jeder Knoten betreibt einen iroh-Endpunkt, der öffentlich-schlüssel-authentifizierte QUIC-Verbindungen mit NAT-Traversal und Relay-Fallback herstellt, ohne sich auf einen zentralen Server zu stützen. Zwei regionale iroh-Relays bieten Fallback-Pfade für Knoten, die sich nicht direkt verbinden können.“}},{„@type“:“Question“,“name“:“Welche Modelle sind über Mesh LLM verfügbar?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Mesh LLM wird mit über 40 Modellen ausgeliefert, von kleinen Modellen mit einer halben Milliarde Parametern, die sich für Laptops eignen, bis hin zu sehr großen Mixture-of-Experts-Modellen mit 235 Milliarden Parametern, die für Skippy-Deployments über mehrere Maschinen gedacht sind.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.
