Entwickler auf Sui können jetzt auf sui grpc streaming zugreifen, um schnellere und zuverlässigere Indexierungspipelines für Echtzeit-Blockchain-Daten zu erstellen.
Summary
Hybrides Streaming-Modell transformiert den Datenzugriff auf Sui
Die Sui Blockchain hat gRPC-Streaming als primäre Datenquelle für ihre Indexierungsinfrastruktur eingeführt, was die Echtzeitaufnahme von Checkpoints mit minimaler Latenz ermöglicht. Darüber hinaus zielt dieses Design auf Anwendungen ab, die reagieren müssen, sobald Daten finalisiert sind.
Die Plattform kombiniert Streaming-Fähigkeiten mit traditionellen Abfragemethoden, um Datenintegrität und Systemresilienz zu gewährleisten. Dieses hybride Modell ermöglicht den sofortigen Zugriff auf finalisierte Checkpoints und bewahrt gleichzeitig die Abwärtskompatibilität mit bereits auf Sui eingesetzten benutzerdefinierten Indexern.
Das Custom Indexing Framework bildet das Fundament dieser Streaming-First-Architektur, ohne Änderungen an der Checkpoint-Verarbeitung zu erfordern. Teams können jedoch weiterhin auf ihre bestehenden Pipelines setzen und Streaming dort einbinden, wo es greifbare Vorteile bringt.
Streaming beseitigt Abfrageverzögerungen bei der Checkpoint-Aufnahme
Die neue gRPC-Streaming-Funktionalität verändert grundlegend, wie Indexer Blockchain-Daten auf Sui empfangen. Vollständige Knoten senden jetzt Checkpoint-Daten direkt an Indexer, sobald die Finalisierung erfolgt, anstatt auf geplante Abrufe zu warten.
Dieses Push-basierte Modell eliminiert wiederholte Abfragezyklen, die zuvor Verzögerungen zwischen der Erstellung von Checkpoints und der nachgelagerten Verarbeitung einführten. Infolgedessen können latenzempfindliche Tools nahezu in Echtzeit reagieren, ohne komplexe Abfrageintervalle anpassen zu müssen.
Laut der Dokumentation liefert das System „Echtzeit-Checkpoints, sobald sie finalisiert sind“ mit „schnelleren Daten, resilienten Pipelines, weniger Infrastrukturarbeit auf Sui“. Dennoch können Betreiber Sicherheitsnetze konfigurieren, um sich gegen Verbindungsprobleme und Dienstunterbrechungen zu schützen.
Der Streaming-Mechanismus funktioniert über einen einfachen Konfigurationsschritt, bei dem Entwickler ein streaming-url-Argument hinzufügen, das auf einen vollständigen Knoten-Endpunkt verweist. Der Indexer erhält dann Checkpoints als Ereignisströme, anstatt sie in festgelegten Intervallen abzurufen.
Dieses ereignisgesteuerte Modell ist besonders wertvoll für Überwachungssysteme, Echtzeitanalyseplattformen und andere latenzempfindliche Anwendungen. Darüber hinaus vereinfacht es die Infrastruktur, indem es die Notwendigkeit aggressiver Abfragestrategien und damit verbundener betrieblicher Anpassungen reduziert.
Verpflichtende Abfrage-Backups sichern historische Daten
Sui kombiniert Streaming mit verpflichtenden abfragebasierten Backup-Quellen, um die inhärenten Einschränkungen langlebiger Verbindungen zu bewältigen. Ein Streaming-Link liefert nur Daten ab dem Moment, in dem er hergestellt wird, sodass historische Checkpoints weiterhin zusätzliche Mechanismen erfordern.
Der General-Purpose Indexer zeigt dieses hybride Design in der Produktion. Er nutzt Streaming als primären Aufnahmeweg, während er Abfragequellen als Sicherheitsmechanismen für historische Daten und Wiederherstellungsszenarien beibehält.
Diese Konfiguration hält die indizierten Daten aktuell und ermöglicht saubere Neustarts und nahtlose Wiederherstellung nach Ausfällen. Sollte eine Verbindung abbrechen, kann das System vom letzten bekannten Checkpoint aus mit Abfragen fortfahren und dann zum Streaming zurückkehren, sobald die Verbindung stabilisiert ist.
In der Praxis funktioniert dieses hybride Muster ähnlich wie eine sui Checkpoint-Streaming-Backup-Strategie. Entwickler profitieren von den niedrigen Latenzzeiten der gepushten Updates, ohne die Vollständigkeit oder Zuverlässigkeit zu beeinträchtigen.
Framework-Design ermöglicht schrittweise Streaming-Einführung
Das Custom Indexing Framework trennt die Checkpoint-Verarbeitung von der Datenaufnahme. Indexer konsumieren und transformieren Checkpoints über eine einheitliche Schnittstelle, ohne die Logik an spezifische Quellen wie gRPC-Streams oder HTTP-Abfragen zu koppeln.
Diese Abstraktion ermöglicht es Teams, Aufnahme-Strategien zu entwickeln, wenn sich Anforderungen ändern, ohne die Kernverarbeitungskomponenten neu schreiben zu müssen. Darüber hinaus hält es den Code einfacher, indem es die Datenverarbeitungslogik in einer einzigen Schicht konzentriert.
Die Dokumentation stellt fest, dass mit gRPC-Streaming „keine Notwendigkeit besteht, Abfragen durchzuführen, keine Vermutungen über das Timing und keine künstlichen Verzögerungen durch Abrufintervalle eingeführt werden“. Dennoch können Betreiber Abfragen wählen, wo Arbeitslasten keine extrem niedrige Latenz erfordern.
Entwickler können sui grpc streaming schrittweise aktivieren, basierend auf den individuellen Arbeitslastmerkmalen. Anwendungen, die Datenfrische und Echtzeit-Reaktionsfähigkeit priorisieren, profitieren am meisten von der sofortigen Streaming-Einführung.
Im Gegensatz dazu können Systeme, die sich auf Batch-Analysen, Offline-Verarbeitung oder einfachere Workflows konzentrieren, weiterhin nur Abfragekonfigurationen verwenden. Das Framework unterstützt beide Ansätze unter demselben Verarbeitungsmodell und vereinfacht so Multi-Anwendungsumgebungen.
Konfiguration hält Logik stabil, während sich Quellen entwickeln
Bestehende benutzerdefinierte Indexer, die auf dem offiziellen Framework basieren, erfordern minimale Änderungen, um von Streaming zu profitieren. Das Hinzufügen der gRPC-Fähigkeit beinhaltet das Einfügen eines streaming-url-Parameters neben dem bestehenden remote-store-url-Konfigurationswert.
Die Checkpoint-Verarbeitungslogik bleibt während dieses Übergangs unverändert. Darüber hinaus verwaltet das Framework automatisch den Quellwechsel während des Betriebs, sodass Indexer eine konsistente Sicht auf den Netzwerkzustand behalten.
Dieses Design hilft, häufige Ausfallmodi zu verhindern, bei denen Systeme entweder Daten verlieren oder erheblich hinter der Kette zurückbleiben. Das Framework koordiniert die Interaktionen zwischen Streaming und Abfragen und gewährleistet Kontinuität über Neustarts und Netzwerkunterbrechungen hinweg.
Insgesamt bietet Sui’s hybride Streaming- und Abfragearchitektur Echtzeit-Checkpoints, resiliente Pipelines und einen klaren Migrationspfad für Indexer, die eine Aufnahme mit niedriger Latenz suchen, ohne die Zuverlässigkeit zu opfern.
