Einen vertrauenswürdigen KI-Maritime-Agenten zu bauen, hat sich als weit mehr eine Frage des Systemdesigns als der Modellauswahl herausgestellt. Das ist die zentrale Erkenntnis, die Skylight aus der Entwicklung von Shippy gezogen hat, einem KI-Agenten, der speziell für Echtzeit-maritime Lagebilder entwickelt wurde – ein Bereich, in dem eine falsche Antwort nicht nur einen Nutzer frustriert, sondern ein Patrouillenboot Meilen vom Kurs abbringen, knappe Ressourcen aufbrauchen und potenziell Personal gefährden kann.
Summary
Wichtigste Erkenntnisse
- Shippy ist ein von Skylight entwickelter KI-Agent für Echtzeit-Marine-Lagebilder, der Abfragen zu Schiffsverhalten, AWZ- und MPA-Grenzen sowie Schiffsverläufen ermöglicht.
- Seine Architektur ist um drei Komponenten herum strukturiert: eine Seele (System-Prompt), Fähigkeiten (Aufgabenbearbeitung) und Konfiguration (Laufeinstellungen einschließlich der Nutzung von Claude Opus 4.6).
- Shippy kommuniziert über ein speziell entwickeltes deterministisches CLI mit der Skylight-API und eliminiert damit die Fehlermuster, die auftraten, als das Modell rohe API-Aufrufe direkt konstruierte.
- Jede Benutzersitzung läuft in einer dedizierten Kubernetes-Sandbox, die von Mothership bereitgestellt wird, was eine vollständige Datenisolierung über Hunderte von Regierungs- und NGO-Kunden von Skylight hinweg sicherstellt.
- Die Evaluierung basiert auf einem auf Aufgaben und Bewertungsrastern beruhenden Rahmenwerk, bei dem ein LLM-Richter Antworten anhand von Live-Daten bewertet – ein bewusster Bruch mit statischen Benchmarks.
Warum maritime Lagebilder die Zuverlässigkeitsanforderungen erhöhen
Die meisten KI-Tools arbeiten in Umgebungen, in denen eine mittelmäßige Antwort lediglich wenig hilfreich ist. Maritime Operationen sind anders. Skylight bedient Hunderte von Regierungsbehörden und NGOs in mehr als 70 Ländern, von der Fischereiaufsicht bis zur Überwachung von Schutzgebieten. Wenn ein Analyst in diesem Kontext fragt, ob Schiffe illegal innerhalb eines Meeresschutzgebiets operieren, sind die Konsequenzen einer halluzinierten oder ungenauen Antwort unmittelbar und operativ.
Dieser Kontext prägte jede Architekturentscheidung hinter Shippy. Die Frage, zu der das Skylight-Team immer wieder zurückkehrte, war nicht „Was kann das Modell?“, sondern „Wie bauen wir ein System, dem wir vertrauen können, korrekt zu sein, innerhalb seiner Grenzen zu bleiben und in einem breiten Aufgabenspektrum standzuhalten?“ Alles musste gegen die Live-Daten von Skylight verifiziert werden, die kontinuierlich aktualisiert werden, wenn neue Satelliten- und Schiffssignale eintreffen.
Shippys Architektur: Seele, Fähigkeiten und Konfiguration
Skylight beschreibt den KI-Maritime-Agenten Shippy über drei unterschiedliche Ebenen: eine Seele, Fähigkeiten und Konfiguration. Die Unterscheidung ist wichtiger, als es zunächst scheint.
Die Seele ist der System-Prompt – sie definiert Shippys Persona und setzt harte Verhaltensgrenzen. Was Shippy tun wird und vor allem, was nicht. Die Seele ist explizit und prüfbar: Shippy trifft keine rechtlichen Feststellungen darüber, ob ein Schiff gegen Gesetze verstößt, und spekuliert nicht über das hinaus, was die Daten hergeben. Das sind keine weichen Leitplanken, die ins Fine-Tuning eingebettet sind; sie sind direkt in den System-Prompt geschrieben, was sie leicht überprüf- und anpassbar macht.
Fähigkeiten sagen Shippy, wie bestimmte Anfragearten zu behandeln sind. Sie folgen derselben Agent-Skills-Spezifikation, die von Coding-Tools wie Claude Code und Codex verwendet wird – einfache Markdown-Dateien mit strukturiertem Frontmatter, wodurch jede Fähigkeit versioniert und verständlich bleibt. Shippys aktueller Fähigkeitssatz umfasst:
- Abfragen der Skylight-API nach Schiffsverhalten und -ereignissen (Fischerei, Umladung zwischen Schiffen)
- Nachschlagen von Grenzen der Ausschließlichen Wirtschaftszone (AWZ) und von Meeresschutzgebieten (MPA)
- Interpretation von Schiffsverlaufdaten und Positionssignalen auf Basis von Aktivitätsklassifizierungen, die bereits von Skylights eigenen Modellen erzeugt werden
- Erzeugung interaktiver Kartenlinks, damit Analysten von einer Chat-Antwort direkt zu einem exakten Ort in der Skylight-Karte springen können
Eine einzelne Nutzerfrage kann mehrere Fähigkeiten gleichzeitig aktivieren. Fragt man, ob Schiffe in der Nähe des MPA Cordillera de Coiba operieren, greift Shippy in einer einzigen Dialogrunde auf Skylights Datenabfrage-Fähigkeit, die Grenzdatenbank von ProtectedSeas und die Fähigkeit zur Interpretation von Schiffsverläufen zurück.
Konfiguration und die Modellfrage
Die Konfigurationsebene kümmert sich um alles, was zur Laufzeit geschieht: welcher Agent-Harness ausgeführt wird, welches LLM verwendet wird und eingespielte Geheimnisse wie API-Schlüssel. Shippy läuft derzeit auf Claude Opus 4.6 als großem Sprachmodell. Wichtig ist, dass der Austausch des zugrunde liegenden Modells eine Konfigurationsänderung und kein Neubau ist – die Seele und die Fähigkeiten sind unabhängig davon in ein Docker-Image eingebettet, was dem Team die Flexibilität gibt, unterschiedliche Anfragearten im Laufe der Systementwicklung an verschiedene Modelle zu routen.
Deterministische Werkzeuge für einen nichtdeterministischen Agenten
Eine der lehrreicheren frühen Erfahrungen entstand daraus, Shippy rohe API-Aufrufe direkt konstruieren zu lassen. Das Ergebnis war ein stetiger Strom subtiler Fehler: fehlerhafte Paginierung, die stillschweigend Ergebnisse ausließ, Geometrie-Codierungsfehler und Abfragen, die korrekt aussahen, aber falsche Daten zurückgaben, weil Filtertypen missverstanden wurden. Die Skylight-API hat Dutzende von Eingabetypen, verschachtelte Filterobjekte, Paginierungs-Cursor und komplexe Geometrieeingaben – eine Art Oberfläche, die modellgenerierte Fehler geradezu einlädt.
Die Lösung war ein speziell entwickeltes deterministisches CLI. Anstatt rohe API-Aufrufe zu konstruieren, gibt Shippy einen einzigen Befehl aus – zum Beispiel skylight events search mit typisierten Filter-Flags – und das CLI übernimmt Authentifizierung, Paginierung und strukturierte Ausgabe. Das CLI ist selbstdokumentierend, mit ausführlichen Hilfetexten und Fehlermeldungen, die es dem Agenten ermöglichen, sich von Fehlern zu erholen, ohne zu raten. Ergebnisse werden immer in eine lokale JSON-Datei geschrieben, anstatt durch die Shell gepiped zu werden, wodurch Pipe-Puffergrenzen umgangen werden, die in frühen Prototypen bei großen Ergebnismengen Probleme verursachten.
Das Schichtdesign – typisierte API, deterministisches CLI, Agent-Fähigkeiten, die auf CLI-Befehle verweisen – bedeutet, dass jede Komponente unabhängig getestet werden kann. Jede Schicht reduziert, was die nächste Schicht falsch machen kann. Dies ist die Art von architektonischer Disziplin, die einen Forschungsprototyp von einem produktiven System in einem Hochrisikobereich unterscheidet.
Kubernetes-Sandboxing und die Herausforderung der Datenisolierung
Die Nutzerbasis von Skylight umfasst Regierungsbehörden mit sensiblen, jurisdiktionsspezifischen Daten. Ein Fischereibeamter auf den Philippinen hat Beobachtungslisten, Interessengebiete und Alarmkonfigurationen, die auf sein eigenes Konto beschränkt sind. Sicherzustellen, dass seine Daten niemals in die Sitzung eines anderen Nutzers gelangen – und dass sein Gesprächsverlauf vollständig privat bleibt – war einer der bedeutendsten technischen Aufwände des Projekts.
Die Lösung ist Mothership, Skylights Plattform zum Hosten von Agenten. Mothership stellt für jede Benutzersitzung ein dediziertes Kubernetes-Deployment bereit. Wenn ein Gespräch geöffnet wird, startet das System eine Reihe von Pods, die die Agenten-Laufzeitumgebung, seine Fähigkeiten und das Skylight-CLI bündeln. Das JWT-Token des Nutzers wird bei der Bereitstellung injiziert und begrenzt alle API-Aufrufe auf die Daten dieses Nutzers. Dateien, die der Agent während einer mehrstufigen Analyse schreibt, existieren nur innerhalb dieser Sitzung und sind niemals nutzerübergreifend zugänglich.
Innerhalb der Sandbox behält der Agent beträchtliche operative Fähigkeiten – er kann Code schreiben und ausführen, Abhängigkeiten installieren, Datensätze einbinden und mehrstufige Analysen durchführen. Auf Netzwerkebene ist die Sandbox auf nur die Dienste beschränkt, die sie benötigt. Die Isolierung ist sitzungsbezogen, flüchtig und wird auf Infrastrukturebene erzwungen, anstatt sich ausschließlich auf Anwendungslogik zu stützen.
Bewertung eines Agenten in realen Einsatzkontexten
Standard-KI-Benchmarks bewerten Modelle anhand statischer Fragensätze. Sie erfassen nicht, was passiert, wenn ein Agent in einen realen Arbeitsablauf eingebunden ist – wie er Werkzeuge auswählt, Live-Daten abfragt, auf die Ergebnisse reagiert und weiß, wann er aufhören muss. Skylight hat aus genau diesem Grund ein maßgeschneidertes Evaluierungssystem aufgebaut.
Ein rasterbasiertes Rahmenwerk mit einem LLM-Richter
Im Evaluierungsrahmen von Skylight schreiben Fachexperten Szenarien und Bewertungsraster, legen fest, welche Kriterien auf welche Aufgabe zutreffen, und setzen die Gewichtungen. Eine Abfrage zu Fischerei-Ereignissen gewichtet beispielsweise die Datengenauigkeit am stärksten, gefolgt von Grenzauflösung und Zeitraum, während Quellenangaben weniger Gewicht tragen. Experten annotieren außerdem einzelne Antworten als korrekt oder inkorrekt und liefern dem Richter so eine Ground-Truth-Basis für die Bewertung.
Die Pipeline schickt einen natürlichsprachlichen Prompt durch die Live-Sandbox, und ein LLM-Richter bewertet jedes Kriterium auf einer Skala von 0 bis 1 mit schriftlicher Begründung, warum die Antwort das Kriterium erfüllt hat oder nicht. Der gewichtete Gesamtwert wird dann mit einem festen Bestehensschwellenwert abgeglichen. Aufgaben laufen über Harbor, ein offenes Evaluierungsframework, mittels eines von Skylight entwickelten Plugins, das eine echte Shippy-Sitzung gegen dieselben Live-Daten startet, denen auch ein Nutzer begegnen würde.
Die Ergebnisse jüngster Evaluierungsläufe verweisen auf spezifische, umsetzbare Fehlermuster. Bei Aufgaben zur Patrouillenplanung überschritt Shippy seine Rolle, indem es taktische Empfehlungen aussprach, anstatt innerhalb der Grenzen der Entscheidungsunterstützung zu bleiben. Geometrieempfindliche Abfragen legten verpasste Ereignisse offen, die durch Grenzvereinfachung verursacht wurden. Und in einem Fall generierte der Agent einen CLI-Befehl, den es nicht gab. Jedes Muster lässt sich direkt einem Verbesserungsziel für eine Fähigkeit zuordnen – genau das, was ein gut gestaltetes Evaluierungssystem liefern soll.
Wie es mit Shippy weitergeht – und darüber hinaus
Skylight öffnet Shippy schrittweise für Early Adopters und lädt ausdrücklich zum Stresstest ein, um schwache Leitplanken und schlecht behandelte Abfragen aufzudecken. Der nächste Entwicklungszyklus zielt auf drei Bereiche: agentengesteuerte UI-Kontrolle (Übergang von der Rückgabe von Kartenlinks zur direkten Steuerung der Skylight-Karte, Anwendung von Filtern und Anpassung von Zeiträumen); Modell-Routing (Weiterleitung einfacher Nachschlagen-Aufgaben an kleinere, schnellere Modelle, während das vollgewichtige Modell komplexen Untersuchungen vorbehalten bleibt); und threadübergreifender Speicher (Übernahme persistenter Fakten wie die Zuständigkeit eines Analysten oder bevorzugte Quellen über separate Gesprächs-Threads hinweg).
Die weiterreichenden Implikationen gehen weit über maritime Anwendungen hinaus. Mothership wurde domänenagnostisch konzipiert, und Skylights Mutterorganisation Ai2 wendet die aus Shippy gewonnenen Erkenntnisse bereits auf EarthRanger, seine Plattform für Naturschutz, und OlmoEarth, seine offene Suite von Erdbeobachtungstools, an. Die Architektur – Seele, Fähigkeiten, Konfiguration, deterministische Werkzeuge, sitzungsisolierte Sandbox und Live-Daten-Evaluierung – stellt einen Bauplan für den Einsatz von KI-Agenten in jedem Bereich dar, in dem die Kosten einer falschen Antwort in etwas anderem als Nutzerfrustration gemessen werden.
FAQ
Wofür wurde Shippy entwickelt?
Shippy ist ein von Skylight entwickelter KI-Agent für Echtzeit-Marine-Lagebilder. Er hilft Analysten, Schiffsverhalten abzufragen, Grenzen von Ausschließlichen Wirtschaftszonen und Meeresschutzgebieten nachzuschlagen, Schiffsverlaufdaten zu interpretieren und interaktive Kartenlinks zu erzeugen, die direkt mit Skylights Live-Datenplattform verknüpft sind.
Wie stellt Shippy die Zuverlässigkeit bei der Beantwortung von Anfragen sicher?
Shippy verwendet ein deterministisches CLI, um alle Skylight-API-Aufrufe zu handhaben, und vermeidet so die Fehlermuster, die auftraten, als das Modell rohe API-Aufrufe direkt konstruierte. In Kombination mit einer modularen Architektur – Seele, Fähigkeiten und Konfiguration – und strikten Verhaltensgrenzen im System-Prompt priorisiert das Design vorhersehbares, prüfbares Verhalten gegenüber Flexibilität.
Wie wird Shippy auf Genauigkeit und Zuverlässigkeit hin bewertet?
Skylight hat ein eigenes Evaluierungsframework aufgebaut, in dem Fachexperten Aufgabenszenarien und gewichtete Bewertungsraster schreiben. Ein LLM-Richter bewertet jede Agentenantwort anhand von Live-Daten auf einer Skala von 0 bis 1 pro Kriterium mit schriftlicher Begründung. Der gewichtete Gesamtwert wird mit einem festen Bestehensschwellenwert abgeglichen, und jede Version von Shippy, die bei den Evaluierungskriterien zurückfällt, gelangt nicht zu Endnutzern.
Trifft Shippy rechtliche Bewertungen zu Schiffsaktivitäten?
Nein. Shippy vermeidet ausdrücklich, rechtliche Feststellungen darüber zu treffen, ob ein Schiff gegen ein Gesetz verstößt, und spekuliert nicht über das hinaus, was die Daten hergeben. Diese Entscheidungen bleiben menschlichen Analysten vorbehalten. Diese Grenzen sind direkt in den System-Prompt geschrieben – wodurch sie prüf- und anpassbar sind – anstatt implizit im Modell-Fine-Tuning zu liegen.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Wofür wurde Shippy entwickelt?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Shippy ist ein von Skylight entwickelter KI-Agent für Echtzeit-Marine-Lagebilder. Er hilft Analysten, Schiffsverhalten abzufragen, Grenzen von Ausschließlichen Wirtschaftszonen und Meeresschutzgebieten nachzuschlagen, Schiffsverlaufdaten zu interpretieren und interaktive Kartenlinks zu erzeugen, die direkt mit Skylights Live-Datenplattform verknüpft sind.“}},{„@type“:“Question“,“name“:“Wie stellt Shippy die Zuverlässigkeit bei der Beantwortung von Anfragen sicher?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Shippy verwendet ein deterministisches CLI, um alle Skylight-API-Aufrufe zu handhaben, und vermeidet so die Fehlermuster, die auftraten, als das Modell rohe API-Aufrufe direkt konstruierte. In Kombination mit einer modularen Architektur – Seele, Fähigkeiten und Konfiguration – und strikten Verhaltensgrenzen im System-Prompt priorisiert das Design vorhersehbares, prüfbares Verhalten gegenüber Flexibilität.“}},{„@type“:“Question“,“name“:“Wie wird Shippy auf Genauigkeit und Zuverlässigkeit hin bewertet?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Skylight hat ein eigenes Evaluierungsframework aufgebaut, in dem Fachexperten Aufgabenszenarien und gewichtete Bewertungsraster schreiben. Ein LLM-Richter bewertet jede Agentenantwort anhand von Live-Daten auf einer Skala von 0 bis 1 pro Kriterium mit schriftlicher Begründung. Der gewichtete Gesamtwert wird mit einem festen Bestehensschwellenwert abgeglichen, und jede Version von Shippy, die bei den Evaluierungskriterien zurückfällt, gelangt nicht zu Endnutzern.“}},{„@type“:“Question“,“name“:“Trifft Shippy rechtliche Bewertungen zu Schiffsaktivitäten?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Nein. Shippy vermeidet ausdrücklich, rechtliche Feststellungen darüber zu treffen, ob ein Schiff gegen ein Gesetz verstößt, und spekuliert nicht über das hinaus, was die Daten hergeben. Diese Entscheidungen bleiben menschlichen Analysten vorbehalten. Diese Grenzen sind direkt in den System-Prompt geschrieben – wodurch sie prüf- und anpassbar sind – anstatt implizit im Modell-Fine-Tuning zu liegen.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.
