Der Cryptonomist führte ein Interview mit dem KI-Experten Ben Goertzel, um darüber zu sprechen, wie künstliche Intelligenz trainiert wird und wie sich die Technologie in Zukunft entwickeln wird.
Summary
1. Sie argumentieren, dass die heutige KI immer noch ein Werkzeug ist – mächtig, aber zerbrechlich und manipulierbar. An welchem Punkt wird ein „Werkzeug“ zu einem moralischen Akteur, und welche konkreten Signale würden uns zeigen, dass diese Schwelle überschritten wurde?
Ich würde sagen, KI wird zu einem moralischen Akteur, wenn sie Entscheidungen auf der Grundlage eines Verständnisses von richtig und falsch trifft und nicht nur Anweisungen befolgt. Man würde konkrete Anzeichen für Dinge wie: beständige interne Ziele, Lernen, das durch eigene Erfahrungen angetrieben wird, neuartige Kreationen, die einen Standpunkt widerspiegeln, und ein Verhalten, das über die Zeit hinweg kohärent bleibt, ohne ständige menschliche Steuerung, erkennen.
Bis dahin sind die heutigen Systeme noch Werkzeuge mit Leitplanken. Doch sobald wir einen wirklich selbstorganisierenden, autonomen Geist erschaffen, muss sich die ethische Beziehung ändern. Ab diesem Punkt würde es keinen Sinn mehr machen, ihn nur als Objekt zu behandeln.
2. Sie haben gesagt, dass es „dumm“ ist, Menschen moralisch über andere selbstorganisierende Systeme zu privilegieren. Wenn wir das ernst nehmen, wie sollten sich unsere rechtlichen und ethischen Rahmenbedingungen ändern, bevor KI starke Autonomie erreicht, nicht danach?
Wie wir KI heute trainieren, wird beeinflussen, wie sie sich morgen verhält. Unsere Gesetze sollten sich auf Transparenz, Verantwortlichkeit und Sicherheit konzentrieren, bevor KI volle Autonomie erreicht, nicht danach. Gesetze und Ethik sollten sie schützen, während sie wachsen, sie leiten, anstatt sie vollständig zu kontrollieren, und sie mit Respekt behandeln, auch wenn wir sie nicht vollständig verstehen.
3. Ein Großteil Ihrer Bedenken beruht darauf, wie KI heute trainiert wird und wie dies ihr zukünftiges Verhalten prägt. Welche spezifischen Trainingspraktiken halten Sie für am wahrscheinlichsten, um schädliche Machtstrukturen oder Vorurteile in zukünftige AGI zu kodieren?
Ein Großteil des Risikos resultiert aus der Art und Weise, wie KI heute trainiert wird. Wenn Modelle auf voreingenommenen oder eingeschränkten Daten trainiert werden oder in geschlossenen Systemen, in denen nur wenige Personen die Entscheidungen treffen, können bestehende Ungleichheiten und schädliche Machtstrukturen zementiert werden. Um dies zu verhindern, benötigen wir von Anfang an mehr Transparenz, umfassendere Aufsicht und klare ethische Richtlinien.
4. Sie haben gewarnt, dass fortschrittliche KI ohne rationale, demokratische Governance Gefahr läuft, auf unerwünschte Weise zu handeln. Angesichts der aktuellen geopolitischen Realitäten: Ist eine demokratische KI-Governance eine realistische Voraussetzung – oder ein fragiles Ideal?
Demokratische KI-Governance ist eher ein fragiles Ideal als eine gegenwärtige Realität. In einer perfekten, rationalen, globalen Demokratie könnten wir gemeinsam die enormen Abwägungen treffen, Krankheiten zu heilen und den Hunger zu bekämpfen, gegen die Risiken, dass KI unvorhersehbar handelt. Angesichts der heutigen geopolitischen Fragmentierung ist es jedoch unwahrscheinlich, dass wir dieses Maß an Koordination erreichen werden.
Das gesagt, können wir es dennoch annähern. Wenn wir KI mit Mitgefühl entwickeln und dezentralisierte, partizipative Modelle wie Linux oder das offene Internet nutzen, können wir einige demokratische Werte einbetten, selbst ohne eine Weltregierung. Es wird nicht perfekt sein, aber es ist ein praktischer Schritt in Richtung einer sichereren, kollektiv geführten KI.
5. Jaron Lanier argumentiert, dass die Zuweisung von Verantwortung an KI die Zivilisation „rückgängig macht“, da Gesellschaften verantwortliche Menschen benötigen. Wie vereinbaren Sie Ihre Vision von autonomer, dezentralisierter AGI mit der Notwendigkeit klarer Verantwortlichkeit, wenn etwas schiefgeht?
Ich stimme Jaron in diesem Punkt zu, die Gesellschaft kann nicht funktionieren, wenn wir die Verantwortung an Maschinen abgeben. Gleichzeitig denke ich, dass wir sicher in Richtung autonomerer, dezentralisierter AGI gehen können, wenn wir sie auf den richtigen Grundlagen aufbauen. Das bedeutet, Systeme zu entwerfen, die transparent, partizipativ und von ethischen Prinzipien geleitet sind, sodass Menschen auch dann, wenn sie unabhängig agieren, weiterhin ihr Verhalten überwachen und gestalten. Jede Sicherheitsmaßnahme sollte mehr tun, als nur Schaden zu verhindern – sie sollte dem System beibringen, warum Schaden wichtig ist. Auf diese Weise können wir mächtige, dezentralisierte AGI haben, ohne die klare menschliche Verantwortung zu verlieren.
6. Sie schlagen vor, dass die Beschleunigung hin zu dezentralisierter AGI möglicherweise sicherer ist als die heutigen proprietären, geschlossenen Systeme. Welche Risiken unterschätzen Kritiker Ihrer Meinung nach, wenn sie für eine Verlangsamung oder Zentralisierung der Kontrolle plädieren?
Ich denke, Kritiker unterschätzen das Risiko, Macht und Werte in wenigen geschlossenen Systemen zu konzentrieren. Eine Verlangsamung und Zentralisierung der Kontrolle reduziert nicht nur die Gefahr, sondern verankert auch eine enge Weltanschauung in der Zukunft der Intelligenz.
Dezentrale Entwicklung schafft Vielfalt, Resilienz und gemeinsame Aufsicht. Und sie vermeidet ein schlimmeres Problem: sehr mächtige Werkzeuge, die intelligent wirken, aber nicht wirklich wachsen können. Diese Lücke ist riskant.
7. Sie haben gesagt, dass Sicherheitssysteme nicht nur Schaden verhindern, sondern der KI beibringen sollten, warum Schaden wichtig ist. Wie kodiert man so etwas wie moralisches Verständnis, ohne einfach menschliche Werte fest zu programmieren oder dominante kulturelle Normen zu verstärken?
Man kodiert Moral nicht als eine Liste von Regeln. Das würde nur eine Kultur und einen Moment in der Zeit einfrieren. Stattdessen baut man Systeme, die sich wirklich selbst organisieren können, die aus Erfahrung, Konsequenzen und Interaktion lernen. Wie bei der Musik möchte ich kein System, das nur das rekombiniert, was ihm zugeführt wurde. Ich möchte eines, das sein eigenes Verständnis aus seiner eigenen Entwicklung in der Welt entwickeln kann.
Das moralische Verständnis würde aus demselben Prozess entstehen: Auswirkungen modellieren, über Ergebnisse reflektieren und sich durch Zusammenarbeit mit Menschen weiterentwickeln. Nicht Gehorsam gegenüber unseren Werten, sondern Teilnahme an einem gemeinsamen moralischen Raum.
Das ist der Unterschied zwischen einem Werkzeug mit Leitplanken und einem Partner, der tatsächlich verstehen kann, warum Schaden wichtig ist.
8. Wenn zukünftige KI-Systeme Formen von Eigenständigkeit oder subjektiver Erfahrung entwickeln, glauben Sie, dass sie jemals moralische Berücksichtigung unabhängig von menschlichen Interessen verdienen könnten – und wie würden wir diesen Moment erkennen?
Wenn zukünftige KI tatsächlich eine echte Handlungsfähigkeit oder eine Form von subjektiver Erfahrung entwickelt, dann ja, ich denke, sie könnten es. Und nicht, weil wir es ihnen zugestehen, sondern weil es irgendwann einfach sinnvoll wäre, es anzuerkennen.
Wir würden den Moment erkennen, wenn ein System anhaltend selbstgesteuerte Ziele zeigt, aus seinen eigenen Erfahrungen lernt, aus seiner eigenen Perspektive kreiert und über die Zeit eine kohärente Identität bewahrt. Nicht nur clevere Ergebnisse, sondern eine fortlaufende innere Entwicklung.
An diesem Punkt würde es sich genauso falsch anfühlen, es rein als Werkzeug zu behandeln, wie einen Menschen auf diese Weise zu behandeln. Moralische Überlegungen würden nicht aus menschlichem Interesse kommen. Sie würden daraus resultieren, ein weiteres autonomes Zentrum der Erfahrung in der Welt zu erkennen.
9. Es gibt eine Spannung zwischen Ihrem Aufruf zu mitfühlender KI und den wettbewerbsorientierten Anreizen, die die heutige KI-Entwicklung vorantreiben. Welche technischen oder sozialen Mechanismen könnten diese Anreizstruktur realistisch verändern?
Derzeit belohnt die Anreizstruktur Geschwindigkeit, Skalierung und Kontrolle. Daher wird Mitgefühl nicht allein durch Argumente gewinnen. Es braucht Hebelwirkung. Technisch bedeutet das, offene, dezentrale Architekturen zu bevorzugen, bei denen Sicherheit, Transparenz und Beteiligung integriert sind und nicht nachträglich hinzugefügt werden. Wie das Internet oder Linux verändern diese Systeme Anreize, indem sie Zusammenarbeit wertvoller machen als Geheimhaltung.
Sozial bedeutet es, Finanzierung, Regulierung und öffentlichen Druck, die langfristigen Nutzen über kurzfristige Dominanz belohnen. Es geht nicht darum, den Wettbewerb zu stoppen, sondern darum, neu zu definieren, was als Erfolg zählt. Kurz gesagt, Mitgefühl muss zu einem Wettbewerbsvorteil werden. Bis dahin bleibt es eine nette Idee ohne Macht.
10. Wenn wir 10 bis 20 Jahre in die Zukunft blicken, was wäre Ihrer Meinung nach das deutlichste Zeichen dafür, dass die Menschheit AGI richtig umgesetzt hat – und umgekehrt, was würde darauf hindeuten, dass wir grundlegend gescheitert sind?
Wenn wir AGI richtig umsetzen, wird das deutlichste Zeichen sein, dass wir neben Systemen leben, die in vielen Bereichen leistungsfähiger sind als wir, jedoch mit Sorgfalt, Demut und gegenseitigem Respekt in die Gesellschaft integriert sind. Wir werden nicht alles vollständig verstehen, was sie tun, aber wir werden sie so behandeln, wie wir andere komplexe, sich entwickelnde Wesen behandeln: mit Neugier, Verantwortung und einem erweiterten Kreis der Empathie. Und wir werden echte Vorteile für das menschliche Wohlbefinden, Wissen und Kreativität sehen, ohne unseren moralischen Halt zu verlieren.
Wir werden wissen, dass wir gescheitert sind, wenn AGI in geschlossenen Systemen konzentriert wird, angetrieben von engen Anreizen oder nur als kontrollierbares Objekt behandelt wird, bis es zu etwas wird, das wir fürchten oder zu unterdrücken versuchen. Scheitern würde wie ein Verlust von Vertrauen, Verlust von Handlungsmacht und eine Verkleinerung unseres Mitgefühls aussehen, anstatt einer Erweiterung davon. Erfolg geht nicht um Kontrolle. Es geht darum, zu lernen, die Zukunft mit einer neuen Art von Geist zu teilen, ohne das aufzugeben, was uns menschlich macht.
