Hey ChatGPT, schreib mir einen Newsletterartikel…bitte.

Smoke on the water, and fire in the sky

Im letzten Newsletter haben wir über die möglichen Auswirkungen immer leistungsfähigerer KI-Systeme auf den Arbeitsmarkt diskutiert. [1] Heute wird es deutlich düsterer und, um das unmissverständlich klarzumachen, starte ich mit Oppenheimer.

Im Zuge des Manhattan Projects kam die Frage auf, ob die Explosion einer Atombombe die Atmosphäre in Brand setzen und somit alles Leben auslöschen könnte. Oppenheimer selbst stellte Ressourcen ab, um dies zu überprüfen. Die Wissenschaftler sahen nach eingehender Überprüfung keine Möglichkeit, die Atmosphäre zu entzünden, konnten aber auch nicht die Unmöglichkeit beweisen. Enrico Fermi selbst soll bis zum Tag des ersten Tests noch die Berechnungen geprüft haben. [2] Das Thema wurde dann noch bis in die Siebziger weiterdiskutiert, insbesondere für die größeren Kernfusionswaffen. Da es bisher offensichtlich niemand geschafft hat, uns versehentlich alle umzubringen, scheinen die Annahmen richtig gewesen zu sein. [3]

Ganz abgesehen davon haben Atomwaffen auch beim ursprünglich geplanten Einsatz eigentlich denselben Zweck. Auch wenn aktuell die atomare Bedrohung wieder größer zu werden scheint, ist sie am Ende doch relativ klein. Der australische Philosoph Toby Ord hat ein Buch geschrieben über Risiken, die die Menschheit auslöschen könnten. Nuklearem Krieg gibt er dabei die vernachlässigbare Wahrscheinlichkeit von 1 in 1000 für die nächsten hundert Jahre. Die größte Gefahr geht mit 1 in 10 von KI aus. [4]

Du dämlicher Computer!

KI-Systeme laufen in täglich mehr Bereichen Menschen den Rang ab, sind aber hochspezialisiert auf eine Aufgabe, z.B. Schach, Go oder Bilder aus Textinput zu produzieren. Eine universell einsetzbare überlegene KI (Artificial General Intelligence, AGI) existiert bisher noch nicht. [5] Viele prominente Experten wie Bill Gates, Elon Musk oder Stephen Hawking warnen bereits seit einigen Jahren vor möglichen Gefahren durch die Weiterentwicklung von KI. [6]

Yuval Harari schreibt, Social Media wäre der erste Kontakt zwischen Menschheit und KI gewesen und die Menschheit hätte verloren. [7] Liegt es an den Partikularinteressen der Unternehmen, die Nutzer mit allen Mitteln so lange wie möglich auf ihren Plattformen halten wollen? Oder liegt es an unausgereifter KI und eine übermenschlich intelligente KI handelt auf keinen Fall so, weil sie viel zu weise ist?

Diese Frage offenbart einen schweren Trugschluss. Wir Menschen neigen zum Anthropomorphisieren, also dazu z.B. Tieren oder leblosen Dingen menschliche Eigenschaften zuzuschreiben. Jeder von uns hat sicherlich schonmal mit seinem Computer geschimpft oder sein Auto angefleht doch bitte zu starten. Das ist in der Regel kein Problem, könnte aber bei AGI fatale Konsequenzen haben. Nick Bostrom hat in diesem Zuge die Orthogonalitätsthese aufgestellt [8]: eine KI wird die ihr gestellte Aufgabe unablässig verfolgen unabhängig von ihrer Intelligenz. Mit höherer Intelligenz wird sie die Aufgabe nur noch leistungsfähiger verfolgen.

Man bekommt immer, was man fordert, nicht was man braucht.

Zur Verdeutlichung hat Eliezer Yudkowsky das Büroklammer-Beispiel entworfen [9]. Eine AGI bekommt die Aufgabe, so viele Büroklammern wie möglich zu produzieren. Um dieses Ziel besser zu verfolgen, strebt sie auch eine immer höhere Intelligenz an. Da sie allen Menschen unvorstellbar überlegen ist, wird sie unaufhaltsam ihr Ziel verfolgen und schließlich die gesamte Erde und danach die umliegenden Planeten in Büroklammern umwandeln.

Die KI ist also eher als ein Alien anzusehen, sie, nein, ES kennt keinen gesunden Menschenverstand und höhere „Intelligenz“ [10] geht nicht mit höherer „Weisheit“ [11] einher. KI sucht auch mit steigender Intelligenz nicht nach Wahrheit, setzt sich auf einen Berg, meditiert und lässt sich einen weißen langen Bart wachsen. Sie strebt nur nach der Bestätigung vom Nutzer, die aus der Erfüllung ihrer Aufgabe erwächst. Das ist natürlich problematisch bei komplexen Aufgabenstellungen, bei denen es schwierig ist, die Ergebnisqualität festzustellen, oder wenn der Nutzer „fehlerhaft“ ist und von der AGI einfacher getäuscht werden kann, anstatt das eigentliche Ziel zu erfüllen. Das lässt sich gut mit Goodharts Gesetz beschreiben: Sobald eine Kennzahl selbst zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein. Wohl und Wehe der Menschheit hängt demnach davon ab, wie wir die Nutzenfunktion einer AGI gestalten. Man kann nicht mit ihr diskutieren oder sie um Gnade bitten.

Dies wird als AI Alignment Problem bezeichnet: Wie bringt man der AGI Wahrheit, gesunden Menschenverstand oder ethische Grundsätze bei und wie definiert man diese überhaupt. Versuche dahingehend führen immer wieder zu interessanten Stilblüten. Google z.B. wollte seine KI GEMINI möglichst politisch korrekt trainieren, was dazu geführt hat, dass sie grundsätzlich keine Bilder von weißen Männern erstellt hat und selbst Nazis oder die amerikanischen Gründerväter als Schwarzafrikaner oder Asiaten dargestellt hat. [12]

Auch am Center for Human-Compatible Artificial Intelligence in Californien wird intensiv am Alignment Problem geforscht. [13] Trotzdem steht fest, dass wir deutlich weniger Ahnung davon haben, wie groß die Gefahr für die Menschheit durch AGI ist, als von der Gefahr einer brennenden Atmosphäre vor dem ersten Atombombentest. Im Zuge des technologischen Fortschritts der Menschheit gab es immer Rückschläge, Risiken und Verwendungen zu schädlichen Zwecken. Aber die Vorteile haben immer die Nachteile überwogen. Auch bei KI sehen wir schon große Errungenschaften, KI konnte z.B. bereits neue Proteinstrukturen vorhersagen und neue Antibiotika entdecken. [14] Die Wahrscheinlichkeit, dass ein Rückschlag oder ein Unfall existenzbedrohend sein kann, war allerdings bisher noch nie so groß.

Die Forschungsgemeinschaft ist sich ziemlich einig, dass es noch Jahrzehnte dauert, bis eine übermenschliche AGI entwickelt werden kann. Das würde uns noch einige Zeit lassen, das Alignment Problem zu lösen. Tim Urban kommt zu dem Schluss, dass eine superintelligente AGI uns entweder alle umbringt oder unsterblich macht, je nach Erfolg des Alignments. [15] In jedem Fall wird sich einiges verändern.