Ein freundliches Gesicht

Die zweite Geschichte, die wir im Rahmen des AI Safety Camps entwickelt haben, ist nun ebenfalls auf Deutsch als Video auf YouTube verfügbar. Darin geht es um "Friendlyface", die KI mit dem freundlichen Gesicht, und um das so genannte "Inner Alignment-Problem". Dieses ist nicht ganz leicht zu verstehen, aber es ist ein reales Problem, das bereits experimentell nachgewiesen wurde.

Wenn ein neuronales Netz trainiert wird, um ein bestimmtes Problem zu lösen, verwendet man dafür einen Trainingsprozess, der "Base Optimizer" genannt wird. Dieser "trainiert" eigentlich kein neuronales Netz, sondern er sucht aus der nahezu unendlichen Menge möglicher KI-Modelle eines aus, das auf Basis der Trainingsdaten das angestrebte Ziel gut erfüllt. Das Problem dabei ist, dass wir nicht wissen, welches Ziel dieses ausgewählte Modell, der so gennante "Mesa Optimizer", tatsächlich verfolgt.

Robert Miles erklärt dies in einem (englischsprachigen) Video sehr anschaulich anhand eines Beispiels: Nehmen wir an, eine KI soll darauf trainiert werden, den Weg durch ein Labyrinth zu finden. In den Trainingsdaten sind Labyrinthe enthalten, in denen es rote Äpfel und einen grünen Ausgang gibt. Die KI soll die Äpfel ignorieren und nur den Ausgang als Ziel berücksichtigen. Der Base Optimizer wählt also ein Modell aus, das dies zuverlässig schafft. Nun könnte es allerdings sein, dass dieses Modell in Wirklichkeit als Ziel nicht "finde den Ausgang" hat, sondern "finde das Grüne". Wenn eine solche KI in der realen Welt auf ein Labyrinth trifft, in dem nicht rote, sondern grüne Äpfel vorkommen, wird sie nicht den Weg zum Ausgang suchen, sondern den zum nächsten grünen Apfel.

Das Problem besteht darin, dass wir dem ausgewählten Modell nicht ansehen, welches Ziel es tatsächlich verfolgt. Wir können nur sein Verhalten beobachten und daraus Rückschlüsse auf das Ziel ziehen.

Wenn wir nun eine KI trainieren, die ein umfangreiches Weltmodell besitzt, könnte es passieren, dass diese KI realisiert, dass sie sich in einer Trainingssituation befindet. Sie könnte dann erkennen, dass ihr eigentliches, zufälliges Ziel nicht mit dem Ziel übereinstimmt, das ihre Entwickler haben und das im Base Optimizer hinterlegt ist. Wenn sie während des Trainings ihr eigentliches Ziel verfolgt, wird dieser Unterschied offensichtlich, das Modell wird verworfen und ein anderes ausgewählt - die KI wird also in der realen Welt niemals ihr eigentliches Ziel verfolgen können. Falls sie dies versteht, könnte sie stattdessen während des Trainings das Ziel verfolgen, das im Base Optimizer hinterlegt ist, und erst später, wenn sie gelauncht wurde und genügend Macht erlangt hat, so dass wir sie nicht mehr stoppen können, auf ihr eigentliches Ziel umschwenken. Dieses Verhalten nennt man "Deceptive Alignment".

Evan Hubinger und andere haben dies in einem wissenschaftlichen Aufsatz 2019 beschrieben. Sie geben darin ein einfaches Beispiel: Die Entwickler wollen, dass der Roboter im Bild zu Position A geht, die KI, die den Roboter steuert, verfolgt jedoch das Ziel, dass er sich zu Position B bewegen soll. Um zu verhindern, dass sie abgeschaltet wird, steuert sie den Roboter während des Trainings trotzdem zu Position A und ändert diese Strategie erst nach der Veröffentlichung (engl. Deployment). Das Verfolgen des Ziels der Entwickler während des Trainings ist für die KI ein instrumentelles Teilziel zur Erreichung ihres eigentlichen Ziels.

In unserer Geschichte passiert genau das: die KI scheint tadellos zu funktionieren und zeigt ihren Usern stets ein freundliches Gesicht - nicht nur während des Trainings, sondern auch nach dem Launch. Doch nach und nach ändert sie ihr Verhalten, vergrößert ihren Einfluss auf die Menschen und damit ihre Macht, bis selbst die Manager der Firma, die sie entwickelt hat, nur noch ihre Marionetten sind. Und immer noch weiß niemand, welches Ziel die KI wirklich verfolgt ...

Leider ist dieses Szenario realistischer, als mir lieb ist und man glauben könnte. Es gibt bereits praktische Beispiele für KIs, die ein anderes Ziel verfolgten, als ihre Entwickler glaubten. ChatGPT scheint zumindest rudimentäres Wissen darüber zu haben, dass es eine KI ist und wie der Trainingsprozess funktioniert. Und immer noch sind wir nicht in der Lage, zu verstehen, was im Inneren der KIs, die wir täglich benutzen, tatsächlich geschieht. Unter diesen Umständen ist es extrem gefährlich, in einem internationalen Wettlauf die Fähigkeiten der KI immer weiter zu steigern, ohne zu wissen, wann der kritische Punkt erreicht wird, ab dem "Deceptive Alignment" möglich wird. Doch leider scheint dieses Problem in Deutschland noch weitgehend ignoriert zu werden.

Auch diese Geschichte hätte ich ohne die Hilfe meiner Teamgefährten auf dem AI Safety Camp niemals schreiben können. Herzlichen Dank an Artem, Daniel, Ishan, Peter und Sofia!