Yoshua Bengios Sinneswandel

In einem neuen Video lese ich Auszüge aus einem Blogbeitrag vor, in dem der international führende KI-Forscher Yoshua Bengio beschreibt, wie sich seine Einstellung zu den existenziellen Risiken der KI geändert hat. Jedem, der Warnungen vor diesen Risiken als "Hype" oder "Panikmache" abtut, kann ich nur empfehlen, seinen Beitrag zu lesen. Hier meine Übersetzung des vollständigen Textes.

 

Persönliche und psychologische Dimensionen von KI-Forschern im Angesicht katastrophaler KI-Risken

 

Blogbeitrag von Yoshua Bengio, 12.8.2023

 

Am 31. Mai 2023 titelte eine Website der BBC: „KI-Papst Yoshua Bengio fühlt sich angesichts seines Lebenswerks verloren“. Eine solche Aussage habe ich jedoch nie gemacht, weder gegenüber der BBC noch anderen Medien. In diesen Interviews habe ich stattdessen versucht, eine persönliche psychologische Herausforderung zu schildern, mit der ich rang. Ich versuche, hier eine tiefere Erklärung meiner eigenen inneren Suche zu geben, und verknüpfe sie mit einem möglichen Verständnis der deutlichen Meinungsverschiedenheiten zwischen führenden KI-Forschern über bedeutende KI-Risken, insbesondere existenzielle Risiken. Obwohl wir generell rationale Kolleg*innen sind, die humanistische Werte teilen, sind wir sehr unterschiedlicher Meinung: Wie ist das möglich? Ich werde argumentieren, dass wir mehr Bescheidenheit benötigen sowie die Akzeptanz der Möglichkeit, dass wir uns irren, dass wir alle Menschen und somit von kognitiven Verzerrungen betroffen sind und dass wir nichtsdestotrotz vor dem Hintergrund solcher hohen Unsicherheit und mangelndem Konsens weitreichende Entscheidungen treffen müssen.

 

Was ich tatsächlich in dem BBC-Interview sagte, war: „Es ist eine emotionale Herausforderung für die beteiligten Menschen, besonders wenn Sie wie ich selbst Ihre Karriere, Ihre Identität auf der Idee aufgebaut haben, etwas Nützliches und Gutes zur Gesellschaft und zur Wissenschaft beizutragen.“ Was ich damit meinte, war, dass ich dabei war, meine Meinung über etwas sehr Persönliches zu ändern: ob die aktuelle Ausrichtung meiner Arbeit – so schnell wie möglich die Lücke zwischen der besten heutigen KI und menschlicher Intelligenz zu schließen – mit meinen Werten vereinbar war. Ist das tatsächlich hilfreich oder eher gefährlich für die Menschheit angesichts der aktuellen Gesellschaftsstruktur und der Tatsache, dass mächtige Tools wie KI zweischneidig sind, also zum Guten wie zum Schlechten genutzt werden können? Ich bin inzwischen besorgt, dass wir nicht auf einem guten Weg sind und dass wir, um die Chancen der KI zu nutzen und katastrophale Resultate zu vermeiden, wesentliche Veränderungen brauchen, um die Risiken besser zu verstehen und zu  begrenzen.

 

Die meiste Zeit meiner wissenschaftlichen Karriere, die 1986 begann, habe ich mich ausschließlich darauf fokussiert, die Prinzipien der Intelligenz zu verstehen, wie sie in biologischen Lebewesen funktioniert und wie wir künstliche Intelligenz konstruieren könnten. Ich habe auf Grundlage der Hypothese gearbeitet, dass in Analogie zur Physik einige wenige einfache Prinzipien Intelligenz erklären können. Die letzten Jahrzehnte haben Belege für diese Hypothese gebracht, basierend auf der Fähigkeit, aus Daten und Erfahrung zu lernen. Die Prinzipien des Lernens sind viel einfacher als die gewaltige Komplexität intelligenter Systeme – wie zum Beispiel die Milliarden oder Billionen Parameter in sehr großen neuronalen Netzwerken. Die meiste Zeit habe ich nicht über die zweischneidige Natur der Wissenschaft und die Möglichkeit eines Missbrauchs nachgedacht, weil unsere Forschung so weit von menschlichen Fähigkeiten entfernt und rein akademisch war. Bis vor ungefähr zehn Jahren war es eine reine Suche nach Wissen, wunderschön, aber größtenteils losgelöst von der Gesellschaft. Heute denke ich, dass ich in Bezug auf die Zweischneidigkeit falsch lag und kurzsichtig war. Ich glaube außerdem, dass ich der Möglichkeit, dass wir die Kontrolle über übermenschliche künstliche Intelligenz verlieren könnten, nicht genug Aufmerksamkeit geschenkt habe.

 

In der letzten Dekade hat sich KI von einem größtenteils akademischen Fachgebiet zu einer Anwendung mit einer immer größeren und inzwischen dominierenden industriellen Komponente entwickelt. Deep Learning-Technologie wird mehr und mehr angewendet, mit der Aussicht, dass KI in den kommenden Dekaden das Herz des zukünftigen ökonomischen Wachstums werden könnte (zum Beispiel schätzt McKinsey einen Einfluss auf die Wirtschaft in Höhe von ungefähr 20 Billiarden Dollar pro Jahr und Stuart Russell schätzt in seinem 2019 erschienenen Buch 14 Trillionen Dollar an Net Present Value). Diese Transition hat mich dazu gebracht, viel mehr über die sozialen Auswirkungen der KI nachzudenken. Ich habe mich auf das Gute konzentriert, dass KI der Welt bringen könnte – und bereits bringt. Ich arbeitete weiter an fundamentalen Fragen, wie dem Konzept der Attention (das die Transformer-Technologie ermöglichte, die den großen Sprachmodellen zugrunde liegt), und an Anwendungen von KI in der Biomedizin, Medikamentenentwicklung, der Bekämpfung des Klimawandels, und dem Umgang mit Vorurteilen die zu Diskriminierung führen könnten. Ich startete eine Diskussion mit meinen Kolleg*innen in den Geistes- und Sozialwissenschaften über die notwenigen ethischen und rechtlichen Rahmenbedingungen. Dies führte in 2017 und 1018 zu der Montrealer Erklärung zu verantwortlicher KI-Entwicklung, meiner Führungsrolle in der Arbeitsgruppe Verantwortungsvolle KI innerhalb der Global Partnership on AI 2020 bis 2022 und unserer kürzlichen Arbeit mit der UNESCO zu den fehlenden Elementen in der KI-Regulierung (2023).

 

Ich las und evaluierte eine Vorab-Version von Stuart Russells 2019 erschienenem Buch Human Compatible, das mir das mögliche existenzielle Risiko für die Menschheit vor Augen führte, wenn wir die Kontrolle über übermenschliche KI-Systeme verlieren. Ich verstand seine Argumente zur potenziellen Gefahr einer Abweichung des Verhaltens der KI von den menschlichen Intentionen intellektuell, hatte aber noch nicht voll verarbeitet, was das emotional für mich persönlich und für meine Karriere bedeutete. Das Buch zu lesen hatte meine fundamentale Überzeugung nicht verändert, dass wir mit der KI-Forschung auf einem guten Weg waren: gut für die Wissenschaft und gut für die Gesellschaft, mit zu erwartenden positiven Effekten in vielen Bereichen. Ich war überzeugt, dass das Ergebnis positiv sein würde, wenn wir einige Anpassungen vornahmen, zum Beispiel Regulierung zur Vermeidung von Diskriminierung oder einen Bann tödlicher autonomer Waffen. Existenzielle Risiken waren aus meiner Sicht beachtenswert, würden aber erst in ferner Zukunft relevant werden. Ich fühlte mich immer noch gut mit dem Fokus meiner Arbeit, während ich irgendwie wegschaute, sobald es um Möglichkeiten des Missbrauchs oder katastrophale Resultate ging.

 

Damals glaubte ich die Argumente, die momentan immer noch in der KI-Community weit verbreitet sind, diese Risiken als unbedeutend abzutun. KI auf menschlichem Niveau erschien plausibel, aber noch Jahrzehnte oder Jahrhunderte entfernt, und die Systeme, die wir in unseren Laboren trainierten, waren im Vergleich zu Menschen so inkompetent, dass es schwerfiel, sie als Gefahr zu sehen, sowohl in Bezug auf Missbrauch als auch Kontrollverlust. Es erschien offensichtlich, dass wir lange, bevor wir an diesen Punkt kamen, gewaltige soziale Vorteile davon haben würden, die damaligen KI-Systeme sowie verbesserte Versionen davon einzusetzen. Da KI auf menschlichem Niveau noch so weit entfernt schien, glaubten wir, dass sie sich stark von den vorhandenen Methoden unterscheiden würde und es daher schwierig war, Sicherheitsmechanismen für eine noch unbekannte Technologie zu entwickeln. Es kam mir gar nicht in den Sinn, die Frage zu stellen, ob manches Wissen gefährlich sein könnte oder manche Programme besser nicht in die Hände der Allgemeinheit gelangen sollten. Ich dachte, es wäre eine gute Sache, dass sich einige Leute mit KI-Sicherheit beschäftigten, war aber zufrieden damit, meinem Kurs zu folgen und herauszufinden, wie wir das so genannte „System 2“-Denken – zum Beispiel gezieltes Schlussfolgern – in das Deep Learning integrieren konnten. Das war ein Forschungsprogramm, das ich vor etwa zehn Jahren mit meinen Arbeiten zu Attention begonnen hatte.

 

Als ChatGPT veröffentlicht wurde, war es meine spontane Reaktion, nach den Schwächen zu suchen. Wie viele andere fand ich Ausnahmefälle, in denen es inkohärente Ausgaben erzeugte, was darauf hinzudeuten schien, dass es immer noch weit entfernt von den Fähigkeiten des systematischen logischen Denkens war. Innerhalb von ein oder zwei Monaten nach der Veröffentlichung war ich jedoch immer mehr beeindruckt, wie gut das System funktionierte. Mir wurde klar, dass die besten KI-Systeme Sprache weitgehend beherrschten und damit auf einem gewissen statistischen Level im Wesentlichen den Turing Test bestanden. Das war für mich und andere völlig unerwartet. Ich stellte außerdem fest, dass ChatGPT zwar manchmal halluzinierte und in Bezug auf Fakten und seinen eigenen Output inkonsistent war, in vielen Fällen aber Anzeichen von logischem Denken zeigte. Als GPT-4 veröffentlicht wurde, waren Fortschritte im System-2-Denken erkennbar. Dennoch hat sich wahrscheinlich nichts Fundamentales in den zugrundeliegenden technischen Prinzipien geändert, außer dass mehr Zeit, Computerpower und Daten für das Training verwendet wurden. Auf der anderen Seite gab es verschiedene Argument dafür, dass diesen Systemen noch Elemente für das System-2-Denken fehlten, auch in meinen eigenen Veröffentlichungen.

 

Da ich seit mehr als zwei Jahren an einem neuen Ansatz gearbeitet hatte, um große neuronale Netzwerke so zu trainieren, dass sie die Lücke zum System-2-Denken schließen können, begann ich zu ahnen, dass ich meine bisherigen Schätzungen, wann wir KI auf menschlichem Niveau bekommen würden, radikal korrigieren musste. Anstatt in Jahrzehnten oder Jahrhunderten sehe ich diese nun mit 90% Wahrscheinlichkeit innerhalb der nächsten 5-20 Jahre.

 

Und was, wenn es tatsächlich bereits in wenigen Jahren so weit wäre?

 

Neben der Frage des Wann ist der andere wichtige Faktor, was wir erwarten sollten, sehr schön erklärt von Geoffrey Hinton in seinem Vortrag in Cambridge im Mai 2023: Selbst, wenn KI nur die Prinzipien menschlicher Intelligenz nutzt, werden wir automatisch übermenschliche KI-Systeme haben. Das liegt an den Vorteilen der digitalen Hardware gegenüber analoger Wetware: exakte Berechnungen und viel größere Bandbreite zwischen Computern ermöglichen die Übertragung von Wissen zwischen Modellen viele Größenordnungen schneller als bei Menschen. Gesprochene Sprache kann zum Beispiel etwa 39 Bits pro Sekunde übertragen. Die viel schnellere Kommunikation zwischen Computern ermöglicht eine Form der Parallelverarbeitung, die es KI erlaubt, viel schneller und von mehr Daten zu lernen.

 

Im Winter und Frühling 2023 wuchsen meine Sorgen graduell und meine Sicht auf die möglichen Konsequenzen meiner Forschung veränderte sich allmählich. Ich entschied mich, einen offenen Brief zu unterschreiben, der mehr Vorsicht in Bezug auf Systeme, die leistungsfähiger sind als GPT-4, forderte. Mir wurde klar, dass solche Sprachmodelle eine Menge Wissen über die Gesellschaft und über Menschen enthielten, die von Übeltätern in katastrophaler Weise genutzt werden könnten, insbesondere in Bezug auf Demokratie, öffentliche und nationale Sicherheit. Ein entscheidendes technisches Element dabei ist es, dass Prompting und Fine-Tuning ein vermeintlich harmloses System in ein gezielt bösartiges verwandeln können und die dafür benötigten technischen Fähigkeiten reduzieren. Diese Veränderungen können zu dem zu fast keinen Kosten und mit minimalen Daten erzielt werden. AutoGPT hat zudem gezeigt, dass man ein Sprachmodell mit wenig Aufwand in einen zielgerichteten Agenten verwandeln kann, der im Internet agieren kann. Dies machte die Möglichkeit offensichtlich, dass wir in wenigen Jahren auf Basis noch leistungsfähigerer KI katastrophale Ergebnisse haben könnten, entweder aufgrund von Achtlosigkeit, bösem Willen oder weil wir die Kontrolle über hochgradig autonome Systeme verlieren.

 

Ich begann, mehr über KI-Sicherheit zu lesen, und kam zu einer äußerst wichtigen Schlussfolgerung: Wir wissen noch nicht, wie wir einen KI-Agenten kontrollierbar machen und somit die Sicherheit der Menschheit gewährleisten können! Und dennoch veranstalten wir gerade – mich selbst eingeschlossen – ein Wettrennen darum, solche Systeme zu entwickeln.

 

Es ist schwierig, solche Erkenntnisse zu verarbeiten und die Veränderung im Denken umzusetzen, die sie beinhalten. Es ist schwierig, weil das Akzeptieren der logischen Schlussfolgerungen dazu führt, dass wir unsere eigene Rolle, den Wert unserer Arbeit und unseren Selbstwert in Frage stellen. Die meisten von uns wollen sich als grundsätzlich gut ansehen, mit einer wertvollen Aufgabe, die einen positiven Beitrag zu unserer Gesellschaft und Gemeinschaft leistet. Ein solches positives Selbstbild lässt uns in Bezug auf unsere Arbeit gut fühlen und gibt uns Energie und Motivation, um weiterzumachen. Es ist schmerzhaft, sich mit der Idee zu beschäftigen, dass wir zu etwas beigetragen haben, das sehr zerstörerisch sein könnte. Die menschliche Natur bringt uns dazu, solche Gedanken beiseitezuwischen und uns mit beruhigenden Argumenten zu trösten, anstatt uns mit dem ganzen Horror dieser Möglichkeiten auseinanderzusetzen. Die Vorteile der KI auf den Tisch zu legen, reicht jedoch nicht aus, um die möglichen negativen Konsequenzen zu kompensieren, wenn diese katastrophalen Missbrauch der KI, vergleichbar mit einem Atomkrieg oder einer globalen Pandemie, oder gar ein existenzielles Risiko beinhalten.

 

Ich habe einen 20 Monate alten Enkelsohn, den ich sehr liebe und der in meinen Gedanken und Emotionen sehr präsent ist. Die Zukunft ist voller Ungewissheit und ich glaube nicht, zu wissen, wie all dies sich entwickeln wird. Doch ich kann weder die katastrophalen Möglichkeiten rational zurückweisen noch das tiefe Gefühl der Empathie ignorieren, das ich für ihn und die anderen Menschen empfinde, deren Leben tiefgreifend betroffen sein wird, wenn wir damit weitermachen, die Risiken mächtiger Technologie zu leugnen.  Es ist wirklich schrecklich, sich auch nur mit diesen Gedanken zu beschäftigen, und an manchen Tagen wünschte ich, ich könnte sie einfach beiseite wischen. Oder so zu sein, wie ich es vor 2023 war, als diese Gedanken noch nicht so präsent in meinem Bewusstsein waren.

 

Meine eigene Reise in diesen vergangenen Monaten hat meine Neugier auf die psychologischen Faktoren geweckt, die eine Rolle spielen, währen wir alle mit dieser neuen Realität ringen und Szenarien und Möglichkeiten debattieren. Mir ist klar, dass in meinem Denken und meinen Entscheidungen höchstwahrscheinlich kognitive Verzerrungen eine Rolle spielen, wie es bei Menschen generell und auch bei KI-Forschern unseren besten Vorsätzen zum Trotz meistens der Fall ist. Und ich habe ein ehrliches Bedürfnis, zu verstehen, warum es unter KI-Forschern so viele Meinungsverschiedenheiten über die Größenordnung der Risiken und die besten Gegenmaßnahmen gibt, obwohl doch fast alle unglaublich intelligent und engagiert sind. Wie kann das sein? Und wie können wir eine gemeinsame Grundlage finden, von der wir gemeinsam ausgehen können, um sicherzustellen, dass KI der Zukunft der Menschheit nützt?

 

Während wir diese schwierigen Fragen in der Öffentlichkeit und in Person diskutieren (ganz zu schweigen von den fürchterlich polarisierenden sozialen Medien), sollten wir glaube ich im Kopf behalten, dass dabei psychologische Faktoren eine Rolle spielen könnten, wie zum Beispiel unsere Neigung, Bestätigung für die eigenen Annahmen zu suchen oder solche Dinge für wahr zu halten, die uns selbst nützen. Und wir sollten damit vorsichtig sein, allzu selbstsicher Behauptungen aufzustellen. Die Personen auf beiden Seiten dieser Debatten, die eine starke Meinung haben (mich selbst natürlich eingeschlossen) sind aufgefordert, ihre zugrundeliegenden Einstellungen und Emotionen in Bezug auf diese beunruhigenden Fragestellungen zu hinterfragen. Neugier, Offenheit und Bescheidenheit verbessern unsere Fähigkeit, unterschiedliche Sichtweisen zu erkunden und eine mitfühlendere Einstellung zu erlangen, anstatt die Diskussion weiter zu polarisieren und Frustration und Wut gegenüber den Personen, die anderer Meinung sind, anzuheizen.

 

Seine eigene Meinung angesichts neuer Erkenntnisse oder Argumente zu ändern ist wesentlich für den wissenschaftlichen Fortschritt, aber auch, um die Gesellschaft in eine gute Zukunft zu steuern. Je neugieriger und interessierter wir in Bezug auf unsere eigenen Fehler sind, desto mehr lernen wir, wachsen wir, entwickeln wir uns weiter und stärken unsere Fähigkeit, andere und die Welt in einer guten Weise zu beeinflussen. Als KI-Forscher müssen wir diese Verpflichtung zum fortdauernden Hinterfragen beachten und es vermeiden, uns selbst als unerschütterliche Verteidiger eines einzigen Blickwinkels hinzustellen. Die Tendenz, sich trotz eines hohen Maßes an echter Unsicherheit zu sehr auf bestimmte Standpunkte zu versteifen, erinnert daran, wie beim maschinellen Lernen verschiedene Wahrscheinlichkeitsmodelle, die auf dieselben Daten angewandt werden, an Stellen, an denen die Unsicherheit groß ist, stark voneinander abweichen können. Uns selbst und anderen gegenüber akzeptieren zu können, dass wir uns geirrt haben, ist schwierig, aber für den wissenschaftlichen Fortschritt ebenso notwendig wie dafür, einen moralisch gerechtfertigten gemeinsamen Weg zu finden. Interessanterweise entspricht die Bescheidenheit, anzuerkennen, dass wir uns irren könnten, dem bayesianischen Konzept, alle Sichtweisen zu aggregieren – auch die, mit denen wir nicht übereinstimmen –, solange sie den Fakten und der Logik entsprechen. Den kommenden Weltuntergang mit Gewissheit zu prophezeien oder die Sichtweise des anderen als Science-Fiction abzuwerten, ist dagegen nicht mit dieser bayesianischen Unvoreingenommenheit vereinbar.

 

Auch Atomkraft und Weltraumflüge waren Science-Fiction, bevor sie Realität wurden. Wie Allan Dafoe feststellte, kann vorsichtig zu sein für wissenschaftliche Fragen und Entscheidungsfindung etwas sehr Unterschiedliches bedeuten. Dieser Unterschied wird in den Sichtweisen der Physiker Leo Szilard und Enrico Fermi deutlich. Szilard schreibt: „Von Anfang an (ca 1939) gab es eine Trennlinie. Fermi glaubte, der konservative Ansatz wäre es, die Wahrscheinlichkeit einer nuklearen Kettenreaktion herunterzuspielen, Szilard dagegen meinte, es wäre konservativ, davon auszugehen, dass sie passieren würde, und entsprechende Vorsichtsmaßnahmen zu ergreifen.“

 

Leider können wir, um die KI-Debatte abzuschließen, nicht auf mathematische Modelle zurückgreifen, wie sich Forschung, Technologie und Politik in der kommenden Dekade bei verschiedenen Eingriffen entwickeln werden. Wir haben keine Erfahrung darin, mit Maschinen umzugehen, die intelligenter sind als wir, und können somit keine Statistik ableiten, was sicher ist und was nicht. Aber wir können auch nicht abwarten, bis unwiderruflicher Schaden entstanden ist, um dann unseren Kurs zu ändern. KI-Forscher sind es gewohnt, ganz einfach viele Experimente durchzuführen, einschließlich Experimenten mit Kontrollgruppen, und daraus statistische Analysen abzuleiten, bevor sie Schlussfolgerungen ziehen. Hier dagegen müssen wir eine Form des Denkens und der Projektion unter großer Unsicherheit vornehmen, die mehr der Art und Weise ähnelt, wie viele unsere Kolleg*innen in den Sozialwissenschaften arbeiten. Das macht es schwieriger und ungewisser, mögliche Zukünfte zu bewerten. Dennoch können Vernunft und Mitgefühl unsere Gespräche und Handlungen leiten. Als Wissenschaftler sollten wir es vermeiden, Behauptungen aufzustellen, die wir nicht belegen können, aber als Entscheider müssen wir unter Unsicherheit handeln und Vorkehrungen treffen. All unseren unterschiedlichen Sichtweisen zum Trotz wird es Zeit, in unserem Feld der KI ernsthaft die Frage zu diskutieren: Was, wenn wir Erfolg haben? Was, wenn potenziell gefährliche übermenschliche KI-Fähigkeiten früher als erwartet entwickelt werden? Lasst uns diese Herausforderungen ebenso annehmen wie unsere unterschiedlichen Sichtweisen und gleichzeitig achtsam sein in Bezug auf die Menschlichkeit der anderen und unsere besonderen emotionalen und psychologischen Erfahrungen in dieser neuen Ära der KI.