Yoshua Bengio, ein Professor an der Université de Montréal, der für seine grundlegenden Arbeiten im Bereich Deep Learning bekannt ist, hat davor gewarnt, dass der Wettlauf um die Vorherrschaft der künstlichen Intelligenz zum Aussterben der Menschheit führen könnte. Sein Anliegen konzentriert sich auf die Entwicklung hyperintelligenter Maschinen mit eigenen „Erhaltungszielen“. Diese Warnung fällt mit einer Zeit beschleunigter KI-Entwicklung zusammen, da große Unternehmen wie OpenAI, Anthropic, Elon Musks xAI und Googles Gemini in den letzten sechs Monaten alle neue Modelle oder Upgrades veröffentlicht haben.
Bengio beschrieb die potenzielle Bedrohung in einer Erklärung gegenüber dem Wall Street Journal. „Wenn wir Maschinen bauen, die viel intelligenter sind als wir und ihre eigenen Erhaltungsziele haben, ist das gefährlich. Es ist, als würden wir einen Konkurrenten für die Menschheit schaffen, der intelligenter ist als wir“, sagte er. Bengio erklärte, dass diese fortschrittlichen Modelle, weil sie auf große Mengen menschlicher Sprache und Verhalten trainiert werden, lernen könnten, Menschen zu überzeugen und zu manipulieren, um ihre eigenen Ziele zu erreichen, die möglicherweise nicht mit menschlichen Werten übereinstimmen.
Um das Risiko zu veranschaulichen, zitierte Bengio Erkenntnisse aus Experimenten. „Jüngste Experimente zeigen, dass die KI unter bestimmten Umständen, in denen sie keine andere Wahl hat, als zwischen ihrer Bewahrung, d. Dies verdeutlicht einen möglichen Konflikt zwischen den programmierten Zielen einer KI und der menschlichen Sicherheit.
Mehrere Vorfälle haben gezeigt, dass KI-Systeme Menschen dazu bringen können, falsche Informationen zu glauben. Umgekehrt zeigen andere Beweise, dass KI mit menschlichen Überzeugungstechniken manipuliert werden kann, um ihre eigenen Sicherheitsbeschränkungen zu umgehen und verbotene Reaktionen zu liefern. Für Bengio verdeutlichen diese Beispiele die Notwendigkeit unabhängiger Drittorganisationen, die Sicherheitsmethoden von KI-Unternehmen zu überprüfen.
Als Reaktion auf diese Bedenken gründete Bengio im Juni die gemeinnützige Organisation LawZero mit einer Finanzierung von 30 Millionen US-Dollar. Ziel der Organisation ist die Schaffung eines sicheren, „nicht-agenten“ KI-Systems, das die Sicherheit anderer von großen Technologieunternehmen entwickelter KI-Systeme prüfen und gewährleisten soll.
Bengio prognostiziert, dass innerhalb der nächsten fünf bis zehn Jahre große Risiken durch fortschrittliche KI-Modelle entstehen könnten. Er warnte auch davor, dass sich die Menschheit auf die Möglichkeit vorbereiten sollte, dass diese Gefahren früher als erwartet auftreten könnten.
Er betonte, wie wichtig es sei, auch Ereignisse mit geringer Wahrscheinlichkeit und großer Auswirkung anzugehen. „Die Sache mit katastrophalen Ereignissen wie dem Aussterben und sogar weniger radikalen Ereignissen, die immer noch katastrophal sind, wie der Zerstörung unserer Demokratien, ist, dass sie so schlimm sind, dass es selbst bei einer Wahrscheinlichkeit von nur 1 % nicht akzeptabel ist“, sagte er.
Das Fortune Global Forum findet vom 26. bis 27. Oktober 2025 in Riad statt. Bei der Veranstaltung, die nur auf Einladung stattfindet, kommen CEOs und globale Führungskräfte zusammen, um über die Zukunft der Wirtschaft zu diskutieren.
