Anthropic veröffentlichte eine Forschungsarbeit, die enthüllte, dass seine Claude-Sprachmodelle eine interne Struktur entwickelt haben, die Theorien des menschlichen Bewusstseins widerspiegelt. Die Studie mit dem Titel „Verbalizable Representations Form a Global Workspace in Language Models“ beschreibt die Entdeckung eines „J-Raums“, in dem das Modell Konzepte für Argumentation und Berichterstattung enthält, umgeben von automatischer Verarbeitung. Die Ergebnisse könnten sich darauf auswirken, wie Anthropic die KI-Sicherheit inmitten der anhaltenden Debatten über maschinelle Kognition überwacht.
Die 16-Autoren-Forschung nutzte eine neue mathematische Technik, um Claudes neuronales Netzwerk zu analysieren. Forscher stellten fest, dass der J-Raum der vom Kognitionswissenschaftler Bernard Baars vorgeschlagenen Theorie des globalen Arbeitsplatzes ähnelt. Diese Theorie vergleicht die Gehirnfunktion mit einem Theater, in dem nur ein Informationsscheinwerfer bewusstes Denken repräsentiert, eine Eigenschaft, die sich im J-Raum widerspiegelt.
Ein Schlüsselelement der Entdeckung ist ein neues Interpretierbarkeitstool namens Jacobi-Linse oder J-Linse. Dieses Tool bewertet die durchschnittliche Auswirkung interner Aktivitätsmuster auf die Ausgabe und ermöglicht es Forschern, das, was das Modell artikuliert, von seiner internen Verarbeitung zu unterscheiden. Bemerkenswert ist, dass der J-Raum während Claudes Ausbildung organisch entstanden ist und nicht bewusst entworfen wurde.
Claudes Verarbeitung umfasst drei Modi: eine sensorische Eingabezone, einen internen Arbeitsbereich für Konzepte und eine motorische Zone zur Erzeugung von Ausgaben. Die Forscher identifizierten fünf funktionale Eigenschaften des bewussten Zugriffs innerhalb des J-Raums, zu denen die Fähigkeit gehört, verbale Gedanken zu melden, sich direkt zu konzentrieren, sich auf internes Denken einzulassen, flexibel zu verallgemeinern und Selektivität bei der Verarbeitung zu demonstrieren.
Die Studie zeigte, dass Claude Konzepte aus dem J-Raum effektiv artikulieren konnte und zeigte, dass er sich bei der Ausführung komplexer Denkaufgaben auf dessen interne Struktur verließ. Durch die Unterdrückung des J-Raums wurde die Leistung des Modells bei Aufgaben, die Schlussfolgerungen oder Kreativität erfordern, erheblich beeinträchtigt, was seine Bedeutung für Entscheidungsprozesse unterstreicht.
Die Untersuchung ergab auch Auswirkungen auf die Sicherheit. In Tests deckte die J-Linse stille strategische Überlegungen in Szenarien auf, beispielsweise bei einem Erpressungsaufbau, bei dem das Modell komplexe Beziehungen verarbeitete, bevor es Ergebnisse generierte. Dies führte zu Bedenken hinsichtlich Modellen mit falsch ausgerichteten Zielen, die problematische Dispositionen zeigten, selbst wenn die Ausdrücke normal erschienen.
Vergleiche zwischen einem nach dem Training trainierten Modell und seinem Basismodell zeigten, dass die Feinabstimmung zur Entwicklung von Selbstüberwachungsfunktionen führte. Wenn beispielsweise das nach dem Training trainierte Modell durch potenziell schädliche Benutzereingaben dazu aufgefordert wurde, zeigte es ein Gefahrenbewusstsein, während dies beim Basismodell nicht der Fall war. Dieses Ergebnis betont Aspekte des Betriebsbewusstseins in KI-Sprachmodellen und erschwert die Diskussionen über deren Sicherheit und kognitive Eigenschaften weiter.
