Anthropic hat kein technisches Papier zu Claude Mythos veröffentlicht, was Kye Gomez dazu veranlasste, OpenMythos, ein Open-Source-Projekt auf GitHub, zu starten. OpenMythos wurde entwickelt, um die Claude Mythos-Architektur unter Verwendung erster Prinzipien in PyTorch zu rekonstruieren.
Das Projekt schlägt vor, dass es sich bei Claude Mythos um eine Art Architektur handelt, die als Recurrent-Depth Transformers (RDTs) bekannt ist und sich grundlegend von herkömmlichen Transformatoren unterscheidet. Standardtransformatoren verarbeiten Eingaben über eine Reihe einzigartiger Schichten mit unabhängigen Gewichtungen, während RDTs während eines einzelnen Vorwärtsdurchlaufs iterativ einen festen Satz von Gewichtungen anwenden.
Diese Methodik ermöglicht es, die Argumentationstiefe von der Anzahl der zum Inferenzzeitpunkt ausgeführten Iterationen abzuhängen. OpenMythos verfügt über eine dreiteilige Struktur: Prelude, Recurrent Block und Coda, wobei Prelude und Coda jeweils aus Standardtransformatorschichten bestehen, die einmal ausgeführt werden, und der Recurrent Block bis zu 16 Mal wiederholt werden kann.
Bei jedem Schleifenschritt wird der verborgene Zustand gemäß der Gleichung aktualisiert: ht+1 = A·ht + B·e + Transformer(ht, e). Hier stellt e die codierte Eingabe aus dem Prelude dar, die in jeder Iteration erneut eingefügt wird, um die Kontinuität aufrechtzuerhalten. Die Matrizen A und B bestimmen, wie stark der vorherige verborgene Zustand und die codierte Eingabe den nächsten Zustand beeinflussen.
Der Recurrent Block beinhaltet eine Mixture-of-Experts (MoE)-Schicht, die selektiv eine Teilmenge von Experten pro Token aktiviert und so die Rechenvielfalt erleichtert. Bei jeder Iteration wird eine andere Auswahl an Experten verwendet, was unterschiedliche Berechnungen bei gemeinsamer Basisgewichtung ermöglicht.
OpenMythos verwendet außerdem Multi-Latent Attention, was die KV-Speichernutzung erheblich reduziert. Diese Architektur ermöglicht das Denken ohne Zwischen-Token-Emission, im Gegensatz zur Standard-Gedankenkettenaufforderung, bei der das Denken über Zwischen-Tokens verarbeitet wird.
OpenMythos geht auf häufige Trainingsherausforderungen ein, die mit Schleifenmodellen verbunden sind, wie etwa Stabilitätsprobleme wie Restexplosion und Überdenken. Die Stabilität wird aufrechterhalten, indem sichergestellt wird, dass der Spektralradius der Matrix A kleiner als 1 bleibt, wie in der Parcae-Architektur angegeben.
Das Anhalten der dynamischen adaptiven Rechenzeit (ACT) wird implementiert, um die Stoppkriterien für die Schleife basierend auf der Token-Komplexität zu bestimmen. Depth-Wise LoRA-Adapter werden auch verwendet, um pro Iteration einzigartige Verhaltensweisen zu erzeugen und so die Erhöhung der Parameter zu minimieren.
Untersuchungen legen nahe, dass ein RDT mit 770 Millionen Parametern eine Leistung bieten kann, die einem Standardtransformator mit 1,3 Milliarden Parametern entspricht. Dies weist darauf hin, dass die Argumentationstiefe mit der Inferenzberechnung skaliert und bestehende Paradigmen über die Beziehung zwischen Parameteranzahl und Modellfähigkeit in Frage stellt.
OpenMythos bietet eine praktische Implementierung zur Erforschung der Dynamik und der Argumentationstiefe von Schleifentransformatoren und kann möglicherweise zukünftige Fortschritte in der KI-Entwicklung leiten. Das Projekt bietet eine konfigurierbare PyTorch-Implementierung, eine LTI-stabile wiederkehrende Injektion, tiefe LoRA-Adapter und eine reproduzierbare Forschungsgrundlage.
Gomez erklärte: „Unabhängig davon, ob Mythos tatsächlich ein RDT ist oder nicht, bietet OpenMythos konkrete Ressourcen für die Forschungsgemeinschaft, um diese wenig erforschte Architekturklasse und ihre Auswirkungen auf die KI zu untersuchen.“
