Michael Kratsios, Wissenschaftsberater des Weißen Hauses, behauptete, dass das chinesische Unternehmen Moonshot sein Kimi-K3-Modell durch das Kopieren von Anthropics Fable LLM gebaut und dabei verbotene Chips für den Export nach China verwendet habe. Kratsios erklärte: „Eine groß angelegte, verdeckte industrielle Destillation mit dem Ziel, proprietäre US-Technologie zu stehlen und die amerikanische Forschung zu untergraben, ist inakzeptabel.“ Angesichts der Bedenken im KI-Sektor dauern die Diskussionen über ein Verbot chinesischer Open-Weight-Modelle an.
Finanzminister Scott Bessent unterstützte Kratsios und behauptete: „Wir finden Wasserzeichen unserer großen US-amerikanischen Sprachmodelle auf vielen chinesischen Modellen, und das ist inakzeptabel.“ Die Art dieser Wasserzeichen bleibt unklar und das Finanzministerium antwortete nicht auf Anfragen.
Experten äußerten Skepsis gegenüber der Vorstellung, dass die Destillation allein die fortschrittlichen Fähigkeiten von Kimi K3 erklären könnte. Braden Hancock, ein Forscher am Laude Institute, bemerkte: „Ich glaube nicht, dass man ein so starkes und so schnelles Modell bekommt, nachdem Fable eine reine Destillation durchführt“, und verwies auf den kurzen Zeitrahmen seit der Veröffentlichung von Fable am 1. Juli. Hancock betonte die Schwierigkeit, derart komplexe Daten innerhalb von zwei Wochen zu destillieren.
Nathan Lambert vom Allen Institute for AI fügte hinzu, dass die Wirksamkeit der Destillation offenbar abnimmt, da chinesische Modelle immer ausgefeilter werden. Er wies darauf hin, dass aktuelle Trainingsmethoden zunehmend auf verstärktes Lernen abzielen, was größere und komplexere Prozesse als die Destillation beinhaltet.
Bei der Destillation muss ein Labor in der Regel ein LLM systematisch abfragen, um Daten für die Nachschulung zu generieren. Dies kann eine überwachte Feinabstimmung beinhalten, bei der ein Modell die Fähigkeiten eines anderen nachahmt. Lambert warnte jedoch davor, dass die Vorteile der überwachten Feinabstimmung mit zunehmender Komplexität der Modelle abnehmen.
Anthropic warf Moonshot, DeepSeek und MiniMax zuvor vor, ihre Modelle zu destillieren, und behauptete, sie hätten ungewöhnliche Abfragemuster entdeckt, die auf eine Fähigkeitsextraktion hindeuten. Im Gegensatz dazu sind Destillationspraktiken in der gesamten KI-Branche anerkannt, wie Elon Musk feststellte, der aussagte, dass SpaceXAI OpenAI-Modelle destilliert habe, um Grok zu erstellen.
In seinen Vorwürfen behauptete Kratsios auch, dass Moonshot in Thailand fortschrittliche Nvidia-Chips und GB300-Server erworben habe, deren Export nach China verboten sei. Sam Bresnick, wissenschaftlicher Mitarbeiter am Georgetown Center for Security and Emerging Technology, wies auf die Existenz eines Schwarzmarkts für solche verbotenen Chips hin.
Bresnick forderte „Know-Your-Customer“-Gesetze für Rechenzentren, die an wichtigen Schulungsmaßnahmen beteiligt sind. Allerdings sind die Fortschritte bei den vom Handelsministerium von Präsident Biden vorgeschlagenen Bundesvorschriften, die darauf abzielten, solche Regeln bis 2024 einzuführen, ins Stocken geraten.
Exporteure von hochentwickelten Chips müssen die Verwendung für genehmigte Zwecke sicherstellen, aber die Durchsetzung in diesem Bereich bleibt eine Herausforderung, wie die jüngste Anklage gegen den Supermicro-Gründer wegen des Schmuggels von hochentwickelten Chips nach China zeigt.
