Elon Musks xAI Corp. hat Colossus auf den Markt gebracht, ein leistungsstarkes KI-Trainingssystem. Musk kündigte dies in einem aktuellen Beitrag auf X an, das früher als Twitter bekannt war. Das neue System, das 100.000 Nvidia-Grafikkarten verwendet, ist ein großer Schritt nach vorne für xAI und die KI-Community.
Das Colossus-System verwendet Nvidias H100-Grafikkarten, die seit 2022 der Standard für die KI-Verarbeitung sind. Das System ist eines der fortschrittlichsten KI-Trainingssysteme, die je gebaut wurden. Musk sagt, das neue System sei das „leistungsstärkste KI-Trainingssystem der Welt“. Es könnte sogar die schnellsten Supercomputer übertreffen, wie etwa Aurora des US-Energieministeriums.
Dieses Wochenende, der @xAI Team hat unseren Colossus 100k H100-Trainingscluster online gebracht. Von Anfang bis Ende dauerte es 122 Tage.
Colossus ist das leistungsstärkste KI-Trainingssystem der Welt. Darüber hinaus wird es seine Größe in wenigen Monaten auf 200.000 (50.000 H200) verdoppeln.
Exzellent…
– Elon Musk (@elonmusk) 2. September 2024
Die treibende Kraft hinter Colossus‘ Macht
Die Rechenleistung des Colossus-Systems stammt von Nvidias H100-Chips. Diese Chips gehören zu den leistungsstärksten in der KI-Branche und sind für das Training großer Sprachmodelle konzipiert. Die H100 Transformator-Engine Das Modul ist eine Reihe von Schaltkreisen, die für die Ausführung von KI-Modellen optimiert sind und auf der Transformer-Neuralnetzarchitektur basieren. Diese Architektur wird in vielen Top-KI-Modellen verwendet, darunter Metas Llama 3.1 405B und OpenAIs GPT-4.
Musks xAI Corp. hat eine 6 Milliarden Dollar Investitionund erhöhte seine Bewertung auf 24 Milliarden US-Dollar. Diese Finanzierung ist Teil von Musks Bemühungen, mit OpenAI zu konkurrieren, einem Unternehmen, das er wegen Vertragsbruch verklagt. Das Colossus-System ist schneller als der Aurora-Supercomputer des US-Energieministeriums. Es verwendet Nvidias fortschrittliche H100-Grafikkarten. Die neueren H200-Chips bieten Verbesserungen, darunter eine Verschiebung von HBM3-zu-HBM3e-Speicher und eine Erhöhung der Onboard-Speicherkapazität auf 141 GigabyteEinige der Chips, die Colossus antreiben, waren ursprünglich für Tesla bestimmt.
Video vom Inneren von Cortex heute, dem riesigen neuen KI-Trainings-Supercluster, der im Tesla-Hauptquartier in Austin gebaut wird, um KI-Probleme in der realen Welt zu lösen pic.twitter.com/DwJVUWUrb5
– Elon Musk (@elonmusk) 26. August 2024
Das System verfügt über mehr als 100.000 Chips. Musk plant, die Anzahl der Chips des Systems auf 200.000 zu verdoppeln, wobei 50.000 davon die neueren, schnelleren H200-Prozessoren sein werden. Der H200 ist eine verbesserte Version des H100. Er verfügt über zwei neue Funktionen, die ihn schneller und leistungsfähiger machen. Diese Upgrades erleichtern Colossus die Handhabung komplexer KI-Modelle.
Mit dem Fortschritt von xAI KI-TechnologieDas neue System wird der Schlüssel zur Entwicklung von Sprachmodellen der nächsten Generation sein. Das Hauptmodell des Unternehmens, Grok-2, wurde mit 15.000 GPUs trainiert. Mit der Leistung der 100.000 Chips von Colossus können noch fortschrittlichere Modelle erstellt werden. xAI plant, bis Ende des Jahres ein neues Modell herauszubringen.
Neben seinen bahnbrechenden KI-Entwicklungen unterstreicht die Verwendung von Nvidia-Hardware durch xAI die wachsende Nachfrage nach leistungsstarken KI-Verarbeitungskapazitäten in verschiedenen Branchen. Die Tatsache, dass einige der in Colossus verwendeten Chips ursprünglich für Tesla bestimmt waren, unterstreicht die Bedeutung dieser Technologie in Musks umfassenderer Vision noch weiter.
Bildnachweis: Furkan Demirkaya / Dall-E
Source: Colossus schließt sich mit Elon Musks xAI und Nvidia zusammen
