OpenAI stellte seinen ersten maßgeschneiderten Inferenzprozessor vor, Jalapeño, der in Zusammenarbeit mit Broadcom entwickelt wurde. Der Prozessor, der speziell für die Inferenzsysteme von OpenAI entwickelt wurde, wurde durch firmeneigene KI-Modelle unterstützt, so das Unternehmen.
Jalapeño wird derzeit getestet. Erste Ergebnisse deuten auf eine deutlich bessere Leistung pro Watt im Vergleich zu aktuellen, hochmodernen Alternativen hin. Die Partnerschaft mit Broadcom wurde im Oktober offiziell bekannt gegeben, wobei weiterhin Spekulationen darüber bestehen, dass sie darauf abzielt, die Abhängigkeit von OpenAI von Nvidias GPUs zu verringern.
Ähnlich wie OpenAI haben auch Google und Amazon benutzerdefinierte Chips namens „KI-Beschleuniger“ entwickelt, um die Leistung des maschinellen Lernens zu verbessern. OpenAI-Präsident Greg Brockman diskutierte kurz nach Bekanntgabe der Broadcom-Partnerschaft in einem Podcast die Chip-Entwicklungsstrategie des Unternehmens.
„Wir haben ein tiefes Verständnis für die Arbeitsbelastung“, sagte Brockman. „Wir haben wirklich nach bestimmten Arbeitslasten gesucht, die unterversorgt sind, [und uns gefragt], wie wir etwas aufbauen können, das das Mögliche beschleunigen kann?“
Der Jalapeño-Prozessor ist für Inferenz optimiert, was die Ausführung vorgefertigter KI-Modelle als Reaktion auf Benutzerbefehle beinhaltet. OpenAI betonte die niedrigen Betriebskosten des Chips für Echtzeit-Codierungsmodelle. Leistungsintensivere Aufgaben wie das Vortraining werden wahrscheinlich weiterhin auf Nvidia-Hardware angewiesen sein, aber geringere Inferenzkosten könnten sich positiv auf die Finanzen von OpenAI auswirken.
Die Optimierung von Inferenzsystemen kann für die zukünftige Wirtschaftlichkeit der KI von entscheidender Bedeutung sein. OpenAI konzentriert sich auf die Entwicklung verschiedener Agentenprodukte, einschließlich Codex, sowie auf die für die Bereitstellung erforderlichen Rechenzentren. Die Umstellung auf kundenspezifische Chips ermöglicht es dem Unternehmen, seine Infrastruktur weiter zu verbessern.
„OpenAI entwickelt nicht nur Grenzmodelle oder baut darauf aufbauende Produkte auf; es entwirft auch die Infrastruktur darunter: Chip-Architektur, Kernel, Speichersysteme, Netzwerk, Planung, Bereitstellungssysteme und Produkterfahrung“, erklärte das Unternehmen. „Da OpenAI stapelübergreifend arbeitet, kann jede Ebene im Hinblick auf das gleiche Ziel optimiert werden: ihre Modelle schneller, zuverlässiger und für Benutzer erschwinglicher zu machen.“
