Der KI-Chatbot Vicuna-13B wurde als Open-Source-Chatbot eingeführt, der durch die Feinabstimmung von LLaMA mit von ShareGPT gesammelten benutzergeteilten Konversationen trainiert wird. Dieser Chatbot wurde einer vorläufigen Bewertung mit GPT-4 als Benchmark unterzogen, die zeigt, dass er im Vergleich zu anderen beliebten Chatbots wie OpenAI ChatGPT und Google Bard eine Qualität von über 90 %* erreicht. Vicuna-13B übertrifft auch andere Modelle wie LLaMA und Stanford Alpaca in mehr als 90 %* der Fälle.
Obwohl Vicuna-13B fast doppelt so groß ist wie Stanford Alpaca, kostet es nur etwa 300 US-Dollar, was die Hälfte der Kosten von Alpaca ist. Denn die ShareGPT-Daten, aus denen Vicuna trainiert wird, sind offen zugänglich, während Stanford seine eigenen Daten über die OpenAI-API generiert. Somit entstehen bei Vicuna nur Schulungskosten. Ähnlich wie das Stanford-Modell wird Vicuna-13B nur für nichtkommerzielle Zwecke zur Verfügung gestellt.
Laut dem Team hinter Vicuna hat der Chatbot nach der Feinabstimmung mit ShareGPT-Daten bei Benchmark-Fragentests deutlich besser strukturierte und detailliertere Antworten gezeigt als Alpaca. Das Team gibt an, dass die Qualität der Antworten des KI-Chatbots Vicuna-13B mit denen von ChatGPT vergleichbar ist.
GPT-4 kann die Ausgaben verschiedener Chatbots vergleichen, aber die Methode wird vom Vicuna-13B-KI-Chatbot-Team als „nicht wissenschaftlich“ angesehen, und weitere Forschung ist notwendig – Bild: LmSys
Um die Leistung des KI-Chatbots Vicuna-13B weiter zu bewerten, verwendet das Team GPT-4, das neueste Modell von OpenAI. GPT-4 ermöglicht es dem Team, verschiedene Chatbots konsistent und detailliert zu klassifizieren und zu bewerten, wodurch eine umfassendere Bewertung der Fähigkeiten von Vicuna bereitgestellt wird.
Was ist der KI-Chatbot Vicuna-13B?
Vicuna ist ein Open-Source-Chatbot, der anhand von rund 70.000 von Nutzern geteilten Konversationen, die von ShareGPT.com über öffentliche APIs erhalten wurden, optimiert wurde. Der KI-Chatbot Vicuna-13B basiert auf LLaMA, das zur Optimierung seiner Leistung verfeinert wurde. Um die Datenqualität sicherzustellen, wandelte das Forschungsteam das HTML-Format wieder in Markdown um und entfernte unangemessene oder qualitativ minderwertige Beispiele. Darüber hinaus segmentierten sie lange Konversationen in kleinere Teile, die zur maximalen Kontextlänge des Modells passen würden.
Das Forschungsteam entwickelte mehrere Verbesserungen an Stanfords Alpaka-Trainingsrezept, um die Leistung von Vicuna zu verbessern. Diese Verbesserungen umfassen:
- Speicheroptimierungen: Das Team erweiterte die maximale Kontextlänge von 512 in Alpaca auf 2048, was ein besseres Verständnis langer Gespräche ermöglichte. Dies führte jedoch zu einem deutlichen Anstieg des GPU-Speicherbedarfs. Um dies abzumildern, verwendete das Team Gradient Checkpointing und Flash Attention, um den Gedächtnisdruck zu bewältigen.
- Gespräche in mehreren Runden: Das Team passte den Trainingsverlust an, um Konversationen in mehreren Runden zu berücksichtigen, und berechnete den Feinabstimmungsverlust nur basierend auf der Ausgabe des Chatbots.
- Kostenreduktion durch Spot Instance: Das Training mit einem 40-fach größeren Datensatz und einer 4-fachen Sequenzlänge stellte eine erhebliche Kostenherausforderung dar. Um die Kosten zu senken, nutzte das Team SkyPilot Managed Spot, das billigere Spot-Instances mit automatischer Wiederherstellung für Preemptions und automatischem Zonenwechsel nutzte.
Die verschiedenen an Vicuna vorgenommenen Optimierungen ermöglichen es dem Chatbot, komplexe Konversationen besser zu verstehen und darauf zu reagieren. Darüber hinaus machen die Kostensenkungsstrategien Vicuna zu einer erschwinglicheren Option für Entwickler und Forscher, die Chatbot-Systeme entwickeln.
Um den KI-Chatbot Vicuna-13B zu trainieren, sammelte das Forschungsteam etwa 70.000 Gespräche von ShareGPT.com, einer Plattform, auf der Benutzer ihre ChatGPT-Gespräche teilen können. Die von Alpaca bereitgestellten Trainingsskripte wurden modifiziert, um lange Sequenzen und Konversationen mit mehreren Runden besser handhaben zu können. Das Team verwendete PyTorch FSDP auf acht A100-GPUs, um Vicuna an nur einem Tag zu trainieren.
Die Demoimplementierung verwendete ein leichtgewichtiges verteiltes Bereitstellungssystem, das mehrere Modelle mithilfe verteilter Worker bedienen kann. Dieses System unterstützt flexible GPU-Worker-Plug-Ins von Cloud-basierten und On-Premise-Clustern. Um die Bereitstellungskosten zu senken, verwendete das Team einen fehlertoleranten Controller und verwaltete Spot-Funktionen in SkyPilot, die kostengünstigere Spot-Instanzen aus mehreren Clouds nutzten.
Wie verwende ich den KI-Chatbot Vicuna-13B?
Sie können den Chatbot Vicuna-13B AI ausprobieren, indem Sie diesen Schritten folgen:
- Gehe zu lmsys.org
- Wählen Sie „vicuna-13b“ aus dem Dropdown-Menü
- Unten sehen Sie ein Feld mit der Aufschrift „Geben Sie Text ein und drücken Sie die EINGABETASTE“.
- Fragen Sie, was Sie wollen, und klicken Sie auf Hochladen.
Das ist es! Es ist erwähnenswert, dass die aktuelle Version von Vicuna ein Demomodell ist und die ursprüngliche Version möglicherweise andere Funktionen aufweist. Daher sollten Benutzer bedenken, dass die Leistung und die Fähigkeiten der veröffentlichten Version von denen des Demomodells abweichen können.
Dennoch bietet das Demomodell wertvolle Einblicke in die potenziellen Fähigkeiten des KI-Chatbots Vicuna-13B und dient als vielversprechendes Beispiel für die Möglichkeiten von Open-Source-Tools.
Wie gut ist der KI-Chatbot Vicuna-13B?
Das Unternehmen präsentierte die Antworten von Alpaka und Vikunja auf ihre Benchmark-Fragen. Nach der Feinabstimmung von Vicuna mit 70.000 von Benutzern geteilten ChatGPT-Gesprächen wurde festgestellt, dass Vicuna in der Lage ist, detailliertere und besser strukturierte Antworten zu generieren als Alpaca. Die Qualität der Antworten des Vicuna-13B AI-Chatbots ist mit denen von ChatGPT vergleichbar.
Unten können Sie die beispielhaften Eingabeaufforderungen und Antworten von beiden Modellen beobachten, die geteilt werden die Dokumentation:
Vicuna-13B KI-Chatbot: „Aloha, Mitreisende! Wenn Sie nach einem tropischen Paradies mit reicher Kultur und atemberaubender Landschaft suchen, sind Sie auf Hawaii genau richtig. Meine kürzliche Reise in den Aloha State war ein unvergessliches Abenteuer voller aufregender kultureller Erlebnisse und Sehenswürdigkeiten, die man gesehen haben muss.
In erster Linie war ich überwältigt von der herzlichen und einladenden Atmosphäre der Hawaiianer. Von dem Moment an, als ich ankam, fühlte ich mich wie zu Hause und wurde von den Einheimischen mit offenen Armen empfangen. Ob es das Hotelpersonal, mein Reiseleiter oder die freundlichen Fremden waren, die ich auf der Straße traf, alle, denen ich begegnete, waren bestrebt, ihre Liebe zu ihrem Heimatstaat zu teilen.
Eine meiner denkwürdigsten kulturellen Erfahrungen war die Teilnahme an einem traditionellen hawaiianischen Luau. Bei dieser festlichen Veranstaltung wurde ich mit einem köstlichen Festmahl der lokalen Küche verwöhnt, darunter Poi, Laulau und Kalua-Schwein, während ich dem hypnotischen Beat des Hula lauschte. Die Tänzer, gekleidet in wunderschöne einheimische Gewänder, erzählten durch ihre Bewegungen Geschichten über die Inseln und ihre Geschichte. Es war wirklich ein magischer Abend, der es mir ermöglichte, mich mit dem reichen Erbe Hawaiis zu verbinden.
Eine weitere sehenswerte Attraktion, die mich beeindruckt hat, war die atemberaubende Schönheit des Haleakala-Nationalparks. Der Park verfügt über einen schlafenden Vulkan, den größten der Insel, der eine atemberaubende Wanderung bei Sonnenaufgang oder Sonnenuntergang bietet. Als die Sonne über dem Horizont aufging, war ich beeindruckt von den leuchtenden Farben und der schroffen Schönheit der Landschaft. Es war eine Erfahrung, die mich wirklich demütigte und die ich nie vergessen werde.
Natürlich wäre keine Reise nach Hawaii komplett, ohne etwas Zeit am Strand zu verbringen. Mit seinem kristallklaren Wasser, dem goldenen Sand und den sanften Wellen war Wailea Beach der perfekte Ort, um sich zu entspannen und die Sonne zu genießen. Egal, ob Sie ein begeisterter Surfer, ein Strandgänger oder einfach nur Entspannung suchen, die Strände Hawaiis werden Ihnen sicher das Herz stehlen.
Zusammenfassend war Hawaii ein wahres Paradies, das alle meine Erwartungen übertroffen hat. Von dem Moment an, als ich aus dem Flugzeug stieg, tauchte ich in eine Kultur ein, die reich, lebendig und voller Leben war. Mit so vielen Sehenswürdigkeiten, die man gesehen haben muss, und unvergesslichen Erlebnissen ist Hawaii das perfekte Reiseziel für jeden Reisenden, der ein bisschen Abenteuer, Kultur und Entspannung sucht. Mahalo fürs Lesen und ich hoffe, Sie bald in Hawaii zu sehen!“
Vergessen Sie nicht, sich unseren ChatGPT-Eingabeaufforderungsvergleich anzusehen, wenn Sie gerne KI-Chatbots untersuchen!
Abschluss
Der KI-Chatbot Vicuna-13B ist ein vielversprechendes Open-Source-Tool, das beeindruckende Fähigkeiten bei der Generierung gut strukturierter und detaillierter Antworten demonstriert und in vielen Fällen einige der bestehenden Modelle übertrifft. Da mehrere Sprachmodelle für verschiedene Chatbots trainiert werden, sieht die Zukunft der Konversations-KI immer interessanter aus.
Das Potenzial für Chatbots, den Kundenservice zu verbessern, personalisierte Erfahrungen zu bieten und verschiedene Aufgaben zu erleichtern, ist enorm, und Vicuna ist ein Beweis für die Leistungsfähigkeit der Open-Source-Zusammenarbeit bei der Erweiterung der Grenzen der Chatbot-Technologie. Da sich die Forschung auf diesem Gebiet weiterentwickelt, können wir noch weitere aufregende Fortschritte bei den Fähigkeiten von Chatbots erwarten.
Source: Was ist der KI-Chatbot Vicuna-13B und wie wird er verwendet?
