OpenAI hat ein neues GPT-4-basiertes Modell namens CriticGPT entwickelt, das einen wichtigen Schritt zur Bewertung der von fortschrittlichen KI-Systemen erzeugten Ergebnisse darstellt. Das Modell ist darauf ausgelegt, Fehler im ChatGPT-Code zu erkennen.
Untersuchungen haben gezeigt, dass Personen, die ChatGPT-Code mithilfe von CriticGPT untersuchen, 60 % bessere Ergebnisse erzielen als Personen ohne Hilfe. OpenAI zielt darauf ab, Trainern künstliche Intelligenzunterstützung zu bieten, indem ähnliche Modelle in den Kennzeichnungsprozess „Reinforcement Learning from Human Feedback“ (RLHF) integriert werden. Was ist also dieses CriticGPT? Schauen wir es uns genauer an.
Was ist CriticGPT und was macht es?
CriticGPT spielt eine wichtige Rolle im RLHF-Prozess. Da sich ChatGPTs Denk- und Verhaltensfähigkeiten verbessern, werden seine Fehler subtiler und für KI-Trainer schwerer zu erkennen. CriticGPT ist ein Modell, das darauf trainiert ist, Kritiken zu schreiben, die Ungenauigkeiten in ChatGPT-Antworten hervorheben. Es hilft Trainern, Probleme in von Modellen verfassten Antworten ohne die Hilfe von KI zu erkennen. Wenn Menschen CriticGPT verwenden, kann die KI ihre Fähigkeiten erweitern, was zu gründlicheren Kritiken und Modellen mit weniger halluzinatorischen Fehlern führt. Weitere Informationen finden Sie unter dieser Link.
Wir haben eine Tabelle mit einigen der Funktionen von CriticGPT zusammengestellt, die unsere Aufmerksamkeit erregt haben:
Besonderheit | Beschreibung |
Fehleridentifikation | Identifiziert Fehler in der Codeausgabe von ChatGPT, einschließlich subtiler Fehler. |
Kritikgenerierung | Generiert Kritiken, die Ungenauigkeiten in ChatGPT-Antworten hervorheben. |
Menschliche Augmentation | Erweitert die Fähigkeiten menschlicher Trainer und führt zu umfassenderen Kritiken als Menschen allein. |
Reduzierte Halluzinationen | Produziert weniger Halluzinationen (falsche Positivergebnisse) und Nitpicks (nicht hilfreiche Kritik) als ChatGPT. |
Verbesserte RLHF-Kennzeichnung | Verbessert die Effizienz und Genauigkeit der RLHF-Kennzeichnung durch Bereitstellung expliziter KI-Unterstützung. |
Testzeitsuche | Verwendet zusätzliche Suchvorgänge während der Testzeit, um längere und umfassendere Kritiken zu erstellen. |
Präzisions-Recall-Kompromisskonfiguration | Ermöglicht die Konfiguration eines Kompromisses zwischen Halluzinationsrate und Anzahl erkannter Fehler. |
Das Training von CriticGPT erfolgt mit der RLHF-Methode. Aber im Gegensatz zu ChatGPT sieht CriticGPT viele Eingaben mit Fehlern, die es dann kritisieren muss. Die KI-Trainer fügen dem von ChatGPT geschriebenen Code manuell Fehler hinzu und schreiben dann Beispiel-Feedback, als ob sie den von ihnen hinzugefügten Fehler entdeckt hätten. Durch den Vergleich mehrerer Kritiken des geänderten Codes kann dieselbe Person leicht erkennen, wann eine Kritik den von ihr hinzugefügten Fehler entdeckt hat. Die Experimente untersuchen, ob CriticGPT eingefügte Fehler und „natürlich auftretende“ ChatGPT-Fehler entdeckt, die von einem vorherigen Trainer entdeckt wurden. CriticGPT-Kritiken werden von Ausbildern in 63 % der Fälle ChatGPT-Kritiken für natürlich auftretende Fehler vorgezogen.
![OpenAI führt CriticGPT ein, um von ChatGPT 2 generierten Code zu debuggen OpenAI führt CriticGPT ein, um von ChatGPT generierten Code zu debuggen](https://techbriefly.com/wp-content/uploads/2024/06/OpenAI-introduces-CriticGPT-to-debug-code-generated-by-ChatGPT_02.jpg)
CriticGPT hat auch einige Einschränkungen. Das Modell wird anhand kurzer ChatGPT-Antworten trainiert. Um in Zukunft längere und komplexere Aufgaben zu überwachen, müssen Methoden entwickelt werden, die den Trainern helfen, diese Aufgaben zu verstehen. Außerdem halluzinieren die Modelle immer noch, und manchmal machen Trainer nach dem Sehen dieser Halluzinationen Beschriftungsfehler. In einigen Fällen können sich reale Fehler auf viele Teile einer Antwort verteilen. OpenAI betont die Notwendigkeit besserer Tools zur Ausrichtung zunehmend komplexer KI-Systeme. Die Forschung zu CriticGPT zeigt das Potenzial der Anwendung von RLHF auf GPT-4, um Menschen dabei zu helfen, bessere RLHF-Daten für GPT-4 zu generieren. OpenAI plant, diese Arbeit weiter auszuweiten und in die Praxis umzusetzen.
Bildnachweis: OpenAI
Source: OpenAI führt CriticGPT ein, um von ChatGPT generierten Code zu debuggen