In einem von der australischen Regierung durchgeführten Experiment wurde künstliche Intelligenz (KI) mit menschlicher Intelligenz beim Zusammenfassen komplexer Dokumente verglichen, wobei sich der Mensch in allen Aspekten als effektiver erwies.
Durchgeführt von der australischen Unternehmensaufsichtsbehörde, der Wertpapier- und Investitionskommission (ASIC) zielte die Forschung darauf ab, die Effizienz künstlicher Intelligenz bei Aufgaben zu bewerten, die normalerweise sorgfältige Analyse und Konzentration erfordern. Basierend auf den Ergebnissen könnte KI mehr Arbeit verursachen, anstatt sie zu reduzieren.
KI kann mit menschlichen Prüfern nicht mithalten
Anfang des Jahres testete Amazon verschiedene KI-Modelle verschiedener Hersteller und unterstützte damit die australische Regierung bei dieses Experiment. Letztendlich entschied man sich für Metas Llama2-70B für diese Aufgabe. Die KI sollte fünf Eingaben aus einer parlamentarischen Untersuchung zusammenfassen und sich dabei auf Erwähnungen von ASIC, Empfehlungen, Verweise auf Regulierungen und andere wichtige Details konzentrieren. Gleichzeitig wurde zehn Menschen unterschiedlicher Dienstaltersstufe – ASIC-Mitarbeiter – dieselbe Aufgabe übertragen. Diese Gruppe von Gutachtern, die nichts von der Beteiligung der KI wussten, bewertete die Zusammenfassungen auf Kohärenz, Länge, Relevanz und Genauigkeit der Verweise auf Regulierungen.
Die menschlichen Teilnehmer übertrafen die KI bei weitem und erzielten eine beeindruckende 81 % auf der Bewertungsskala, im Vergleich zu 47 % für die KI. Menschen waren hervorragend darin, Zitate aus ASIC-Dokumenten zu identifizieren, eine Aufgabe, die für KI bekanntermaßen eine Herausforderung darstellt. Darüber hinaus wurden menschliche Zusammenfassungen dafür gelobt, dass sie Betonung, Nuancen und Kontext beibehalten, während KI diese kritischen Elemente häufig übersah. Die Gutachter stellten auch fest, dass KI-Zusammenfassungen manchmal irrelevante Informationen enthielten oder wichtige Details übersahen, was sie weniger zuverlässig machte.
Die Auswirkungen der Leistung von KI bei der Zusammenfassung
Die Ergebnisse des Experiments deuten darauf hin, dass die aktuelle KI-Technologie in Bezug auf Zeitersparnis möglicherweise nicht so effizient ist, wie gemeinhin angenommen wird. Andererseits könnte die Angewohnheit der KI, wichtige Einzelheiten zu übersehen und Fehler zu machen, zu zusätzlichen Aufgaben für Menschen führen, die von der KI erstelltes Material überprüfen und bearbeiten müssten. Prüfer befürchteten, dass es nicht von Vorteil sein könnte, sich bei der Zusammenfassung auf die KI zu verlassen, da diese die wichtigsten Punkte der Dokumente häufig nicht so gut kommunizierte wie menschliche Prüfer.
Obwohl der Bericht gewisse Einschränkungen anerkannte, wie etwa das veraltete KI-Modell, kam er letztlich zu dem Schluss, dass die menschlichen Fähigkeiten bei der Interpretation und Auswertung von Informationen der KI immer noch überlegen sind. Der Test unterstrich, wie wichtig es ist, KI als Hilfsmittel zu betrachten, nicht als Ersatz für menschliche Arbeit bei Aufgaben, die ein gründliches Verständnis von Kontext und Feinheiten erfordern.
Regierungstransparenz und die KI
Die Ergebnisse des Berichts kamen nicht überraschend für Grünen-Senator David Shoebridgeder die Untersuchung leitete, die zu seiner Veröffentlichung führte. Er erwähnte, dass KI zwar bei der Bewertung von Einsendungen helfen kann, dies jedoch immer von Menschen überwacht werden sollte. Das Experiment unterstreicht die Idee, dass KI derzeit am nützlichsten ist, wenn sie menschliche Fähigkeiten unterstützt, anstatt sie zu übernehmen.
Der Prozess wirft auch allgemeinere Fragen darüber auf, wie transparent KI bei der Verwendung in Regierungsverfahren ist. Senator Shoebridge betonte, wie wichtig es sei, dass Regierungsabteilungen die Initiative ergreifen, um ihren KI-Einsatz offenzulegen, anstatt darauf zu warten, dass die Informationen bei Anhörungen im Senatsausschuss ans Licht kommen.
Bildnachweis: Furkan Demirkaya / Mitten auf der Reise
Source: Menschlicher Einfluss übertrifft KI in Regierungsversuch