Studie belegt, dass ChatGPT die Produktivität steigert

https://www.nngroup.com/articles/chatgpt-productivity/ Shakked Noy und Whitney Zhang vom MIT haben eine Studie   mit 444 erfahrene Geschäftsleute aus verschiedenen Bereichen durchgeführt über den Einsatz von KI im Content-Alltag. Darunter waren Marketingfachleute, Verfasser von Förderanträgen, Datenanalysten und Personalverantwortliche. Jeder Teilnehmende wurde beauftragt, zwei Geschäftsdokumente in seinem Bereich zu schreiben. Zu den Beispielen gehören Pressemitteilungen, Kurzberichte und Analysepläne - Dokumente, die als realistisch für die Art des Schreibens angegeben wurden, mit dem diese Fachleute im Rahmen ihrer Arbeit zu tun haben. Alle Teilnehmer schrieben zunächst ein Dokument auf normale Weise, ohne Computerunterstützung. Die Hälfte der Teilnehmer wurde nach dem Zufallsprinzip angewiesen, ChatGPT beim Schreiben eines zweiten Dokuments zu verwenden, während die andere Hälfte ein zweites Dokument auf normale Weise ohne KI-Hilfe schrieb.



Bei der Betrachtung der im Folgenden berichteten Ergebnisse ist zu beachten, dass die meisten Teilnehmer in der ChatGPT-Bedingung das KI-Tool zum ersten Mal verwendeten. 30 % aller Teilnehmer hatten ChatGPT bereits zuvor verwendet. Die Studie zeige, dass ChatGPT bereits für Erstbenutzer (die die Mehrheit der KI-Gruppe darstellten) erfolgreich funktioniert. Nachdem die Geschäftsdokumente geschrieben worden waren, wurden sie auf einer Skala von 1 bis 7 nach ihrer Qualität bewertet. Jedes Dokument wurde von drei unabhängigen Gutachtern bewertet, die aus dem gleichen Fachgebiet wie der Autor stammten. Natürlich wurde den Bewertern nicht mitgeteilt, welche Dokumente mit Hilfe der KI geschrieben worden waren.

Es besteht oft ein Konflikt zwischen schnellerem Arbeiten und guten Ergebnissen (ein Phänomen, das in der kognitiven Psychologie als Kompromiss zwischen Geschwindigkeit und Genauigkeit bekannt ist). In dieser Studie waren die Fachleute, die ChatGPT nutzten, jedoch schneller bei der Erstellung ihrer Arbeitsergebnisse, und auch die Qualität dieser Arbeitsergebnisse wurde besser bewertet.

Die erste Runde, in der die Dokumente ohne KI-Hilfe erstellt wurden, ergab in beiden Gruppen die gleichen Ergebnisse, was bestätigt, dass die Zuordnung der Teilnehmer zu den Studienbedingungen tatsächlich zufällig war. Mit anderen Worten, es war nicht so, dass die Teilnehmer der einen Gruppe irgendwie talentierter oder geschickter waren als die Teilnehmer der anderen Gruppe. Wir können also davon ausgehen, dass die in der zweiten Schreibrunde gemessenen Unterschiede tatsächlich auf den Einsatz von ChatGPT zurückzuführen sind.

In der zweiten Runde erstellten die Fachleute, die ChatGPT nutzten, ihr Dokument im Durchschnitt in 17 Minuten, während die Fachleute, die ihr Dokument ohne KI-Unterstützung schrieben, 27 Minuten benötigten. Ohne KI-Unterstützung würde Fachleute also an einem normalen 8-Stunden-Arbeitstag 17,7 Dokumente erstellen, während sich diese Zahl mit KI-Unterstützung auf 28,3 erhöhen würde. Das ist eine Produktivitätssteigerung von 59 Prozent. Dieser Unterschied entspricht einer Effektgröße von 0,83 Standardabweichungen, was für Forschungsergebnisse als groß angesehen wird. Zudem war die durchschnittliche Qualität der Dokumente viel besser, wenn die Autoren von ChatGPT unterstützt wurden: Auf einer sieben Punkte-Skala 4,5 (mit KI) gegenüber 3,8 (ohne KI).

Der größte Effekt lag also in der Produktivitätssteigerung, aber es gab auch einen schönen Effekt in der Qualitätssteigerung. Beide Unterschiede waren statistisch hoch signifikant. Erstens scheint es, dass die Verwendung von ChatGPT die Ungleichheit der Fähigkeiten verringert. Während in der Kontrollgruppe, die keine KI verwendete, die Ergebnisse der Teilnehmer für die beiden Aufgaben mit 0,49 recht gut korreliert waren (was bedeutet, dass Personen, die bei der ersten Aufgabe gut abschnitten, auch bei der zweiten Aufgabe gut abschnitten, und Personen, die bei der ersten Aufgabe schlecht abschnitten, dies auch bei der zweiten Aufgabe taten), war die Korrelation zwischen den Leistungen bei den beiden Aufgaben in der KI-unterstützten Gruppe mit nur 0,25 deutlich geringer. Diese geringere Korrelation war in erster Linie darauf zurückzuführen, dass Nutzer, die bei der ersten Aufgabe schlechter abschnitten, mehr Hilfe von ChatGPT erhielten als Nutzer, die bei der ersten Aufgabe gut abschnitten.

Zweitens wurden die Fachleute gebeten zu berichten, wie sie ihre Zeit auf drei verschiedene Phasen des Schreibprozesses aufgeteilt hatten: Brainstorming, Schreiben eines Rohentwurfs und Polieren dieses Entwurfs. Ihre Antworten deuteten darauf hin, dass die Nutzung von ChatGPT die Art und Weise, wie die Nutzer ihre Zeit verbrachten, veränderte. In der ersten Runde (ohne KI-Unterstützung) verbrachten die Fachleute etwa 25 Prozent ihrer Zeit mit dem Brainstorming, 50 Prozent mit dem Schreiben eines Rohentwurfs und 25 Prozent mit der Bearbeitung dieses Entwurfs, um das endgültige, ausgefeilte Ergebnis zu erstellen. Bei der Verwendung von ChatGPT verbrachten die Teilnehmer möglicherweise etwas weniger Zeit mit dem Brainstorming (der Unterschied liegt jedoch innerhalb der Fehlermarge und kann daher nicht als verlässlich angesehen werden). Die Zeit, die für die Erstellung von Rohentwürfen aufgewendet wurde, konnte mehr als halbiert werden, da der Großteil dieser Arbeit auf ChatGPT übertragen wurde. Und interessanterweise verdoppelte sich der Zeitaufwand für das Polieren der Entwürfe.

Ein Schritt halbiert und ein Schritt verdoppelt: Man könnte meinen, dass wir quitt sind. Nein: Da die Rohentwurfszeit ursprünglich doppelt so lang war wie die Bearbeitungszeit, ergibt der Unterschied um den Faktor zwei eine größere absolute Zahl für die Rohentwurfszeit als für die Bearbeitungszeit. Dies erklärt die allgemeine Verringerung der Aufgabenzeit bei der Verwendung von ChatGPT: Es wurde viel mehr Zeit bei der Erstellung des Entwurfs eingespart als für die zusätzliche Bearbeitung aufgewendet wurde. Umgekehrt ist es möglich, dass die zusätzliche Zeit, die für die Bearbeitung des endgültigen Dokuments aufgewendet wurde, zu der höher bewerteten Qualität der KI-unterstützten Dokumente beigetragen hat.

Die Produktivitäts- und Qualitätsverbesserungen sind also wahrscheinlich auf eine veränderte Zeiteinteilung der Fachleute zurückzuführen: weniger Zeit für die Ausarbeitung des ersten Textentwurfs und mehr Zeit für den Feinschliff des Endergebnisses. Wenn diese Analyse bei einer detaillierteren qualitativen Untersuchung Bestand hat, scheint es, dass der Hauptbeitrag von ChatGPT darin besteht, den Nutzern viel Zeit bei der Erstellung von Rohtexten zu sparen.

Disclaimer: Dieser Beitrag ist eine gekürzte Version von Jacob Nielsen von UX-Spezialist NNGroup   . Sie wurde mithilfe von Deepl   übersetzt und nachbearbeitet.