Wann KI den Studierenden beim Lernen hilft und wann sie es nicht tut: Die bahnbrechende Studie eines Emory-Professors

Zeit für ein Quiz. Welche dieser vier Lernumgebungen, in denen künstliche Intelligenz zum Einsatz kommt – oder auch nicht -, führt zu den besten akademischen Ergebnissen für Hochschulstudenten?

• KI-generierte Inhalte und KI-Bereitstellung
• KI-generierte Inhalte und menschliche Vermittlung
• Von Menschen erstellte Inhalte und menschliche Vermittlung
• Von Menschen erstellte Inhalte und KI-Bereitstellung

Um die Antwort zu finden, hat Rajiv Garg, Professor an der Emory Goizueta Business School (Atlanta, USA), fast sechs Dutzend Studenten verschiedener Fachrichtungen für ein Experiment in der Klasse angeworben. Was er dabei herausfand, könnte Sie überraschen und Ihre Meinung über das Potenzial von KI im Klassenzimmer ändern – für MBAs, B-School-Studenten und alle anderen.

Ergebnisse zeigen enorme Vorteile von KI im Klassenzimmer

Garg, außerordentlicher Professor für Informationssysteme und Betriebsmanagement an der Emory Goizueta University, führte von letztem Semester bis letzte Woche eine Pilotstudie durch, in der er KI-generierte Kurse mit von Menschen erstellten Kursen verglich. Zunächst ließ er einen Absolventen des Masterstudiengangs Datenwissenschaften einen Online-Kurs über die Datenbankerstellungssprache SQL erstellen und abhalten. Dann bat er ChatGPT, ebenfalls einen Kurs zu erstellen. Dann ließ er den Absolventen den von der KI erstellten Kurs abhalten und einen KI-Avatar den von Menschen erstellten Kurs abhalten.

Am Ende belegten die Studenten vier Kurse: einen reinen KI-Kurs, einen rein menschlichen Kurs, einen KI-Kurs mit einer menschlichen Stimme/Avatar und einen menschlichen Kurs mit einer KI-Stimme/Avatar.

Garg und sein Team führten das Experiment im letzten Semester mit 40 Studenten und in diesem Frühjahr mit weiteren 30 Studenten durch. Für die Kurse, in denen KI-Inhalte vermittelt wurden, erstellte das Team einen Avatar (über HeyGen) und fütterte ihn mit einem Skript. Jede Gruppe in Gargs Studie absolvierte den Kurs und legte am Ende eine kurze Prüfung ab. Das Ergebnis: Garg und sein Team stellten fest, dass die Leistung der Studierenden in dem Kurs am höchsten war, in dem von Menschen erstellte Inhalte durch eine KI-Stimme/einen Avatar vermittelt wurden. Am zweitbesten war ein rein von Menschen erstellter Kurs, gefolgt von einem rein KI-generierten Kurs – und am schlechtesten war ein KI-generierter Kurs mit einer menschlichen Stimme/Avatar.

Die wichtigste Erkenntnis: Kursinhalte, die von Menschen – Experten und sogar durchschnittlichen Ausbildern – erstellt werden, sind immer noch besser als von KI generierte Inhalte. Aber der Inhalt kann von einem Avatar effektiver vermittelt werden.

„Ich habe herausgefunden, dass die Studierenden nach der Teilnahme an einem rein von Menschen erstellten und gelieferten Kurs im Durchschnitt 5,7 % mehr Punkte in den Quizfragen erreichten als die Studierenden, die einen rein von KI erstellten und gelieferten Kurs besuchten“, erklärt Garg gegenüber Poets&Quants. „Darüber hinaus erzielten Studierende, die an einem hybriden Kurs mit menschlicher und künstlicher Intelligenz teilnahmen, im Durchschnitt 4,3 zusätzliche Punkte im Vergleich zu einem reinen, von Menschen erstellten Kurs. Schließlich erhielten Studierende, die an einem hybriden, von KI generierten und von Menschen gelieferten Kurs teilnahmen, im Durchschnitt 2,7 Punkte weniger als in einem rein von KI generierten und gelieferten Kurs.

Somit sind von Menschen erstellte Inhalte den von KI erstellten Inhalten für die Hochschulbildung überlegen, während die von KI erstellte Vermittlung – Stimme und Avatar – das Lernen der Studierenden verbessern kann.“

Es war nicht das Ergebnis, das er erwartet hatte.

„Bei einer Hypothese war ich mir unsicher, ob die KI oder die menschlichen Inhalte besser sind, da wir die Qualität der generativen KI noch erforschen, aber ich hatte erwartet, dass die menschliche Vermittlung – Stimme und Avatar – besser abschneiden würde als die KI-Stimme und der Avatar. Ich wurde eines Besseren belehrt – obwohl ich nicht sonderlich überrascht bin, denn meine Forschung zeigt auch, dass Stimmen eine Rolle bei der Informationssuche spielen können.“

Quiz-Ergebnisse in der Studie von Rajiv Garg

• KI-generierte Inhalte und KI-Bereitstellung 79,2%
• KI-generierte Inhalte und menschliche Zustellung 76,5%
• Von Menschen erstellte Inhalte und von Menschen erstellte Inhalte 84,9%
• Von Menschen erstellte Inhalte und KI-Lieferung 89,2%

Warum lernten B-School-Studenten am besten, wenn der Inhalt eines Online-Kurses zwar von Menschen erstellt, aber von einer künstlichen Stimme und einem Avatar vermittelt wurde? Garg zufolge hat dies zum Teil mit einer unter Studenten üblichen Praxis in Online-Programmen zu tun – dem Anschauen von Vorlesungen in 1,5-facher Geschwindigkeit – und was dies mit der Modulation der Stimme eines Lehrers macht.

„Wenn Sie sich Inhalte in 1,5-facher Geschwindigkeit ansehen und Ihre Stimme moduliert ist, klingt sie schlechter“, sagt Garg. „Aber wenn Ihre Stimme flach ist, kann man es trotzdem gut verstehen. Ich habe ihnen also die Freiheit gegeben, die Geschwindigkeit zu ändern, aber ich dachte nicht, dass sie es tun würden. In der Umfrage nach dem Kurs habe ich mit einigen Studenten gesprochen und gefragt: ‚Warum glaubst du, dass diese KI-Stimme besser für dein Lernen war? Und sie sagten, dass sie mit 1,5-facher Geschwindigkeit zuhören und dass es so einfach ist, zu verstehen, was sie sagt. Ich dachte: ‚Darüber habe ich noch nie nachgedacht.’“ Es gibt noch andere Probleme, fügt er hinzu, darunter die Auswirkungen von Akzenten auf das Lernen.

Und obwohl es möglich ist – und schnell geht -, einfach einen Avatar zu verwenden, der von einem System wie HeyGen bereitgestellt wird, reagieren die Schüler besser auf einen Avatar, der aus dem Bildmaterial eines bestehenden Lehrers erstellt wurde. Der Avatar kann so gestaltet werden, dass er dem Aussehen, den Eigenheiten und der Stimme des Experten entspricht, einschließlich des Akzents. Die Vorteile sind vielfältig: Die Avatare der Lehrkräfte können Inhalte in jeder beliebigen Sprache vermitteln – von Mandarin-Chinesisch bis Französisch, von Arabisch bis Hebräisch – und so mehr Studenten in ihrer Muttersprache ansprechen.

Das ist genau das, was Gargs Chef, Emory Goizueta Dean Gareth James, in einer kurzen Videobotschaft an die Fakultät zu Beginn des Frühjahrssemesters 2024 zeigte. Darin begrüßte James die Professoren und wurde – um das Potenzial der KI zu demonstrieren – von seinem eigenen Avatar begleitet, einer identischen Version seiner selbst, die perfekt fließend Chinesisch (oder jede andere Sprache) sprechen konnte.

James ist der Meinung, dass KI den Lehrkräften enorme Vorteile bietet, da sie Zeit sparen, wenn es darum geht, die Programme mit aktuellen Unterrichtsmaterialien und -inhalten auf dem neuesten Stand zu halten. Sie kann auch bei der Anpassung von Kernkursen von unschätzbarem Wert sein, indem sie den Studenten hyper-personalisierte Lernerfahrungen ermöglicht. „Ich denke, es wird sich weiter verbessern, aber buchstäblich in ein paar Monaten, nicht in Jahren“, sagt er gegenüber Poets&Quants. „Ich könnte mir also vorstellen, dass es in sechs Monaten noch dramatisch besser aussieht als jetzt – und deshalb müssen wir als Schule darüber nachdenken, wie wir das nutzen wollen.“

Er stimmt zu, dass es Leitplanken geben muss.

„Es gibt sehr besorgniserregende Implikationen“, sagt James. „Ich war sowohl begeistert als auch schockiert, wie einfach es ist, zwei Minuten Video von jemandem aufzunehmen – wir haben es in unserem Studio gemacht, aber man muss nicht einmal eine so hohe Videoqualität haben – und es in verschiedene Softwarepakete einzugeben, und dann kann man die Person einfach sagen lassen, was man will. Und plötzlich bekommen alle meine Lehrkräfte eine Gehaltserhöhung von 10 % und so weiter! Sie können sich vorstellen, dass alles passieren kann. Ich weiß aus persönlicher Sicht, dass ich Videobeweise nicht mehr für bare Münze nehme. Es ist klar, dass ich nicht mehr weiß, was ich für bare Münze nehmen soll, aber man kann sicher nicht einfach davon ausgehen, dass es stimmt.“

Gargs Meinung: Man muss weitere Studien durchführen

Manche glauben, dass wir uns dem „Peak AI“ nähern – dass der fehlende Alltagsnutzen der Technologie ihr baldiges Verhängnis sein wird. Rajiv Garg ist da anderer Meinung.

Garg, der nach mehr als einem Jahrzehnt an der McCombs School of Business der University of Texas in Austin im Jahr 2020 an die Emory University kam, ist ein guter Verkäufer für KI, enthusiastisch, aber auch pragmatisch. Das passt zu einem Akademiker, dessen Forschung digitale Marketingstrategien für den sozialen und mobilen Handel und die Rolle digitaler Technologien auf dem Arbeitsmarkt und im Unternehmertum umfasst. Im Rahmen seiner Arbeit hat Garg verschiedene gemeinnützige und staatliche Organisationen bei der Entwicklung datengestützter digitaler Strategien und Richtlinien unterstützt.

Obwohl er von den Möglichkeiten begeistert ist, ist er in seinem Lob nicht zimperlich.

„Ich denke, dass die beiden größten Probleme (mit KI) sozialer Natur sind“, sagt er. „Der Mensch ist ein soziales Tier. Wir werden auch in Zukunft kein soziales Tier bleiben. Wenn man so sehr in diese Technologien eingetaucht ist und wir nur noch in dieser digitalen Welt mit Menschen in Kontakt treten können, ist das dann dasselbe wie meine Verbindung zu Menschen im echten Leben? Ich meine, das ist nonstop.

„Die Menschen werden immer einsamer. Schaffen wir jetzt eine Situation, in der man in dem Moment, in dem man ein Vision Pro aufsetzt, lebendig ist, und in dem Moment, in dem man es abnimmt, denkt: ‚Ich bin allein in diesem Raum. Ich bin wie ein lebender Toter“? Der zweite Teil davon ist unsere geistige Gesundheit. Wie wirkt sich das auf unsere psychische Gesundheit in solchen Situationen aus? Sind wir dann gestresster, deprimierter und vielleicht weniger kreativ?

„Aber wenn ich zeigen kann, dass die menschlichen Inhalte besser sind als die KI, dann müssen wir sehen: Ja, wir müssen Ausbilder einstellen, die diese kreativen Inhalte erstellen. Wir brauchen diese Leute.‘ Der Wert der Technologie liegt in einer massiven, groß angelegten Bereitstellung mit personalisierten Informationen für ein besseres Lernen. Wenn ich lerne, kann ich kreativer sein, und das sollte das Ziel sein – und nicht nur, dass ich in meinem Lebenslauf ankreuzen kann, dass ich einen SQL-Kurs belegt habe, und mir jetzt einen Job gebe, um einen SQL-Kurs zu leiten“.

In naher Zukunft, so Garg, wird er weitere Studien durchführen, darunter eine Folgestudie, in der er einen muttersprachlichen Englischlehrer und nicht-technisches Kursmaterial testen wird. Er sagt, dass er plant, die Ergebnisse in einer Arbeit zusammenzufassen. Und: „Während ich die Unterschiede im Text zwischen den Kursen untersucht habe, habe ich die Unterschiede in den Stimmen noch nicht erforscht.“

Text- und Bild-Quelle: https://poetsandquants.com