Forschende lernen nicht weniger, sondern anders: KI in der Datenanalyse
Diesen Blogbeitrag wollte ich schon lange schreiben. Weniger, weil dazu von Seiten der Forschenden Rückfragen gekommen wären. Sondern, weil kondeor.ai intensive Diskussionen darüber ausgelöst hat, welche Kompetenzen in der akademischen Ausbildung – abseits von den Curricula für Statistik- oder Marktforschungsstudiengänge – im Bereich der Datenanalyse vermittelt werden sollen. Ein LinkedIn-Beitrag von Harald Dragan über „Das Rad, das sich nie fertig dreht: Wenn KI unsere Daten auswertet“ hat mich dazu gebracht, das endlich zu tun.
In den mehr als 30 Jahren, in denen ich mich mit der Analyse von quantitativen Daten beschäftigt habe, haben sich die angebotenen Analyseprogramme Schritt für Schritt weiterentwickelt. Die Bedienung wurde einfacher, der Methodenumfang größer. Unabhängig vom verwendeten Datenanalyseprogramm musste man aber immer mit den Grundlagen vertraut sein: Wann nimmt man welchen statistischen Test, wo findet man ihn im Programm und wie liest man die Ergebnisse? Genau diese Fragen haben manche davon abgehalten, Analysen mit den Daten, die wir in gemeinsamen Projekten erhoben bzw. strukturiert erfasst haben, anlassbezogen selbst zu machen. Um ihnen dafür ein Werkzeug in die Hand zu geben, das diese Hürde aus dem Weg räumt, habe ich begonnen, kondeor.ai zu entwickeln. Sehr schnell hat sich dann gezeigt, dass sich damit auch meine Lehrveranstaltungen zur anwendungsorientierten quantitativen Datenanalyse an Hochschulen radikal verändern.
kondeor.ai entlastet die Forschenden von vielen Entscheidungen rund um die oben genannten Grundlagen. Das bedeutet aber nicht, dass ihnen die für Ergebnisqualität essenziellen Fähigkeiten abhandenkommen.
Muss jemand, der für ein Unternehmen Do-it-yourself-Marktforschung betreibt, oder jemand, der eine akademische Abschlussarbeit in einem nicht einschlägigen Fach schreibt, wissen, wie man bei einem t-Test die Normalverteilung der beiden Gruppen prüft? Oder ob man den in der Fachliteratur kontroversiell diskutierten Levene-Test braucht und wenn ja, welche Konsequenzen sein Ergebnis hat? Oder welches Effektstärkenmaß in diesem Fall zu berechnen ist? (Diese Überlegungen gelten selbstverständlich nicht für die Institutsmarktforschung, von der man diese Kompetenzen auch weiterhin erwarten darf.) Ist es nicht viel wichtiger, im Vorfeld die relevanten Problemstellungen zu identifizieren und dafür eine Forschungsfrage zu formulieren? Und in der Folge aus den Analyseergebnissen die richtigen Schlüsse in der Beantwortung dieser Forschungsfrage zu ziehen?
Nichtsdestotrotz gibt es ein paar Punkte, die man nicht an ein Datenanalyseprogramm im Allgemeinen bzw. an kondeor.ai im Speziellen delegieren kann. Hier muss man selbst kompetent sein und aktiv werden. Wenn man das befolgt, dann bricht genau an diesen Punkten das von Harald Dragan gezeichnete und beschriebene „KI-Rad des Todes“:
Schon vor dem im Rad genannten ersten Punkt „KI prüft die Daten“ fallen wichtige Entscheidungen im Inhalts-, Forschungs-, Erhebungs- und Stichprobendesign, die eine KI den Forschenden nicht abnehmen kann. In der konkreten Ausgestaltung kann sie dann aber wertvolle Unterstützungsleistungen beisteuern. Nur um ein Beispiel zu nennen: kondeor.ai kann Hinweise zur akademisch korrekten Formulierung von Forschungsfragen geben. Bei der Planung des Inhalts- und im Erhebungsdesigns müssen Entscheidungen zum Skalenniveau der Variablen getroffen werden. Fehlentscheidungen kann auch die KI im Zuge der Datenanalyse dann nicht mehr korrigieren. Im Zweifelsfall kann kondeor.ai zum Skalenniveau nachfragen; auch hier macht sich dann die vorherige Auseinandersetzung damit bezahlt. Und als Teil des Inhaltsdesigns sollten die Hypothesen formuliert werden, die dann analysiert werden. Nur so können die Signifikanzwerte konfirmatorisch gelesen werden und die Ergebnisse müssen nicht vorrangig als explorativ angesehen werden. Im Falle des Falles weist kondeor.ai darauf hin. Wichtig: Teile der Datenprüfung in kondeor.ai funktionieren auch ohne KI.
Bevor die „KI den Test wählt und rechnet“ (der zweite Punkt des Rades) müssen die Forschenden zum Beispiel selbst entscheiden, wie mit fehlenden Werten umgegangen wird. Oder ob schiefe Verteilungen in den Daten angepasst werden sollen. kondeor.ai fragt das im Falle des Falles nach, entscheidet aber nicht selbsttätig. Wichtig: Die Testauswahl funktioniert in kondeor.ai auch ohne KI; die Analyse mit R sowieso.
Zum Punkt „die KI schreibt den Bericht“: Optimalerweise können die Forschenden anhand der von kondeor.ai gelieferten Informationen beurteilen, ob eine gewählte Methode passt, ob deren Ergebnisse etwas zur Beantwortung der Ausgangsfrage beisteuern und ob sie daher in den Bericht übernommen werden soll. So macht kondeor.ai zum Beispiel auf zu geringe Teststärken aufmerksam.
Der „Auftraggeber lässt KI zusammenfassen“ gilt nicht für Berichte, die man im unternehmerischen oder akademischen Kontext mit kondeor.ai selbst erstellt. Wird dabei von der KI eine Zusammenfassung über alle Analysen erstellt, dann muss diese mit dem Expertenwissen des Forschenden in Einklang gebracht werden. So ein verbindliches Executive Summary sollte, insbesondere, wenn der Bericht an Dritte geht, auch die Grenzen der Aussagen enthalten. Und damit ist eine weitere Zusammenfassung durch eine weitere KI nicht mehr notwendig.
„Entscheidungen fallen schneller“ und „Forschende lernen weniger“ sind die Punkte fünf und sechs des von Harald Dragan präsentierten Rades. Das sind aber keine Handlungs-, sondern Ergebnisfelder. Die erste Aussage würde ich umformulieren in „Analyseprozesse gehen schneller“.
Bleibt die zentrale Aussage des Rades: „Forschende lernen weniger.“ Sie stimmt nur, wenn man kondeor.ai (missbräuchlich) als autonomen Agenten verwendet. kondeor.ai ist aber kein autonomer Agent, sondern ein Werkzeug für die Forschenden. Haben diese die oben genannten Kompetenzen oder bringt man ihnen genau diese in Lehrveranstaltungen bei, dann verschiebt sich das Lernen. Das „Wie muss ich es machen?“ rückt in den Hintergrund, das „Was kann ich (alles) machen?“ (in Bezug auf die Analyse und die Ergebnisverwendung) in den Vordergrund. Die bisherige Erfahrung in Unternehmen und in Lehrveranstaltungen zeigt, dass man, von dem einen oder anderen statistischen „Ballast“ befreit, zu einer tieferen Auseinandersetzung mit dem Sinn und Zweck der Datenanalyse kommt.
In einem Übungsprojekt haben Studierende zum Beispiel nicht nur datengestützt detaillierte Szenarien für das Marketing einer Organisation erarbeitet. Sie haben darüber hinaus das initiale Hypothesenmodell in ein Modell der zentralen Erkenntnisse überführt und damit, ohne dazu aufgefordert worden zu sein, den Sprung vom mechanischen Abarbeiten der Hypothesen zu einer aussagekräftigen Einordnung der Ergebnisse geschafft.
Forschende lernen also nicht weniger, sondern über einen anderen Zugang. Und das kann unter dem Strich sogar mehr und wertvoller sein.