Mehr Studienerfolg mit Machine Learning, KI & Co?!
BLOG: Über das Wissenschaftssystem
Die sogenannte Künstliche Intelligenz (KI) und Machine Learning ist inzwischen endgültig in der öffentlichen Wahrnehmung angekommen. Ausschlaggebend dafür war die medial sehr erfolgreiche Veröffentlichung des Large Language Models GPT 3-5 von Open.AI. An den Hochschulen und in der Wissenschaft wurde sich mit dem Themenkreis von einschlägigen Fachdisziplinen aber bereits länger befasst und dies auch (mehr oder weniger) öffentlich thematisiert. Dabei wurde nicht nur die aktuell öffentlich besonders diskutierte textgenerierende bzw. generative KI in den Fokus genommen, sondern auch analytische KI, die in dieser Buchvorstellung im Vordergrund stehen soll.
Nutzung für Studienerfolg?
Die Nutzung solcher Ansätze für Fragestellungen zu Studienerfolg wurde bisher eher selten thematisiert. In jüngerer Zeit gab es zwar durchaus einige Veröffentlichungen (z.B. Spörk et al. 2021; Schmidt 2023; Lübcke et al. 2023), sie sind bisher jedoch eher die Ausnahme als die Regel in Publikationen, die sich mit Studienerfolg befassen.[1] Auch Lübcke et al. (2024) schätzen den aktuellen Forschungsstand zu digitalen Studienassistenzsystemen, die Methoden der regelbasierten KI und Ansätze des maschinellen Lernens nutzen, als noch überschaubar ein. Dies bedeutet jedoch nicht, dass es keine Anwendungsversuche gab.[2] Allerdings ist ein Erfahrungsaustausch über regionale Bezüge hinaus sowie mögliche Nachnutzungen und Weiterentwicklungen auf der Basis vorhandenen Wissens ohne ausreichende Publizität naturgemäß mit größeren Schwierigkeiten behaftet. Er findet daher seltener bzw. kaum statt.[3]
Erfahrungen zweier einschlägiger Projekte
Hier setzt die vorgestellte Publikation eines Erfahrungsberichtes zweier einschlägiger Projekte dankenswerterweise an. Denn die Art der Aufbereitung erlaubt es, die nachfolgend in der Publikation vorgestellten Modelle auch an anderen Hochschulen anzuwenden, sofern die Gelingensbedingungen erfüllt sind. Sie richtet sich hierbei einerseits an Personen, die für die inhaltliche Anwendung der Modelle verantwortlich zeichnen, und andererseits an Personen, die mit der technischen Implementierung in der Hochschule vertraut sind. Dieser Ansatz erscheint nach vorliegenden Erfahrungen und Studien als gut geeignet, die Nutzung von empirischen Daten und Ergebnissen empirischer Analysen auch für Studienerfolg und Lehrentwicklung zu fördern, da dies auch ermöglicht, Narrative aus quantitativen Ergebnissen zu formulieren (Isett & Hicks 2020) und Stakeholder*innen einzubinden (Wegner et al. 2023; Janson, Krempkow & Thiedig 2024).
Förderlich für künftig stärkere Nutzung
Förderlich für ihre künftig stärkere Nutzung dürfte auch die übersichtliche Systematisierung von Analytics-in-Higher-Education als Schaubild sein, wie sie in der Publikation zu Beginn des zweiten Kapitels vorgestellt wird. Darin erfolgt einerseits eine hierarchische Stufenordnung nach der Komplexität der verwendeten analytischen Methoden, andererseits eine die praktische Anwendung vereinfachende Zuordnung zu beschreibenden Modellen und Prognosemodellen. Hierbei erläutern die Autor*innen auch anhand von Beispielen die unterschiedlichen Stärken der Modelle, welche in den jeweiligen Anwendungskontexten zu berücksichtigen sind: So können beschreibende Modelle eher anhand von Daten aus Vergangenheit oder Gegenwart Informationen anschaulich aufbereitet darstellen (descriptive analytics) bzw. helfen, Ursachen für identifizierte Sachverhalte und Probleme zu finden (diagnostic analytics). Prognosemodelle können dagegen eher helfen, Wahrscheinlichkeiten für künftige Entwicklungen vorherzusagen, z.B. individuellen oder kollektiven Studienfortschritt (predictive analytics), oder Auswirkungen von Veränderungen zu simulieren, z.B. eines Curriculums (presciptive analytics).
Überblick über und kurze Erläuterung statistische(r) Methoden
Die Autor*innen beschränken sich aber nicht auf die Systematisierung und Beschreibung von Modellen, sondern geben einen Überblick und eine anwendungsbezogene kurze Erläuterung von häufig zur Modellierung von Studienerfolg verwendeten statistischen Methoden auf jeweils ein bis zwei Seiten und mit Abbildungen veranschaulicht. Anschließend stellen sie kurz und prägnant die Datenbasis vor, die sie für zwei im Folgenden ausführlicher erläuterte und dokumentierte Anwendungsszenarien zugrunde legen. Die gut nachvollziehbare und aufgrund der abgedruckten sowie online bereitgestellten R-Codes[4] nachnutzbare Dokumentation der beiden Anwendungsszenarien ist das eigentliche Kernstück des Erfahrungsberichtes. Hier kommt ein besonders glücklicher (bzw. aufgrund gelungener Zusammenarbeit in besonders geeigneter Weise geschaffener) Umstand zum Tragen: Denn es erfolgt durch den engen Erfahrungsaustausch zweier an unterschiedlichen Hochschulen derselben Stadt bereits existenter Projekte eine Art konzertierte Aktion bezüglich Datenbasis und Analyseansätzen. So ist es möglich, an konkreten Anwendungsbeispielen in vergleichbarer Weise die unterschiedlichen Stärken von beschreibenden Modellen und Prognosemodellen zu veranschaulichen. Damit werden zugleich auch die unterschiedlichen Bedingungen an verschiedenen Hochschulen anhand der beiden Anwendungsszenarien konstruktiv genutzt, um zu zeigen, wie eine Übertragbarkeit bzw. Adaption von Ansätzen gemäß unterschiedlicher Ziele möglich sein kann.
Welche Faktoren haben Einfluss auf den Studienerfolg?
So zeigt das erste Anwendungsszenario der Universität Wien, wie mittels Regressionsanalysen die Frage beantwortet werden kann, welche Faktoren in einem bestimmten Studienprogramm Einfluss auf den Studienerfolg haben (gemessen in Anzahl Kreditpunkte ECTS im Studienjahr). Die Ergebnisse werden für Stakeholder*innen in Form von Diagrammen aufbereitet. Er wird anschaulich gezeigt, dass neben den ECTS im Vorjahr (mit erwartungsgemäß größtem Effekt) das Alter bei Studienbeginn, Auslandssemester und Doppelstudium signifikante Effekte haben. Dieselben Faktoren gelten in diesem Anwendungsbeispiel auch, wenn man anstelle von ECTS die Einflussfaktoren auf Prüfungs(in)aktivität im Studienjahr analysiert.
Das zweite Anwendungsszenario
Das zweite Anwendungsszenario der Wirtschaftsuniversität Wien zeigt, wie mittels ähnlicher Daten die Anzahl der ECTS und die Prüfungs(in)aktivität im Folgejahr prognostiziert werden können. Die Verwendung dieser Prognose hängt von den Zielen der Hochschule ab. Im Beispiel wird eine Zuordnung zu Clustern gezeigt, um zielgerichtet Maßnahmen für unterschiedliche Gruppen entwickeln und anbieten zu können. Ein zielgerichtetes Informations- und Serviceangebot für Personen in einer relativ homogenen Gruppe (etwa bezüglich Altersstruktur, Erwerbstätigkeit) könnten dann dabei helfen, Studienerfolg und -zufriedenheit zu erhöhen.
Potential für eine Nutzung an weiteren Hochschulen
Da viele Hochschulen im deutschsprachigen Raum in den letzten Jahren Studienverlaufsanalysen einführten bzw. noch einführen, haben die in den Anwendungsszenarien vorgestellten Ansätze großes Potential für eine Nutzung an weiteren Hochschulen. Hierbei könnte es hilfreich sein, mögliche Ansatzpunkte für spätere Maßnahmen bereits bei der Planung bzw. Weiterentwicklung von Datenerhebungen mitzudenken. Beispielsweise wäre, wenn vermutet werden kann, dass ein Einflussfaktor auf den Studienerfolg die Erwerbstätigkeit von Studierenden ist (bzw. ein De-Facto-Teilzeitstudium)[5], deren Erfassung nützlich, um eine möglichst hohe Erklärungskraft bei beschreibenden Modellen bzw. eine möglichst hohe Vorhersagekraft bei Prognosemodellen erreichen zu können. Ähnlich gilt dies für die soziale Herkunft bzw. Bildungsherkunft, die ebenfalls Einfluss haben kann.[6]
Systemnutzen stiften mit empirisch informierter Lehrentwicklung
Auf längere Sicht könnten solche Modelle – beschreibend oder prognostisch – über ihren konkreten Nutzen für einzelne Studienprogramme und Hochschulen hinaus auch einen Systemnutzen stiften: Sie sind gute Beispiele für Verknüpfungsmöglichkeiten mit einer empirisch informierten Lehrentwicklung an Hochschulen, die insgesamt zu einer Kultur stärkerer Evidenzorientierung bei Entscheidungen an Hochschulen und damit einer noch systematischeren Förderung von Studienerfolg beitragen könnten. Darüber hinaus könnte – analog zu erfolgreichen Beispielen im Schulbereich[7] – mit Hilfe solcher Modelle bei adäquater Formulierung von Zielen und entsprechenden Maßnahmen nicht nur eine gezieltere Förderung von bestimmten Studierendengruppierungen erfolgen. Vielmehr könnte dies auch für Hochschulen geschehen, die sich z.B. aufgrund ihres Profils, ihrer geografischen Lage oder ihres Rekrutierungspotenzials in besonderer Weise mit deren Förderung befassen (müssen). Hierfür gibt es bereits Beispiele – bisher v.a. außerhalb deutschsprachiger Länder, so in Finnland, UK, Australien; – das Potenzial dafür ist aber im deutschsprachigen Raum ebenfalls vorhanden.[8] Angesichts veränderter Studierendenpopulationen könnte dies nicht nur ein wichtiger Beitrag zu den individuellen Zukunftschancen von Studierenden sein, sondern auch zur Zukunftsfähigkeit der Hochschulstudien insgesamt beitragen.
Das Buch:
Referenzen
Bornkessel, P. (Hg.) (2018). Erfolg im Studium. Konzeptionen, Befunde und Desiderate. Bielefeld: wbv.
Daniel, H.-D., Schmidt, U. & Krempkow, R. (Hg.) (2019). Studienerfolg und -abbruch. Qualität in der Wissenschaft – QiW 13(3+4).
Falk, S., Kercher, J. & Zimmermann, J. (2022). Internationale Studierende in Deutschland: Ein Überblick zu Studiensituation, spezifischen Problemlagen & Studienerfolg. Beiträge zur Hochschulforschung 44(2-3).
Harris, K.-L. (2007). A critical examination of a recent performance-based incentive fund for teaching excellence in Australia. In: B. Longden & K. Harris (eds.), Funding Higher Education: A Question of Who pays? Amsterdam: Sense, 62-78.
Isett, K. R. & Hicks, D. (2020). Pathways From Research Into Public Decision Making: Intermediaries as the Third Community. Perspectives on Public Management and Governance, 3(1): 45-58.
Janson, K., Krempkow, R. & Thiedig, C. (2024). Was beeinflusst die Nutzung von Daten für die Qualitätsentwicklung der Lehre? – Ein Zwischenbericht des Projekts NuDHe. In: Schmidt, S., Koppenborg, M., Berg, H., & Abele, C. (Hrsg.): Evaluation an Hochschulen im Spannungsfeld zwischen Wissenschaftlichkeit und Pragmatismus. Berlin: DUZ Verlags- und Medienhaus. S.63-82. https://www.researchgate.net/publication/382305111.
Janson, K. & Rathke, J. (2023). Weiterbildung im Wissenschaftsmanagement: Was muss man wissen, über das Wissen? In: Krempkow, R., Janson, K., Harris-Huemmert, S., Rathke, J., Höhle, E. & Hölscher, M. (2023): Berufsfeld Wissenschaftsmanagement. Bielefeld: Universitätsverlag Webler. Volltext: DOI: 10.53183/9783946017301 .
Krempkow, R., Vettori, O. & Buß, I. (Hg.) (2021). Studierbarkeit und Studienerfolg. Zeitschrift für Hochschulentwicklung – ZFHE 17(4).
Krempkow, R. (2020b). Was beeinflusst die Studiendauer? Die Rolle individueller und institutioneller Faktoren. In: Mitterauer, L., Harris-Huemmert, S. & Pohlenz, P. (Hg.): Qualitätssicherung im Student Life Cycle. Münster: Waxmann, S. 27-42.
Krempkow, R. (2015). Can Performance-based Funding enhance Diversity of Higher Education Institutions? In: Pritchard, R.; Klumpp, M. & Teichler, U. (Hg.): Diversity and Excellence in Higher Education: Can the Challenges be Reconciled? Amsterdam: Sense, 231-244.
Krempkow, R. (Hg.) (2022). Studieneinstieg und Studien(einstiegs-)erfolg. Qualität in der Wissenschaft – QiW 16(2).
Lübcke, M., Schrumpf, J., Seyfeli-Özhizalan, F. & Wannemacher, K. (2023). Künstliche Intelligenz zur Studienindividualisierung. Der Ansatz von SIDDATA. In: Tobias Schmohl/ Alice Watanabe/ Kathrin Schelling (Eds.), Künstliche Intelligenz in der Hochschulbildung. Bielefeld: transcript, 213-226. https://doi.org/10.14361/9783839457696-012
Lübcke, M., Schrumpf, J., Schurz, K., Seyfeli-Özhizalan, F., Thelen, T., Wannemacher, K. & Weber, F. (Hg.) (2024). Mit digitalen Studienassistenzsystemen durchs Studium. Call for Papers der Zeitschrift für Hochschulentwicklung – ZFHE 19(4).
Neugebauer, M., Daniel, H.-D., & Wolter, A. (Hg.) (2021). Studienerfolg und Studienabbruch. Wiesbaden: Springer VS.
Schmidt, S. (2023). Künstliche Intelligenz und Qualitätsmanagement an Hochschulen. Qualität in der Wissenschaft – QiW 17(3), 99-101.
Sörlin, S. (2007). Funding Diversity: Performance-based Funding Regimes as Drivers of Differentiation in Higher Education Systems. Higher Education Policy, 20, 413-440.
Spörk, J., Tauböck, S., Ledermüller, K., Krikawa, R. & Wurzer, G. (2021). Analyse von Studierbarkeit mittels Prognose- und Simulationsmodellen. Zeitschrift für Hochschulentwicklung – ZFHE 17(4), 163-182.
Wegner, A., Thiedig, C., Janson, K., & Krempkow, R. (2023): Von der Evidenz zum Impact? Ein systematischer Überblick zu Gelingensbedingungen der Nutzung von Evidenz im Hochschul- und Forschungssektor. Beitrag zur Jahrestagung der DeGEval – Gesellschaft für Evaluation 2023, 14.-15.09.2023, Otto-von-Guericke-Universität, Magdeburg.
Wiarda, J-M. (2024). Hamburgs Bildungssenator Ties Rabe tritt zurück. In: Bildung und Politik, 15.01.2024, Wissenschaftsblog: www.jmwiarda.de/blog/bildung-und-politik/ (Zugriff: 23.01.2024).
________________________________________________________
[1] Über die erwähnten Beiträge hinaus wurde dies in einschlägigen Publikationsorganen im deutschsprachigen Raum in den letzten Jahren noch kaum thematisiert, die Ergebnisse entsprechender geförderter Projekte erscheinen allerdings naturgemäß meist erst zu deren Ende (vgl. z. B. Daniel, Krempkow & Schmidt 2019; Krempkow, Vettori & Buß 2021; Falk, Kercher & Zimmermann 2022; Krempkow 2022). Ähnlich gilt dies für Sammelwerke (z.B. Bornkessel 2018; Neugebauer, Daniel & Wolter 2021). Künftig ist aber eine vermehrte Thematisierung zu erwarten, darauf deutet z.B. ein Call for Papers der Zeitschrift für Hochschulentwicklung – ZFHE hin (Lübcke et al. 2024, Einreichungsfrist 17. Juni 2024).
[2] Beispielsweise an der Humboldt-Universität zu Berlin gab es bereits vor einigen Jahren eine Nutzung von Ansätzen analytischer AI und Machine Learning zusätzlich zu Regressionsanalysen und Diskussionen der jeweiligen Vor- und Nachteile. Dies wurde aber nicht über einen kleinen Kreis hinaus bekannt, da es keine Veröffentlichung in einschlägigen Publikationsorganen gab und es dem Verfasser auch nur durch seine Tätigkeit in den Jahren 2014 bis 2022 dort bekannt wurde.
[3] Publizität kann neben einschlägigen Zeitschriften, Buchbänden und Online zwar grundsätzlich auch über die Teilnahme und den Austausch in einschlägigen Tagungen erreicht werden. Jedoch ist dies erfahrungsgemäß flüchtiger. Zudem sind die finanziellen Hürden höher, da dies meist teurer ist. Teilweise sind erhebliche Kostenanteile für Tagungen privat finanziert (vgl. z.B. Janson & Rathke 2023: 132).
[4] R ist eine Statistik-Programmiersprache bzw. ein Statistikprogramm (s. z.B. https://www.r-statistik.de/).
[5] Für Hochschulen in Deutschland ist dies ein bedeutsamer Einflussfaktor. Daneben gilt dies fächerübergreifend auch für die Einflussfaktoren Geschlecht und Note der Hochschulzugangsberechtigung, sowie in mehreren Fächergruppen und großen Fächern zudem für Elternschaft, Auslandsaufenthalte und einen Berufsabschluss vor dem Studium (vgl. Krempkow 2020a).
[6] Dies zeigte sich in hochschulspezifischen Analysen mit denselben Modellen (vgl. Krempkow 2020b).
[7] So gelang es dem Stadtstaat Hamburg in den vergangenen zehn Jahren, bei den Schülerleistungen in mehreren Leistungsvergleichen zur Spitzengruppe aufzuschließen bzw. sich teilweise sogar ganz vorn zu platzieren, bei zugleich hierfür schwieriger Sozialstruktur. Als maßgeblicher Grund wird der strategisch-langfristige Ansatz einer datenbasierten Schulentwicklung und das Förderprogramm „starke Schulen“ für Schulen mit sozialstrukturell bedingtem Förderbedarf genannt, was parteiübergreifend Anerkennung finde und als Vorbild ähnlicher Vorhaben wie das Startchancen-Programm diene (vgl. Wiarda 2024).
[8] Dies legen Reviews für diese Länder und Empirie nahe (vgl. Sörlin 2007; Harris 2007; Krempkow 2015).
Transparenzhinweis: Der Blogautor wurde gebeten, das Vorwort zu diesem Buch zu schreiben und kam dieser Bitte gern nach. Diese Buchvorstellung ist zugleich eine überarbeitete Fassung des Vorworts.
Beim Durchlesen des Textes hab ich folgendes Problem. Wie kann mir denn jetzt KI beim Lernen helfen?
Beispiel: In der Werbung wird immer wieder so eine Handyapp zum spielerischen Erlernen einer Fremdsprache angeboten. Wer kann mir jetzt von persönlichen positiven Erfahrungen berichten?
Oder ist das tatsächlich nur reine Werbepropaganda?
Wie gesagt: Ohne irgendwas Konkretes kann ich mit dem Text rein gar nichts anfangen.
Einfluss auf die Qualität von KI-Ergebnissen:
Wenn man bei der textgenerierenden KI die Frage eingibt “Wie kann man die Nahtod-Erfahrung erklären?” – erhält man nur allgemeine Infos; aber keine brauchbare Erklärung für das Phänomen ´Nahtod-Erfahrung´.
Gibt man aber die Fragen ein “Wie erklärt Kinseher Richard die Nahtod-Erfahrung?” oder “Was ist der Unterschied des Erklärungsmodells für Nahtod-Erfahrung von Kinseher Richard im Vergleich zu anderen Erklärungssmodellen?” – dann bekommt man brauchbare Antworten, wie sich das Phänomen ´Nahtod-Erfahrung´ erklären lässt.
Mit diesem Beispiel aus eigener Erfahrung will ich auf ein wichtiges Problem der KI aufmerksam machen: Es hängt entscheidend davon ab, WAS man für Fragen stellt – wie dann die Qualität der Antwort ausfällt.
Ich gehe davon aus, dass es bei der analytischen KI nicht anders sein wird.
D.h. wenn man die Anwendung von analytischer KI diskutiert, sollten sich Anwender bevorzugt auch damit beschäftigen, wie man dazu richtige Fragen stellt und wo eventuell Fehlermöglichkeiten bestehen, welche die Antwort der KI negativ beeinflussen.
Das hängt ganz bestimmt davon ab, WAS man für Fragen stellt, aber noch mehr davon ab, ob man zum gefragten Thema bereits vorinformiert ist oder nicht.
Ich habe zum Beispiel soeben bei ChatGPT die Frage gestellt
Ich bekomme erst einmal eine Liste von 7 Autoren (nicht alphabetisch, alle aus dem englischsprachigem Raum).
Frage ich nach weiteren Autoren, bekomme ich auch zahlreiche weitere Autoren (in Abschnitte von 10 Autoren, auch alle aus dem englischsprachigem Raum, auch nicht alphabetisch). Ich habe bei 100 Autoren aufgehört, in dieser Liste von 100 Autoren ist der Name Kinseher Richard nicht dabei.
Ich habe dann gezielt gefragt:
dann bekomme ich in der Tat eine Vorstellung:
Das bedeutet, dass zum Beispiel ein Student, der sich über Nahtod-Erfahrung erkundigen möchte, kaum eine Chance hat über ChatGPT den Autor Kinseher kennenzulernen.
ChatGPT trifft offensichtlich einen subjektiven Urteil über die Wichtigkeit der Autoren bzw. der Arbeiten (sonst wären sie alphabetisch aufgelistet), was bedeutet wiederum, dass ChatGPT Informationen nach bestimmten, nicht durchschaubaren Kriterien vermittelt. So sehe ich es zumindest.
@Lopez
Danke für Ihren Beitrag, der mich sehr zum Schmunzeln gebracht hat.
Denn ChatGPT nennt drei Buchtitel die angeblich von mir sein sollen.
Fakt ist: alle drei Antworten sind falsch, kein Buchtitel stammt von mir.
Und außerdem werden Behauptungen aufgestellt, welche völliger Unsinn sind:
Denn dass ich die mögliche Fortdauer des menschlichen Bewusstseins nach dem psychischen Tod untersuchen würde – ist genau das Gegenteil von dem, was ich behaupte:
Ich gehe ausschließlich davon aus, dass Nahtod-Erfahrungen (NTEs) von Menschen erlebt werden, die dabei lebendig und bei Bewusstsein sind. Und – dass NTEs nichts über Sterbevorgänge oder Jenseitserfahrungen aussagen – da der biologische Tod nicht(!) reversibel ist
NTEs sind – so meine Sichtweise – nur das Ergebnis eines einfachen Erinnerungsvorgangs, der dem bewussten Erleben zugänglich ist.
Das was Ihnen ChatGPT als Antwort gegeben hat, ist also Schrott und als absolute Falschinformation einzustufen.
Dieses Beispiel zeigt leider auf schlimme Weise die Problematik, auf welche ich mit meinem ersten Beitrag hingewiesen habe:
Wenn man mit KI-Programmen arbeitet bestimmen die Fragen welche man stellt, wie das Ergebnis ausfällt. UND man darf Antworten von KI-Programmen nicht ungeprüft übernehmen, sondern muss auch deren Plausibilität prüfen.
Das ist ja alles verschärft von ChatGPT !!! 🙁
Wie kann man aber eine Plausibilitätsprüfung machen? Das ist auch nicht ohne Weiteres möglich. Falls Sie hier mich nicht informiert hätten, dann würde keiner von diesen Falschaussagen wissen.
Ich frage gleich wieder ChatGPT, wie er auf diesen Schrott kommt.
@ KinseherRichard
Ich habe soeben bei ChatGPT nachgefragt:
Wie ist die Antwort jetzt? Ist das alles richtig? Soll ich noch nachhacken und zusätzliche Fragen stellen?
Ich merke selbst, dass zumindest folgende Beschreibung nicht stimmen kann
Dieses Buch bietet eine detaillierte Analyse der Forschung zu Nahtod-Erfahrungen und deren Implikationen für das Verständnis von Bewusstsein und Leben nach dem Tod.
denn Sie haben weiter oben betont, dass Sie ein Leben nach dem Tod negieren bzw. dass Sie nichts darüber geschrieben haben, denn die Aussagen, die über Nahtod-Erfahrungen gemacht werden, stammen von Menschen, die ja nicht tot waren und der biologische Tod ist nicht reversibel.
@Lopez
Wieder sind zwei genannte Buchtitel eindeutig falsch.
Ich will hier das Thema ´Nahtod-Erfahrung´ nicht vertiefen – sondern habe nur meine eigene Erfahrung vorgestellt: Wo ich leider feststellen musste, dass die Qualität der Antwort massiv on der gestellten Frage abhing.
Meine Antworten habe ich vom KI-Programm PERPLEXITY.AI erfragt und habe mit der Nennung meines Namens in der Frage recht gute Ergebnisse erhalten.
Die Antworten von ChatGPT sind dagegen echt grauenhaft.
Un damit sind wir wieder beim Blog-Thema:
Offenbar wird die Qualität der Antwort auch durch das verwendete KI-Programm bestimmt. D.h. man sollte sich nicht auf ein Programm verlassen, sondern die gleiche Frage von verschiedenen KI-Programmen abarbeiten lassen.
Und dazu noch Plausibilitätskontrollen mit Hilfe von Fachliteratur oder Suchmaschinen wie ´Google´ bzw. Lexika wie ´Wikipedia´ machen.
Das ist dann witzlos. Wenn der interne, technische Zugriff zur Datenbank bei einem solchen hochgelobten KI-Programm wie ChatGPT solche katastrophale Falschinformationen generieren kann wie bei Ihrem Fall, dann muss man schon davon ausgehen, dass es bei allen anderen KI-Programmen auch passieren kann, je nach Zufall oder auch nach Gestaltung der internen Datenbank. So etwas ist sehr schwer von Außen zu prüfen, man müsste Tausende von identischen Anfragen manuell jeweils an alle Anbieter richten und die Antworte vergleichen, das können wir als Nutzer nicht bewerkstelligen. Wir müssen davon ausgehen, dass die KI-Programme stillschweigend eine riesige Menge an Falschinformationen in die Gegend schleudern. 🙁
Auch Plausabilitätskontrollen mit Hilfe von Fachliteratur und Suchmaschinen wie Google und Wikipedia sind witzlos. Solche Recherchen im Netz sind für die Nutzer sehr umständlich und oft frustrierend. Wo bleibt die Bequemlichkeit durch KI, die die Recherchen im Bruchteil von Sekunde selbst erledigen soll? Wo bleibt die Relevanz und die Zuverlässigkeit der Ergebnisse, wenn die jeweiligen Datenbanken von KI nicht richtig, nicht exhaustiv genug oder nicht objektiv genug gespeist wurden?
Danke für die Kommentare! Vieles wurde darin schon angesprochen, daher hier nur noch kurz zu zwei Punkten:
Ja, ChatGPT ist nicht gut für Recherchen geeignet, allerdings durchaus für das Zusammenfassen von Texten.
Mir ging es in meinem Blogbeitrag um die Chancen und Risiken von analytischer KI, welche (auch durchaus in Kombination mit generativer KI) zur Prognose von Studienerfolg und ggf. zur Ableitung von Fördermöglichkeiten genutzt werden können. Bislang gibt es noch nicht allzu viele Beispiele, aber sowie mir welche zur Kenntnis gelangen, werde ich dies ggf. gern hier aufgreifen.
@Lopez @Krempkow
Man muss die KI-Programme als das sehen, was sie sind: Werkzeuge, mehr nicht.
D.h. die mit KI-Programmen erhaltenen Antworten muss man immer zusätzlich mit den bekannten Strategien der Qualitätskontrolle auf Richtigkeit und Brauchbarkeit prüfen (z.B. stimmen Fakten, welche Fehlermöglichkeiten gibt es).
Qualität – ist ein Punkt welcher beim Thema KI oft zu kurz kommt: wie kann man sicherstellen, dass Fehler erkannt und vermieden werden können.
Ja, aber welcher Nutzer (d.h. in diesem Blog: welcher Student, weil es um Lernen in Universitäten geht) wird konkret eine Qualitätskontrolle auf Richtigkeit und Brauchbarkeit der Antworte vornehmen? Und wie soll grundsätzlich ein Lernender überhaupt prüfen können, ob Fakten stimmen oder Fehler vorhanden sind im Stoff, was er noch nicht kennt und zu lernen bekommt? Ein Student setzt stets voraus, dass was er zu lernen hat fehlerfrei ist. Wenn man ihm ein Werkzeug dafür gibt, das selbst Fehler verursacht und Falschinformationen gibt, wo ist der Sinn der Sache?
Ich habe soundso den Eindruck, dass ich nicht so richtig verstanden habe, worum es in diesem Blog geht, das ist sehr fachspezifisch. Sind die 2 vorgestellte Arte von KI (“beschreibenden Modellen” und “Prognosemodellen“) gar nicht für die Studenten und die Öffentlichkeit gedacht, sondern nur für das Lehrpersonal und die Lehrverwaltung? Soll hier KI universitätsintern helfen, herauszufinden, welche Faktoren Studenten zum Studienerfolg führen? Das würde bedeuten, dass wir in der Öffentlichkeit diese KI weder nutzen noch testen können und dementsprechend auch nichts darüber zu sagen haben. Das habe ich eben nicht so richtig verstanden.
Hier verweise ich auf den heutigen Kommentar des SciLog-Bloggers Jaromir Konecny in seinem aktuellen Nachbar-Blog über KI.
Herr Konecny erklärt dort nachvollziehbar und weiterbringend für Außenseiter und Nutzer, warum ein Sprachmodell wie ChatGPT manchmal völlig groteske Falschinformationen wie in Ihrem Fall produzieren kann, sprich warum es manchmal „halluziniert“.
Absolut lesenswerter Erklärung:
Jaromir Konecny – 07.08.2024, 09:25 Uhr
@Lopez
Wenn sich Antworten von KI-Programmen wie ChatGPT und perplexity.ai massiv unterscheiden, dann sind die Programme offenbar schlecht programmiert.
Wenn z.B. ChatGPT Buchtitel er-´findet´, welche nachweislich nicht als Bücher vorhanden sind – dann ist dies eine eindeutige Falschinformation. Denn man hätte diese Programme so entwickeln müssen, dass sie solche Informationen gegen Buchlisten des Handels oder von Bibliotheken abgleichen.
Aber die Qualität von KI-Programmen ist nicht das eigentliche Problem.
Denn wer so ein Programm benutzt, hätte die erhaltenen Informationen selbst nachprüfen müssen; ob sie stimmen. D.h. bei diesem Beispiel hätte man als User selbstständig nachprüfen müssen ob es die die angegebenen Buchtitel im Handel wirklich gibt.
Es ist schlimm, wenn Leute nicht bereit oder fähig sind, einfache Recherchen durchzuführen – sondern leichfertig jeden Unsinn glauben, den man ihnen vorsetzt.(Das war nicht gegen Sie persönlich gerichtet – sondern ist allgemein zu beobachten).
Dass man es nicht für notwendig findet, gründliche Recherchen durchzuführen, ist nicht nur in der Wissenschaft ein großes Problem sondern auch im Journalismus.
(off topic: Z.B. habe ich mich seit 2010 beim Bayerischen Rundfunk ca. 35x über schlechte Berichterstattung zum Thema ´Nahtod-Erfahrung´(NTE) beschwert und darauf hingewiesen DASS+WIE NTEs erklärbar sind: Bis heute werden NTEs vom BR als unerklärbar dargestellt. Ich habe dem BR 2010 und 2014 ein Buch mit dem NTE-Erklärungsmodell zugeschickt – und bekam die Bücher original in Folie verschweisst wieder zurück.
Dies ist ein Beispiel aus eigener Erfahrung. )
Wenn bekannt ist, dass KI-Programme ´halluzinieren´, dann ist dies ein schwerwiegender Fehler, der massive Auswirkungen haben kann. (Ich möchte z.B. nicht von einem KI-gesteuerten Auto überfahren werden – weil es zufällig gerade ´halluziniert.)
Weil solche schweren KI-Fehler bekannt sind, muss das Qualitätsbewusstsein der KI-User mit erhöhter Aufmerksamkeit und der Anwendung von Fehlerprüfstrategien einhergehen!
Zum Folgenden:
“…..Wenn sich Antworten von KI-Programmen wie ChatGPT und perplexity.ai massiv unterscheiden, dann sind die Programme offenbar schlecht programmiert…”
“….Wenn ich für die Anwendung von KI-Programmen sehr hohe Qualitätskontrollen einfordere, hat dies einen Grund: wenn Wissenschaftler keine Qualitätsregeln einhalten dann bekommen wir eine Fake-Wissenschaft, deren Ergebnisse nett aber letztlich wertlos sind….”
________________
Eine weitere Frage wäre (zumindest meines Erachtens) die nach den Gründen für die “Halluzinationen” -und vor allem für die “mangelhafte” Objektivität der (ersten) Antworten auf Fragen.
Sind es wirklich nur banale Programmiermängel, oder steckt hinter der “mangelhaften Objektivität” mehr als nur der Zufall, also eine gewissen “Agenda” , wie es ja auch bei Wikipedia oft zu beobachten ist. Dort als (für mich offensichtliche ) politische Nachzensurversuche erkennbar.
Anders formuliert: Ist die ganze Geschichte …
a ) das Ergebnis bewusster algorithmischer Funktionsgestaltung oder von Prä- Filterung und “manueller” Nachkorrektuer nach jeweiligen politisch- gesellschaftlichen Vorgaben oder Agenden privatwirtschaftlicher Firmen bzw. Konzerne?
oder
b) ein rein zufälliges Produkt schludriger Architektur der Algorithmen?
(Man entschuldige eine eventuell zu oberflächlich- laienhafte Formulierung der Problematik)
@little Louis
KI-Programme sind nur Werkzeuge – welche für manche Zwecke gut geeignet und für andere Anwendungen eher ungeeignet sind.
Aus diesem Grund liegt die Verpflichtung beim Anwender, zu prüfen wie gut die Qualität von KI-Programmen für einen bestimmten Zweck ist.
Im einführenden Beitrag wurden Beispiele aus einem Buch vorgestellt – wo man mit KI-Programmen gut brauchbare Ergebnisse erzielt hat.
Das sind positive Beispiele – die aber nicht zu wissenschaftlicher Fahrlässigkeit verleiten sollten: Es muss immer eine Qualitätskontrolle und Faktenprüfung erfolgen – denn wer mit KI-Programmen erzielte Ergebnisse verbreitet, trägt dafür die Verantwortung.
Und für welche Zwecke sind denn nun KI-Programme geeignet? Ist KI für Schüler und Studenten wirklich ein geeignetes Hilfsmittel zum Lernen?
Warum berichten hier keine Schüler und Studenten was von persönlichen Erfahrungen? Da hier nichts zum eigentlichen Thema kommt…
…kann ich über den Thread nur folgendes Urteil abgeben.
Setzen Sechs, wegen konsequenter Themaverfehlung.
Und für welche Zwecke sind denn nun KI-Programme geeignet? Ist KI für Schüler und Studenten wirklich ein geeignetes Hilfsmittel zum Lernen?
Da dies mehrfach in Kommentaren gefragt wurde, hier eines der (bisher wenigen) Beispiele für die Nutzung von KI-Programmen im Studium:
https://www.iu.de/syntea/
Syntea ist ein individualisiertes Lernprogramm, dass die Ansätze generativer (textgenerierender) KI und analytischer (zahlenbasierter) KI miteinander verbindet. (Diese Unterscheidung ist wichtig zum Verständnis der Funktionsweise.) Auf der Webseite der IU International University of Applied Sciences heißt es zu Syntea:
“Wir haben als Deutschlands erste Hochschule eine eigene Lern-KI für Dich entwickelt, die Dich noch erfolgreicher durchs Studium bringt. Mit Syntea kannst Du Kurse um 27% schneller abschließen, hat unsere Studie gezeigt.” (Hier der Link zur Studie, die exemplarisch den Nutzen der KI in Syntea darstellt: https://arxiv.org/abs/2403.14642.) Fun fact: Die darin auch dargestellten Prüfungsergebnisse sind fast identisch zwischen Syntea-Nutzenden und -Nichtnutzenden.
Weiter heißt es auf der Webseite zu Syntea:
“Sie unterstützt Dich zuverlässig, individuell, 24/7 – und zwar genau so, wie es zu Dir und Deinem Lernstil passt. Syntea ist dafür da, Dich flexibel und effizient beim Lernen zu begleiten. Du bekommst jederzeit Antworten auf Deine Fragen zum Skript, die unsere Lehrenden verifizieren. In vertiefenden Lern-Sessions führt Dich Syntea systematisch durch den Stoff, damit Du die Inhalte kritisch reflektierst und besser verstehst. Außerdem kannst Du Dein Wissen testen: Denn Syntea stellt Dir gezielte Fragen zum Stoff.”
Gern kann über die Studie, die exemplarisch den Nutzen der KI aufzeigt, hier diskutiert werden. Allerdings bitte ich darum, Allgemeinplätze und abwertende Formulierungen zu vermeiden, da dies ansonsten moderiert wird.
Einige exemplarische Fragen, die sich mir beim Lesen der Studie stellten, waren z.B.: Könnte das um 27% schnellere Abschließen der Kurse bei fast gleichen Prüfungsergebnissen evtl. dennoch ein sogenannter “Early-Adapter”-Effekt sein, d.h. dass es ggf. (auch) daran liegt, dass bislang v.a. stärker Interessierte bzw. Motivierte es nutzen? Inwiefern hängen das schnellere Abschließen und die Prüfungergebnisse evt. auch mit der Zusammensetzung der Studis zusammen, z.B. nach Alter, Geschlecht, sozialer Herkunft, Art der Hochschulzugangsberechtigung, Vorleistungen im Studium usw.? Und was bedeutet dies ggf. für eine gezielte(re) Förderung von bestimmten Studierendengruppierungen? (Womit sich hier der Kreis zu einigen in meinem Blogbeitrag aufgeworfenden Fragen schließt. ;-))
P.S.: Und zum Thema generelle Kritikpunkte bzgl. generativer KI gibt es hier noch ein Discussion Paper, das dies Thema vielseitig aufgreift: https://www.researchgate.net/publication/379824818_ChatGPT_-_A_Critical_View.