En studie som hävdade att OpenAI:s ChatGPT kan påverka elevernas lärande positivt drogs tillbaka nästan ett år efter att den publicerades. Tidskriftsutgivaren Springer Nature citerade ”inkonsekvenser” i analysen och bristande förtroende för slutsatserna, men inte innan tidningen hade samlat in hundratals citat och spridits på sociala medier.
”Artikelförfattarna har gjort mycket uppmärksammade påståenden om fördelarna med ChatGPT på läranderesultat”, säger Ben Williamson, universitetslektor vid Centre for Digital Education Research och Edinburgh Institute for Future Research vid University of Edinburgh i Skottland, i ett mejl till Ars. ”Detta behandlades av många på sociala medier som ett av de första hårda guldstandardbevisen på att ChatGPT, och generativ AI mer allmänt, kan gynna eleverna.”
Den tillbakadragna artikeln försökte kvantifiera ”effekterna av ChatGPT på elevers inlärningsprestanda, inlärningsuppfattning och högre ordningstänkande” genom att analysera resultaten från 51 tidigare studier. I den metaanalysen beräknades effektstorlekar mellan experimentella grupper av olika studier som använde ChatGPT för utbildning och kontrollgrupper som inte använde AI-chatbots.
Enligt forskarna som skrev uppsatsen visade deras analys att ”ChatGPT har en betydande positiv inverkan på att förbättra inlärningsprestandan” och ”en måttlig positiv inverkan på att förbättra inlärningsuppfattningen och främja tänkande av högre ordning.” De nu tillbakadragna studieresultaten publicerades först i tidskriften Humanities and Social Sciences Communication, publicerad av Springer Nature den 6 maj 2025.
”I vissa fall verkar det som att de har syntetiserat studier av mycket dålig kvalitet eller blandade resultat från studier som inte kan jämföras exakt eftersom deras metoder, populationer och prover är så olika,” sa Williamson till Ars. ”Det verkade som en tidning som aldrig borde ha publicerats i första hand.”
Williamson ifrågasatte också tidpunkten för tidningens publicering bara två och ett halvt år efter att OpenAI släppte ChatGPT i november 2022. ”Det är orealistiskt att dussintals högkvalitativa studier om ChatGPT och inlärningsprestanda har genomförts, granskats och publicerats under den perioden”, sa Williamson.
Arv som kan överleva återkallelse
Sedan publiceringen har studien citerats 262 gånger i andra artiklar publicerade av Springer Natures referentgranskade tidskrifter, och har fått totalt 504 citeringar från både referentgranskade och icke-referentgranskade källor. Den fick också tillräckligt med uppmärksamhet online för att locka nästan en halv miljon läsare och rankas i den 99:e percentilen av tidskriftsartiklar när det gäller uppmärksamhetspoäng.
