Mindset-teori og hvorfor det ikke holder

I undervisningsverdenen, særligt gymnasierne, er der konsensus om at når man giver feedback til en studerende, så skal man kritisere værket og ikke personen. Den tilgang er jeg ikke uenig i af høflighedsmæssige årsager. Når det er sagt har jeg i min egen gerning som gymnasielærer, aldrig oplevet en studerende som ikke tog kritik bare lidt personligt uanset formulering, ordlyd og tone. Det er måske mig der ikke er ligeså høflig og konfliktsky som jeg selv antager og min personlige oplevelse er da heller ikke bevis for noget, men det er ikke desto mindre min motivation for følgende holdning: Det er et spørgsmål om almindelig høflighed ikke at lave personangreb på sine medmennesker, men jeg ser ingen grund til at tro, at ordlyden af kritik, såfremt den er indenfor rammerne af almindelig kommunikation, har nogen dybere effekt på studerendes akademiske formåen.

Der har altid været mere eller mindre høflige undervisere som skulle give feedback til deres studerende. Italesættelsen af forskellen på at rette feedback/kritik imod personen eller deres produkt (f.eks. en stil) er dog noget som har gjort indtog i nyere tid. Mere specifikt som følge af nyere psykologisk forskning. Ideen er at man, ved at italesætte den studerendes arbejde og proces, fremfor deres person, implicit lærer dem at intelligens er en fleksibel størrelse og at deres formåen er et resultat af deres indsats. Det er ingen vel uenig i? Skulle man omvendt, på brutal og overfladisk vis, komme til at rose eller kritisere den studerende som person, så lærer man dem implicit at deres resultater er et produkt af uforanderlige kvaliteter ved dem selv. Det er denne tænkning jeg er uenig i.

”Mindset Theory” er teorien om hvordan en studerendes mindset påvirker deres evne til at håndtere udfordringer, samt deres akademiske formåen. Ideen er kort sagt at der findes to typer af mennesker: Dem med ”growth mindset” og dem med ”fixed mindset”. En person med growth mindset er en person som tror på at intelligens er foranderligt og at man i praksis kan opnå meget så længe man blot bruger tid og energi på det. Dette er modsat fixed mindset hvilket er når folk tror om dem selv at de ikke kan udvikle sig og eksempelvis mener at de bare af uforklarlige eller ukontrollerbare årsager er dårlige til matematik.

Der er ingen tvivl om at der findes mennesker som generelt antager det ene eller andet om dem selv og som derfor kan siges at have enten growth eller fixed mindset. Det er således ikke derfor at psykolog Carol Dwecks teori er radikal og tvivlsom. Teorien er radikal og tvivlsom fordi den postulerer, at hvis blot man kan ændre en persons mindset fra fixed til growth, så vil det også gøre dem i stand til at opnå bedre akademiske resultater. Det skal således påvises at folk med fixed mindset rent faktisk opnår dårligere resultater, modsat folk med growth mindset. Ligeledes skal det påvises at det, med den rigtige intervention er muligt at overbevise en person om, at intelligens er foranderligt. Derudover skal det påvises at når man har overbevist en person om dette, og succesfuldt fået dem til at ændre mindset, så bliver de også bedre rent akademisk og opnår bedre resultater, højere karakterer etc. Dette er alt sammen besværligt blandt andet fordi det er besværligt at skelne mellem holdninger og mindsets. Hvad angår holdninger, så er folk meget forskellige med hensyn til hvilke holdninger de er klar til at ændre, og hvilke de ikke er. Hvis man på kort tid får dem til at ændre holdning omkring foranderligheden af intelligens, betyder det så at de også har ændret mindset? Er et mindset noget som kan påvises ved at man spørger folk til deres holdning, eller er det dybereliggende? For der er uden tvivl nogle mennesker for hvem diskussioner og tanker om intelligens aldrig har været relevant og som derfor sikkert er klar til at påtage sig et growth mindset med det samme i forstand af at erklære sig enige med at intelligens sikkert er fleksibelt, hvilket lyder plausibelt. Har man så et ”growth” mindset når man svarer i et interview eller på et spørgeskema at man mener at intelligens er fleksibelt?

Der har været en del kritik af Dwecks mindset teori (se links forneden). Ikke desto mindre er mindset teori blevet taget kærligt imod i uddannelsesverdenen og udbredes, som man kan læse om i kritikken, fra statslig side i England og også institutionelt i Danmark. Dette skyldes nok primært at mindset teori får det til at virke som om, at man ved minimal indsats, som at ændre ordlyden i sin kritik af studerendes arbejde, kan ændre de studerende til at blive bedre. Dette er også hovedårsagen til at jeg ikke synes at det virker som en plausibel teori.

For nylig nåede populariteten af teorien nye højder da en af Dwecks kollegaer (David S. Yeager), samt Dweck selv, fik udgivet et stort og meget velskabt studie i superjournalen Nature. Studiet (”A national experiment reveals where a growth mindset improves achievement”) blev promoveret i flere aviser som om mindset-teori havde ”knækket koden” indenfor uddannelse. Læser man imidlertid studiet igennem, som er det jeg gør her, så vil man se at der virkelig ikke er noget nyt under solen. Hertil bør det nævnes at selve artikel-teksten heller ikke oversælger resultaterne så meget, som tidligere mindset studier (men alligevel nok til at jeg gider skrive om det).

Når man laver et mindset-studie handler det om, som det oftest gør i uddannelsesforskning, at finde på en eller anden intervention som giver studerende et growth mindset. Man skal altså først finde på et eller andet de skal lave og så påvise at de havde mere growth mindset efter de gjorde det end før. Derefter skal man så påvise at de med mest growth mindset så også klarer sig bedre i skolen end de med mindre growth mindset (fixed mindset).

Studiet af Yeager et al. som jeg gennemgår her er et af de største af sin slags og meget veldesignet idet at der er mange elever fra mange, amerikanske skoler, de er tilfældigt udvalgte og både interventionen og dele af analysen er ”blinded”. Det betyder at forskerne ikke på forhånd ved hvem der har fået interventionen og hvem der ikke har, hvilket reducerer fejlkilder, som at lede efter et bestemt, ønskeligt resultat.

 

Interventionen

Nøgleordet i at forstå eksperimentet er at forstå hvad ”interventionen” gik ud på.

Ordet ”intervention” bruges i uddannelsesforskning som en generel betegnelse for hvad end forskerne gør for at opnå en bestemt effekt hos dem de undersøger. I dette eksperiment var der således tale om at lave en intervention for at give en gruppe studerende growth mindset. Interventionen gik ud på at de studerende skulle læse og skrive om at intelligens er foranderligt. Vedrørende et tidligere mindset studie, med en lignende intervention kaldte filosof og psykiater Scott Alexander (se links til kritikkere længere nede) da også interventionen for en ”non-intervention”. Med andre ord kan man spørge om vi overhovedet bør forvente nogen af effekt af at få folk til at læse og skrive om en tekst.

Interventionen forløb for alle de involverede studerende over to sessioner.

I første session deltes de studerende (tilfældigt, blinded), på deres respektive skoler, op i to grupper, en testgruppe som fik growth mindset interventionen, og en kontrolgruppe. Testgruppen gik online og læste på en hjemmeside, som nævnt, om evidens for hjernens plasticitet, hvilket vil sige at de udsættes for en masse viden som indikerer at intelligens er en foranderlig størrelse. Derefter skulle de skrive om hvad de havde læst, under påskud om at deres tekst kunne bruges til andre studerende.

Ideen er at de ved selv at forsøge at forklare det de har læst, ved at skrive om det, internaliserer ideerne om intelligens og derved selv får growth mindset. Kontrolgruppen skulle imidlertid læse om lokalisationen af diverse ”funktioner” i hjernen, hvilket de ligeledes skulle skrive om. Dog, som de skriver i studiet, skulle kontrolgruppen ikke skrive ”internaliserende” som testgruppen, men ”opsummerende”. Implikationen af denne forskel er at de ikke opnår et bestemt mindset ved blot at opsummere og at det er skrivedelen af interventionen der har den primære effekt. Lad mig dog lige stoppe her et øjeblik og spørge: Hvis vi antager at interventionen, som udført på testgruppen, giver et growth mindset, hvorfor ville vi så ikke antage at enhver situation hvori man læser noget og skriver om det bagefter, ikke har lignende effekter på ens mindset? Bør vi ikke antage, givet studiets logik, at der er alle mulige mindsets som er i konstant forandring i respons på små læse/skrive øvelser?

I anden session af interventionen, som forløb nogle uger senere, skulle de studerende igennem en lignende øvelse med mere fokus på applikationen af deres fleksible intelligens i hverdagen.

For at opsummere: Omkring seks tusinde elever på forskellige skoler i USA blev inddelt i henholdsvis testgruppe og kontrolgruppe. Over to sessioner af i alt ca. 50 minutter læste og skrev testgrupperne om hjernens plasticitet, og blev derved promptet med ideer om at hjernen vokser og bliver stærkere. Ideen fra forskerne var at troen på at dette er tilfældet er en indikation på growth mindset og at de med growth mindset klarer sig bedre akademisk, end de som ikke har growth mindset. Med hensyn til udvælgelse af studerende og studiets design er der tale om et studie af rigtig god kvalitet (mange studerende, forskellige skoler, blinded etc.).

Jeg vil også notere her, som også noteres i en af de kritikker jeg har linket til, at interventioner generelt, både for mindsetteori og uddannelsesforskning i det hele taget, bærer præg af antagelser om priming. Begrebet priming kommer af en række studier indenfor psykologien der fik meget omtale for et par år siden. De fandt ganske enkelt magiske og usandsynlige kvaliteter ved mennesker, som eksempelvis:

• Man bliver mere åben overfor andre mennesker hvis man holder noget varmt i hænderne.
• Man går langsommere hvis man har læst en tekst med ord associeret med alderdom.
• Man bliver mere grådig hvis man udsættes for ord og symboler associeret med penge.
• Man donerer flere penge, hvis man føler sig overvåget (se nobelprismodtager Daniel Kahnemans klassiker fra 2005 “At Tænke Hurtigt og Langsomt” for mere. Se også psykolog John Barges arbejde).

Med andre ord handler priming om at småting i vores omgivelser har markante, indirekte effekter på vores adfærd, uden at vi ved det. Teorien er således også ret afhængig af at “underbevidstheden” virker på en forudsigelig måde. Det er nok af samme årsag at primingstudier systematisk er fejlet når man har forsøgt at genskabe dem (Se her for teksten der startede hvad man i dag kender som “replikationskrisen” i psykologi og sociologi. Det går kort sagt ud på at utrolige mængder af psykologisk og sociologisk forskning ikke kan genskabes. Dette problem betyder også at der faktisk ikke er nogen reel videnskabelig baggrund for programmer som DR’s “Fckr md dn hjrn” eller diverse programmer med Darren Brown. Udover det betyder det at der generelt ikke er nogen grund til at antage at symboler og ordlyde i hverdagen har forudsigelige effekter på vores adfærd. Det er selvfølgelig generelt korrekt at mennesker påvirkes af deres omgivelser, men der er ingen grund til at tro i noget enkeltstående tilfælde, at en bestemt faktor har en bestemt indflydelse).

Mindset teori og interventioner i mindset teori, som den jeg har beskrevet her, baserer sig på en antagelse om at hvis man fremviser information som indikerer at intelligens er fleksibelt, så påvirker man folks adfærd. Man påvirker dem underbevidst, eller mere specifikt: man primer dem til at klare sig bedre i skolen. Omtalte studie er derfor også et studie i effekterne af priming. Effekter som vi, givet primings historie, ikke bør forvente eksisterer.

Interventionen havde først og fremmest til formål at reducere graden hvormed eleverne havde fixed mindset og dermed implicit øge graden af growth mindset. Dette testede forskerne med likert-skalaer fra 1-6 hvor eleverne skulle vurdere hvor enige de var i sætninger som: ”Du har en bestemt mængde intelligens og du kan ikke gøre meget for at ændre det” (”You have a certain amount of intelligence, and you really can’t do much to change it”). Hvor 1 er meget uenig og 6 er meget enig, hvilket betyder at jo lavere tallet, jo mindre fixed mindset, jo mere growth mindset.

Med andre ord måles interventionens effekt på eleverne ved at sammenligne gennemsnittene af testgruppens og kontrolgruppens svar. Graden hvormed testgruppen, som fik interventionen, svarer anderledes end kontrolgruppen, kalder man effektstørrelsen. Effektstørrelsen siger altså noget om hvor meget mere anderledes testgruppen er blevet på grund af interventionen, hvad angår deres besvarelser af ovennævnte spørgsmål. Besvarelser der jo indikerer graden, fra 1-6, hvormed eleverne har fixed-mindset. Hvis både testgruppe og kontrolgruppe i gennemsnit svarede præcis 3,5 på skalaen, så ville effektstørrelsen være lig 0. Altså ingen forskel på de to grupper. Det resultat ville være overraskende, selv hvis der ikke var nogen intervention, for der er altid forskelle mellem grupper. Hvis kontrolgruppen i gennemsnit svarede 5 og testgruppen 1, så ville vi kigge på en effektstørrelse på 2,0 eller 3,0. Det ville betyde at grupperne var så forskellige at de var 2 eller 3 standard deviationer fra hinanden. Og, fordi eksperimentet involverer flere tusinde, tilfældigt udvalgte elever fra forskellige skoler, som kun har interventionen til fælles, så måtte vi antage at den store effekt kom sig af interventionen. Så kunne vi erklære at interventionen har en fantastisk stor effekt og at alle som udsættes for den får growth mindset. Kunne vi så også vise at growth mindset giver bedre karakterer, jamen så var løkken gjort. Alle skoler kunne gøre deres elever bedre med den intervention som jeg beskrev ovenfor. Dette er dog sjældent, for ikke at sige aldrig, tilfældet i uddannelsesforskning, men det kommer jeg tilbage til.

Udtrykket standard deviation bruges til at beskrive hvor langt medlemmerne af en gruppe, som dem jeg har nævnt, typisk afviger fra gennemsnittet. Det kan være at gennemsnittet fra testgruppen på skalaen fra 1-6 er 3, men at hver enkelt respondent typisk ligger 0,5 fra gennemsnittet, så ville vi sige at en standard deviation i denne sammenhæng var 0,5. Derfor er det klart at hvis interventionen flytter testgruppens gennemsnit en standard deviation fra kontrolgruppen, så er der tale om en markant effekt. Det gjorde den imidlertid ikke. I nærværende eksperiment havde interventionen en effektstørrelse på 0,33. Altså 0,33 standard deviation var forskellen på testgruppen og kontrolgruppens gennemsnitlige besvarelse af omtalte skala fra 1-6. Testgruppen, eller alle testgrupperne på tværs af diverse skoler, havde i gennemsnit 0,33 standard deviation mindre fixed mindset end kontrolgrupperne. Selvom vi ikke kender den præcise standard deviation så lad mig forsøge at sætte dette i perspektiv. Det betyder:

• At 62% af kontrolgruppens medlemmer scorede under testgruppens gennemsnit. Hvis testgruppens gennemsnit på omtalte skala var 3, så var 62% af kontrolgruppen under det. Hvis der ingen effekt var af interventionen og effektstørrelse var 0,0, så ville 50% af kontrolgruppens medlemmer scorer under testgruppens gennemsnit. Vi snakker altså kun om en 12% forskel hvis vi sammenligner på den måde.
• En anden måde at se det på ville være at spørge hvor ofte vi, ved at kigge på elevernes besvarelser på skalaen, kunne udpege hvilke elever der kom fra enten testgruppen eller kontrolgruppen. Svaret er omkring 56% af tiden. 56% af tiden ville vi kunne se på besvarelserne hvilke elever der havde fået interventionen. Det er 6% mere end hvis vi slog plat eller krone. Kun 6% mere end hvis ingen havde fået interventionen og grupperne var fuldstændigt sammenlignelige.
• En tredje måde at se det på er hvis vi tilfældigt udvalgte og sammenlignede to personer fra hver deres gruppe. Sandsynligheden for at personen fra testgruppen havde mindre fixed mindset end personen fra kontrolgruppen er 0,58, altså 58%.

Vi kan vende og dreje en effektstørrelse på 0,33 på mange måder, men den er lille. Normalt ville jeg ikke sige at en effektstørrelse på 0,33 er så lille at vi ikke engang kan vide om interventionen har en effekt, men det vil jeg gøre i dette tilfælde. Det er der to årsager til. For det første, som jeg har beskrevet, er interventionen samlet set 50 minutters skrivning og læsning. Det kan måske ændre et mindset lidt, givet at mindset egentlig bare er et andet ord for holdning. For det andet så taler vi om en effektstørrelse der er udtryk for to gruppers besvarelse af tre udsagn med likert-skalaer fra 1 til 6. Kan vi forvente at personer der eksempelvis har svaret 3 på sådan en skala også gør det næste gang, på samme spørgsmål når der ikke er en intervention? Og kan vi, for at sige det samme på en anden måde, forvente at kun interventionen har indflydelse på deres besvarelser? Imellem to på alle måder tilfældige grupper kan det da ikke undre nogen at besvarelserne ændrer sig lidt af helt og aldeles ukontrollerbare årsager. En uengageret folkeskoleelev tænker måske ikke engang over hvordan de svarer. Med andre ord er både interventionen og de skalaer dens effekt måles på, papirtynde.

Der er et interessant afsnit i studiet tituleret ”expected effect sizes”, hvori det understreges, hvilket gøres alt for sjældent, at man i uddannelsesforskning, i gode studier, aldrig finder særligt signifikante effekter af interventioner. Med andre ord er det ofte ligegyldigt hvad forskerne nu har fundet på at underviserne skal gøre for at hjælpe de studerende med at lære, for effekterne er utrolig små. Forskerne laver dog et interessant trick i forsvaret for deres egne resultater. Lad os sige at interventionen, som jeg har indikeret med mine eksempler, flytter omkring 9% af elever som udsættes for den. Hvis man udsætter en million elever for den, så har man flyttet 90.000 elever, og det ville jo være en fantastisk succes! Det er muligt, at det er sådan, men jeg ser det som statistisk drømmeri. Pointen er ikke at en intervention med ringe effekt blot kan udføres flere gange, men at vi reelt ikke kan vide om der overhovedet er en effekt. I alle sammenligninger af grupper vil man som minimum få en eller anden lille effekt, alene fordi, som sagt, alle grupper er lidt forskellige fordi alle mennesker er lidt forskellige. Derfor tror jeg ikke på ”det skal bare være stort nok” forklaringen.

Det vi ved nu er at interventionen måske gør at nogle elever har mindre fixed mindset, hvad vi ikke ved er om de af denne grund også klarer sig bedre i skolen?

For at sige det kort så havde interventionen en effekt på 0,11 på elevernes karaktergennemsnit. Problemet er således det samme som før, men i endnu højere (lavere?) grad. Det er endnu mere muligt at denne effektstørrelse er så lille, at det vi ser i virkeligheden er almindelig, tilfældig variation mellem grupper.

For lige at understrege en ekstra gang:

Interventionerne/sessionerne tog i gennemsnit 25 minutter hver. Eleverne læste og skrev om hjernen/intelligens foranderlighed. Vi leder altså efter effekter af i alt 50 minutters intervention, som skal være synlige i op til flere måneder senere.

Man fristes til at spørge hvilke årsager vi har til at antage, at en så lille intervention, skulle have en markant effekt på noget som helst? Grunden til at jeg understreger dette er også, at man jo igen kan bruge ekstrapolerings-tricket. Man kan sagtens påstå, at trods den lille effekt, så vil interventionen ændre flere tusinde menneskers liv, hvis bare vi udsætter en million mennesker for den. Jeg er mere tilbøjelig til at antage, som jeg nu gentager endnu engang: Uanset hvilke to grupper man sammenligner på en given attribut, så vil man få en effektstørrelse der ikke er lig 0.

Konklusion

Et stort, utroligt veldesignet studie udgives i superjournalen Nature med en titel der indikerer at mindset teori virker i praksis. Effektstørrelserne afslører at der intet er at se her. Man kunne have fået de samme effektstørrelser, havde man ikke gennemført interventionen.

Resultaterne passer fuldstændigt med resultaterne fra et næsten ligeså stort studie (ca. 5000 elever fra 101 skoler) fra England (juli 2019). I dette studie af Foliano et al. var interventionen lidt anderledes, men de fandt heller ingen effekt af deres mindset-intervention på noget som helst. Deres forklaring var at mange undervisere allerede arbejder ud fra mindset-teori og derfor var der ingen effekt at måle, da flertallet af elever således allerede havde growth mindset. Den forklaring er dårlig og forkert, den rigtige forklaring er at der ikke findes lette måder at øge elevers akademiske formåen på. Hvis en intervention på under 50 minutter kan øge en persons akademiske formåen markant, så indebærer den stoffer, magi eller hidtil ukendt teknologi.

 

Litteratur

Yeager et al. studiet i Nature https://www.nature.com/articles/s41586-019-1466-y

Yeager et al. studiets rapport om kontekst for og metoder bag eksperimentet: https://static-content.springer.com/esm/art%3A10.1038%2Fs41586-019-1466-y/MediaObjects/41586_2019_1466_MOESM1_ESM.pdf

Foliano et al. et stort britisk studie, som heller ikke finder signifikante effekter af deres mindset-intervention https://educationendowmentfoundation.org.uk/public/files/Projects/Evaluation_Reports/Changing_Mindsets.pdf

 

Tidligere kritikker af mindset teori:

https://slatestarcodex.com/2015/04/08/no-clarity-around-growth-mindset-yet/

https://disidealist.wordpress.com/2014/12/05/242/