Skader AI feedback elevernes læring? Et nyt stort forsøg giver et svar, der burde få enhver underviser til at stoppe op. 1.176 førsteårsstuderende på fire universiteter fik feedback fra kunstig intelligens på deres kladder i ti uger. Dem, der fik AI feedback med det samme, forbedrede sig hurtigst. Men uger senere, da de blev testet uden brug af kunstig intelligens, klarede de sig værst af alle grupper. Det er ikke bare et spørgsmål om feedback. Det er et spørgsmål om, hvem der tænker.
Hvorfor handler det om feedback?
Feedback er undervisningens motor. Det er det, der får en elev til at se sit eget arbejde med nye øjne. Nu får lærere og undervisere på alle niveauer værktøjer, der kan levere feedback på sekunder. Spørgsmålet er ikke længere, om kunstig intelligens kan give god feedback. Det kan den sagtens. Spørgsmålet er, hvornår feedbacken kommer, og hvem der har gjort arbejdet, inden maskinen kommer til.
Hvad viste forsøget med AI feedback?
En forskergruppe ledet af Ates kørte et randomiseret forsøg med 1.176 førsteårsstuderende på fire universiteter. De blev delt i forskellige feedbackdesign og fulgt i ti uger. I det ene design kritiserede kunstig intelligens kladden i samme øjeblik, som den blev afleveret. De studerendes kladder forbedrede sig hurtigst. Men da de uger senere blev testet uden hjælp, klarede de sig dårligst af alle.
Grunden er ikke svær at se. Når kunstig intelligens bedømmer først, holder eleven op med at bedømme sit eget arbejde. Eleven retter bare det, maskinen har peget på. Og bedømmelsen er netop den del af læringen, der bygger færdigheden. Den blev overdraget, uden at nogen opdagede det.
To minutter der vender det
Det vindende design ændrede kun ét enkelt trin. Før feedbacken fra kunstig intelligens blev givet, skulle eleven bruge to minutter på at bedømme sin egen kladde. Pege på det stærkeste punkt. Det svageste. Én ting eleven er i tvivl om. Og hvad der skal prioriteres at rette. Ikke en stor øvelse, bare en liste eleven selv skulle finde frem til.
Den gruppe fik både den største øjeblikkelige forbedring og klarede sig bedst på den forsinkede test. Omkring 40 procent af den langsigtede gevinst kom fra elevens egen vurdering. Og de mindst erfarne studerende fik mest ud af det. Det var to minutter helt uden teknologi. Alligevel var det den ændring, der betød mest.
Det forkerte spørgsmål
På den forsinkede test, hvor eleverne ikke måtte bruge kunstig intelligens, endte designene med kunstig intelligens både sidst og først. Feedback fra mennesker lå midt imellem. Værktøjet var det samme, modellen den samme, mængden af kunstig intelligens den samme. Det, der adskilte det bedste fra det værste design, var ikke, hvem der skrev feedbacken. Det var, hvilket stykke tænkning der skiftede hænder.
At spørge, om AI feedback er bedre end menneskelig feedback, er at stille det forkerte spørgsmål. Det rigtige spørgsmål er, hvordan feedbackprocessen er designet. Det går lige ind i den danske debat om kontrol og strakspakker mod snyd og hænger sammen med friktion som læringens motor.
Hvad kan du bruge det til?
Der er tre greb, jeg ville tage med direkte i klasserummet. Lad eleven gå først, så eleven har et ståsted, før kunstig intelligens kritiserer. Sæt værktøjet op, så det kritiserer i stedet for at færdiggøre, og få det til at pege på styrker, svagheder og manglende beviser uden at levere hele svaret. Og lad eleven tage stilling til forslagene med en begrundelse, så afvisningerne bliver synlige. Den lille memo, hvor eleven skriver, hvad der tages med og afvises, er dér, hvor bedømmelsesfærdigheden faktisk bygges.
Der er også noget, jeg håber flere skoler tager alvorligt, og det er at måle læringen uden brug af kunstig intelligens. I forsøget vandt det værste design på dagens kladde. Først da værktøjet blev fjernet, kom sandheden frem. Hvis vi kun måler præstationen med brug af teknologien, kan vi ikke skelne kunnen fra afhængighed.
Jeg har tidligere skrevet om, hvor kunstig intelligens skaber reel værdi i undervisningen, og om farezonen, når teknologien gør læringsdesign fladt. Denne forskning er den konkrete brugsanvisning til at undgå begge dele. Forsøget er beskrevet i Philippa Hardmans nyhedsbrev og udspringer af studier i International Journal of Educational Technology in Higher Education.
Kort sagt: AI feedback skader ikke læringen i sig selv. Det gør feedback, der kommer, før eleven har tænkt. To minutters selvbedømmelse før maskinen svarer, er forskellen mellem det bedste og det værste feedbackdesign i forsøget. Drop spørgsmålet om menneske mod maskine. Lad eleven tænke først og maskinen bagefter.
