Författararkiv: Christian Lundahl

Om Christian Lundahl

Christian Lundahl (f. 1972) är professor i pedagogik vid Örebro universitet. Lundahl bedriver forskning om prov, betyg och intelligensmätningar i ett historiskt och internationellt perspektiv. Han har undervisat på Studie och yrkesvägledarprogrammet, lärarutbildningen och rektorsutbildningen kring statlig styrning, utvärdering och bedömning. Disputerade 2006 på avhandlingen: Viljan att veta vad andra vet. Kunskapsbedömning i tidigmodern, modern och senmodern skola. 2009 kom Lundahl ut med boken Varför nationella prov? – framväxt, dilemman, möjligheter. Christian Lundahl har tillsammans med Maria Folke-Fichtelius gett ut antologin Bedömning i och av skolan. Praktik, principer, politik (2010), och 2011 kom boken Bedömning för lärande. Lundahl ingår i flera internationella nätverk kring bedömning, utvärdering och utbildningspolitik och samverkar med Humboldt universitetet i Berlin, Universitetet i Edinburgh samt Oslo universitet. Tillsammans med kollegor från Linköpings universitet, Göteborgs universitet och Högskolan i Kristianstad har Lundahl ett 5 årigt forskningsprojekt från Vetenskapsrådet för att studera effekter av godkänt gränser i betygssättning samt av betygsättning från åk 6. Lundahl är också forskningsledare för projektet From Paris to PISA vilket finansieras av Vetenskapsrådet och handlar om internationella skoljämförelsers historia. Lundahl har publicerat ett flertal artiklar kring bedömning i svenska och internationella tidskrifter och antologier. Lundahl har också tillsammans med kollegor vid Karlstads universitet 2013-2014 utvecklat Sveriges första MOOC för lärarfortbildning med runt 30 000 kursdeltagare i en kurs om betyg och bedömning. Han har också tidigare arbetat som utredare vid Skolverket under 10 år. www.paristopisa.com Följ även Christian Lundahl via Twitter: @DrLundahl

Hur OECD vill att svensk skola ska utvecklas – en bild med tusen ord

Idag kom OECDs rapport Improving schools in Sweden: An OECD perspective. Den som tidigare läst OECDs landsrapporter känner igen mycket av retoriken och förslagen. Se hur jag gissade vad OECD skulle ta upp i januari 2014 här. En sak som jag inte hade gissat var att OECD skulle lägga så mycket av utvecklingsansvaret på eleverna och lärarna. Där de tidigare haft ett tydligt fokus på systemförändring är det nu lärarna och eleverna som ska göra de stora förbättringarna. Det är dock inte möjligt om inte omgivande aktörer drar åt samma håll och att lärare och elever ges rätt slags stödjande strukturer, skriver OECD.

En sammanfattande bild över vad flitigt självrefererande OECD anser att svensk skola behöver får vi med ett ordmoln över rapportens mest förekommande ord:

OECD rapport 2015 word cloud

En illustration av att det är OECDs perspektiv och att det handlar om att förbättra och utveckla lärare och elever får vi om vi tittar närmare på det vanligaste orden:

wordcount lista

Det är på många vis kloka och välbalanserade förslag OECD avger, men bakom dem finns oerhört mycket komplexitet. Hur ändrar man elevers attityder till skolan? Hur ökar man läraryrkets attraktionskraft? Hur blir det fria skolvalet mer likvärdigt? Hur kan man utveckla samarbetet mellan kommuner och friskolor? Hur får man skolinspektionen att bli mer av en skolutvecklingsmyndighet? Det ska bli spännande att se vad den svenska skolkommissionen sätter upp på sin ”att göra lista”, och framför allt att se deras förslag på hur det ska göras.

Använd Facebook för att kommentera detta inlägg

Hur uppstår en svag prestation?

I PISA rapporteringen finns en kategori som kallas low performance, dvs. svaga prestationer och dålig förmåga att klara PISA-uppgifter. OECD menar emellertid att svaga resultat på PISA-uppgifterna får vidare konsekvenser och skriver om denna prestationskategori:

Countries with large numbers of students who struggle to master basic reading skills at age 15 are likely to be held back in the future, when those students become adults who lack the skills needed to function effectively in the workplace and in society. (OECD 2013 i Serder 2015, s. 173)

I en ny avhandling Möten med PISA – kunskapsmätning som samspel mellan elever i och om provuppgifter i Naturvetenskap, av Margareta Serder Malmö högskola, diskuteras hur denna kategori uppstår. Utgångspunkten är att det inte finns svaga prestationer förrän vi gör dem, och den intressanta frågan är hur vi gör dem (och vad de i sin tur sedan gör).

Serder knyter flera intressanta kunskapsteoretiska frågor om klassificering och klassificeringens effekter till PISA-mätningarna. Med hänvisning till den franske sociologen Bruno Latour, känd för sin forskning om hur vetenskaplig kunskap uppstår, resonerar Serder om att svaga prestationer egentligen inte finns – vi gör dem. I ett av avhandlingens kapitel, skrivet tillsammans med Malin Ideland jämförs Louis Pasteurs upptäckt av mikroberna med konstruktionen av PISA-resultat. Latour har i en berömd text (1999) rest frågan om mikroberna fanns där innan Pasteur upptäckte dem. Latour menar att de flesta nog skulle tycka att så var fallet och anse att det enda Pasteur gjorde var att benämna dem. Latour menar emellertid att det är först i och med den vetenskapliga processen som leder fram till benämnandet, och det som följer därav, som gör mikroberna blir till det de är. Mikroberna behövde Pasteurs laboratorium, dess särskilda miljö, villkor, näring etc. för att bli mikrober så som vi känner dem (se även Serder 2015, s. 176). Serder och Ideland frågar sig om elevernas låga prestationer finns där innan eleverna gör PISA, eller om de uppstår i det speciella laboratorium för kunskapsmätning som man kan säga att PISA är. För att studera hur elever gör när de gör PISA har Serder och Ideland spelat in elever som arbetar med PISA-uppgifter.

Svaga prestationer, menar Serder och Ideland, bör vi betrakta som en samhandling mellan vetenskapliga/epistemologiska traditioner, mätinstrumentet och eleven. Det är lätt att tänka att en svag prestation är kopplad till en elev som av olika anledningar helt enkelt inte kan tillräckligt mycket av det barn i den ålder ska kunna. Eleven har antingen inte gått i en bra skola eller så har inte eleven arbetet tillräckligt hårt från sina förutsättningar. Det Serder och Ideland emellertid visar är att eleverna försöker förstå vad som förväntas av dem, de resonerar och tänker kring uppgiften – men hamnar bland fel. Givetvis kan man säga att eleverna saknar vissa grundkunskaper, men det betyder inte att de inte har andra värdefulla kunskaper. Elevernas prestationer är alltså svaga i förhållande till specifika kunskaper och normer som prövas med specifika instrument. En norm vad gäller NO-delen i PISA är att science literacy är en förutsättning för att kunna delta fullt ut i samhällslivet. Ett sätta att mäta elevernas förutsättningar för att avkoda naturvetenskapen i samhället är genom uppgifter där eleverna ska använda eller förhålla sig till vetenskapliga begrepp. Serder och Ideland ger olika exempel där man kan fråga sig om det är naturvetenskaplig kompetens som verkligen prövas. På vissa frågor är det elevernas förmåga till språkliga slutledningar som avgör om det blir rätt eller fel, i andra fall är det testens logik med flervalsfrågor som påverkar hur eleverna tänker om lösningarna. Det visar sig också i Serders avhandling att eleverna inte alltid känner igen hur naturvetenskap framställs i testerna, vilket leder till visst motstånd. Även hur frågorna har översatts påverkar hur eleverna tänker om dem. I ett fall översattes ”less” och ”more” med ”sämre” och ”bättre”. Det ledde eleverna till att resonera om vilket som var bäst och sämst i absolut mening, snarare än om relationer mellan objekten i uppgiften, vilket i fallet sannolikt bidrog till fel svar. I en annan uppgift vet eleverna mycket väl hur de ska få tag på nödvändiga fakta, men eftersom t.ex. googling inte är tillåtet, känner de sig istället dumma för att inte kunna svaret utantill.

Tre elever ska lösa en uppgift kring ”surt regn”. En av eleverna, Théa läser uppgiften för de andra. Hon har svårt för att läsa men kämpar sig igenom texten:

Théa: /…/ God I read so bad – gases like sulfur oxides and nitrogen oxides… oxides I mean Ox-i-d-es [trying the word] as well. Where do these sulfur ox- ides (giggling) this sounds so brainless…and nitrogen oxides in the air come from?

(the girls are looking at each other, puzzled)

Théa: good that we are so damn stupid

Mickey: the earth?

Théa: but can’t…can’t one Google it? (pointing at a computer)

Mickey: (giggling nervously)

Théa: but just answer the question 118 118

Mickey: the air’s…?

Amanda [very quietly]: does one have to answer?

Théa: well, I think all questions are this hard. (Group E, Nov 2010, 12:00–16:00) (Serder 2015, s. 189-190)

Eleverna besvarar i slutändan inte frågan och är i den meningen vad OECD kallar svagpresterande. Men, frågar sig Serder och Ideland, var de också svagpresterande innan de övertalades att svara på PISA-frågorna? Eller är det först i mötet med uppgiften som de blir svagpresterande? Eleverna har initialt tvekat inför att alls påbörja uppgiften, skriver forskarna. De anklagar sig själva för att läsa dåligt, för att vara dumma. En av eleverna, Mickey, försöker gissa svaret. Théa antyder på olika vis sätt att frågan handlar om fakta och det kan man googla fram eller få fram via upplysningstjänsten 118 118. En av eleverna, Amanda, frågar om de verkligen måste svara på frågan. Théa svarar att alla frågorna nog är lika svåra.

I elevernas vardag skulle sannolikt den här typen av uppgift ha lösts med hjälp av Internet, men enligt PISA-studierna vore det en ”svag prestation”, skriver Serder och Ideland. Skillnaden mellan hur barnen i vardagen arbetar med kunskaper och hur de i sammanhang som detta förväntas visa kunskaper leder i det här fallet till att eleverna betraktar sig som dumma, fastän de skulle kunna klara av uppgiften i en annan kontext.

Det Serder och Ideland genomför, kallas inom prov- och bedömningsforskningen för felsvarsanalys. Det är också något som sker i relation till konstruktionen av PISA-testerna med syftet att göra dem bättre. Serder och Ideland använder däremot sin analys för att problematisera med vilken självklarhet PISA skapar kategorin lågpresterande. Det bekymmersamma är när testens principer för att mäta (vissa) kunskaper också skapar en känsla hos eleverna av att vara dumma. Vad som sedan krävs för att fungera som vuxen i samhället är en mer öppen fråga.

OECD (2013) varnar för att dessa lågpresterande elever inte kommer att kunna bidra varken i arbetslivet eller i samhället. Serder och Ideland skriver ”Low performers become performed as noncontributors in an imagined future society” (Serder 2015, s. 188). Därmed kommer svaga prestationer i skolan att betraktas som en risk. Vi kan ta ut krisen i förskott och det går att göra politik av den. PISA-studierna blir lite av oraklet i Delfi (Gorur 2011), vars kontextlösa datamängder kan användas för intresseladdade uttolkningar. Tolkningarna ifrågasätts men sällan PISA.

Den här typen av kritiska mikro-analyser av PISA är välkomna. Det betyder inte att vi inte ska ta PISA-resultat på allvar, men det betyder att vi behöver resonera om vad vi menar när vi säger att elever inte kan tillräckligt. Testerna utgår ifrån antaganden om att uppgifterna kommuniceras mer entydigt än vad som är fallet och att elevernas prestationer verkligen speglar vad de kan och är en god prognos för framtiden. Elever kan dock många andra saker än det som mäts. Och är det så självklart att det som mäts är det viktigaste kunnandet för elevernas och Sveriges framtid?

(En angränsande och pågående forskningsstudie som vi tidigare rapporterat om handlar om hur elever konstrueras som godkända eller underkända, se här).

 

Referenser

Gorur, R. (2011). ANT on the PISA Trail: Following the statistical pursuit of certainty. Educational Philosophy and Theory, 43(1), 76-93.

Latour, B. (1999). Pandora’s hope: essays on the reality of science studies. Cambridge, Mass.: Harvard Univ. Press.

Serder, M. (2015). Möten med PISA: Kunskapsmätning som samspel mellan elever och provuppgifter i och om naturvetenskap. Diss. Studies in Educational Sciences, no 75. Högskolan i Malmö.

Använd Facebook för att kommentera detta inlägg

Tråkigt men viktigt – om syftets betydelse för elevernas motivation

Fler än hälften av eleverna i en amerikansk studie säger att de hellre äter broccoli än gör sina matematikläxor och 44 procent går hellre ut med soporna. (Raytheon Company 2012). Det är ganska uppenbart inte alltid så att elever känner självklar glädje och motivation inför skolarbete och läxor. I en nyligen genomförd studie av SKL (här) visade det sig att nästan hälften av Sveriges högstadieelever saknade motivation för skolarbetet.

Det finns en stor mängd studier om hur elever kan motiveras till engagemang för sina studier som handlar om allt från att det behövs piska och morot till att motivation kommer inifrån (se Yeager et al. 2014 för sammanställning). En av de mer framstående forskargrupperna på området har intresserat sig särskilt för relationen mellan upplevd meningsfullhet och motivation (purpose for learning). Upplevd meningsfullhet handlar både om att man ser ett syfte för sig själv med det man gör och om att man kan se att det får en betydelse för andra. Fokus i denna forskning ligger alltså på syftet med att lära sig något, t.ex. för att kunna hjälpa andra (self-transcendent component) eller på målet för att lära sig, t.ex. att bli läkare eller att vidga sin kunskap kring något som intresserar en (self-oriented component). Båda dessa komponenter samverkar ofta när det handlar om motivation för att lära sig något.

Att ha ett syfte med det man gör eller ska lära sig som ligger utanför egenintresset har studerats i arbetslivet. Det kallas för att ha en ”pro-social” attityd till det man gör. ”Sopgubbar” som tycker att det är viktigt att hålla rent i samhället har lättare att göra sitt jobb än de som så att säga bara gör sitt jobb. De pro-sociala sophämtarna tycker inte att jobbet är roligare, men de har lättare att motivera sig för att göra det (Hughes 1962). Frågan är om den effekten också är möjlig att åstadkomma i skolan? Går det att få elever att göra tråkiga men viktiga övningar genom att betona de vidare syftena med det eleverna ska lära sig? David Yeager och hans forskarkollegor bestämde sig för att studera detta på ca 2000 representativt utvalda High school-studenter.

I flera olika longitudinella studier försökte forskarna se vilken effekt olika motiv för lärandet hade för elevernas faktiska resultat. Forskarna utgick från tre olika typer av motiv som de studerade genom att se hur eleverna förhöll sig till påståenden som

Omvärldsorienterade motiv:

  • Jag vill lära mig saker som hjälper mig ha en positiv inverkan på världen
  • Jag vill få kunskaper som jag kan använda i ett jobb som hjälper andra
  • Jag vill bli en utbildad medborgare som kan bidra till samhället

Personorienterade (inre) motiv:

  • Jag vill vidga min kunskap om världen
  • Jag vill bli en självständig tänkare
  • Jag vill lära mig mer om mina intressen

Yttre motiv:

  • Jag vill få ett bra jobb
  • Jag vill flytta hemifrån
  • Jag vill tjäna mer pengar
  • Jag vill ha att ha roligt och få nya vänner (översatt från Yeager et al. 2014, s. 562).

Forskarna studerade sedan hur elevernas svar på dessa påståenden sammanföll med hur de såg på olika matematikuppgifter. När eleverna exempelvis såg en miniräknare, var då deras första tanke: ”knappa in siffror och skriva formler” eller var den: ”jag får utveckla mina färdigheter att lösa problem”. Forskarna studerade också hur eleverna faktiskt genomförde olika ”tråkiga” (i meningen kontextlösa och repetitiva) matematikuppgifter genom att till varje uppgift erbjuda alternativet att spela ett spel på datorn eller se en rolig video på datorn.

Ett huvudresultat är att omvärldsorienterade motiv till att lära sig bidrog till bättre studieresultat och en större sannolikhet att klara studier vid College jämfört med mer personorienterade och/eller yttre motiv. Elever med ett omvärldsorienterat studiemotiv var beredda att lägga ner mer än dubbelt så mycket tid på att repetera matematikuppgifter och löste 35 procent fler ”tråkiga” matematikproblem jämfört med en kontrollgrupp – även när de erbjöds möjligheten att titta på en rolig video istället (Yeager et al. 2014, s. 574).

Går det då att lära elever att tänka sig på detta sätt? Ja, menar de amerikanska forskarna. Ett traditionellt sätt lärare använder för att motivera varför eleverna ska kunna en viss sak är att knyta an till elevernas vardag. Exempelvis att matematik behövs för att förstå sportresultat. Problemet med den typen av motiv är att de inte gäller för alla. Yeager och hans kollegors resultat indikerar att motiv där man försöker knyta an till enskilda elevers intressen är viktiga men att det kanske är ännu mer effektfullt att visa hur kunskaperna kan förändra och förbättra omvärlden. Den bästa effekten nås när eleverna kan relatera sina egna studier och sin egen framtid till att de faktiskt kan göra en skillnad. Ett sätt att åstadkomma det är genom enkla reflektionsövningar. I den amerikanska studien fick eleverna skriva en egen reflektion utifrån följande text:

How could the world be better for you? Sometimes the world isn’t what you want it to be, and so everyone thinks it could be better for them in one way or another. Some people want more fun, some want it to be less stressful, and others want to be more interested in what they’re doing. Other people want lots of other changes. What are some ways that you think the world could be better for you? (Yeager et al. 2014, s. 572)

När eleverna kommit till en insikt om hur de vill och kan påverka omvärlden och sin egen livssituation blir det också lättare för dem att utöva självkontroll. Det blir lättare för dem att börja tänka på sina vidare motiv för lärandet när det svåra och tråkiga kommer.

Annorlunda uttryckt handlar det om att bejaka altruistiska motiv för lärandet. Det är enklare att motivera elever att göra tråkiga saker om de ser en mening med det de gör som sträcker sig bortom egocentriska motiv. Altruistiska motiv för lärandet ersätter inte de personliga eller egoistiska motiven, men de adderar till dem på ett sådant sätt att tråkiga uppgifter kan uppfattas som viktiga att ändå genomföra.

 

Referenser

Hughes, E. C. (1962). Good people and dirty work. Social Problems, 10, 3–11. doi:10.2307/799402

Raytheon Company. (2012). Math relevance to U.S. middle school stu- dents. (Nedladdat 2014-12): http://www.raytheon.com/newsroom/rtnwcm/ groups/corporate/documents/content/rtn12_studentsmth_results.pdf

Yeager, D. S., Henderson, M., Paunesku, D., Walton, G. M., D’Mello, S., Spitzer, B. J., & Duckworth, A. L. (2014). Boring but Important: A Self-Transcendent Purpose for Learning Fosters Academic Self-Regulation. Regulation. (Nedladdat 2014-12): https://web.stanford.edu/~gwalton/home/Welcome_files/Yeager_etal_inpress.pdf

Använd Facebook för att kommentera detta inlägg

Från Paris till PISA. Styrning av utbildning genom internationella jämförelser 1867 – 2015

Två av Skolöverstyrelsens skribenter, Christian Lundahl och Joakim Landahl har tillsammans med Martin Lawn och Sotiria Grek vid University of Edinburgh fått forskningsmedel från Vetenskapsrådet för ett projekt kallat: Från Paris till PISA. Styrning av utbildning genom internationella jämförelser 1867 – 2015.

Internationella jämförelser mellan utbildningssystem är inte en ny företeelse även om det kan upplevas så i och med att exempelvis PISA och TIMSS på senare tid fått väldigt stor uppmärksamhet. I själva verket har mer systematiska internationella jämförelser påverkat våra utbildningssystem sedan mitten av 1800-talet. Detta har emellertid inte uppmärksammats särskilt väl av utbildningshistoriker. I det här projektet använder vi Sverige som ett nav för att undersöka och analysera hur nationella utbildningssystem, policy och innovationer vuxit fram med hjälp av jämförelser. Sverige har under långa perioder sedan slutet av 1800-talets betraktas som ledande vad gäller utbildning och utbildningsfrågor. Sverige har dock inte bara varit ett land andra länder haft som förebild utan svenska representanter har i allra högsta grad också påverkat de olika system som möjliggör internationella jämförelser.

Syftet med projektet är undersöka just samspelet mellan nationella utbildningssystem och internationella praktiker för jämförelser av utbildningskvalitet. Vi kommer att undersöka på vilket sätt dessa jämförelser uppstått, vad som jämförts, hur jämförelserna används och vilka konsekvenser de får. Vi undersöker betydelsen av internationella jämförelser för svensk skola men också, och inte minst, Sveriges betydelse i formandet av internationella ideal.

Utbildningshistorisk forskning har av tradition framställt framväxten av moderna utbildningssystem från 1800-talets slut som en process utvecklad inom gränserna för nationen och förvaltad av staten. Vad dessa beskrivningar systematiskt har bortsett från är effekterna av hur resor, utställningar, konferenser, korrespondens och internationella forskningsprojekt/databaser skapat flöden av idéer, tekniker och jämförelser av såväl konkreta undervisningsplaner som utbildningspolicy. Detta har förhindrat en förståelse både av hur internationella trender påverkar det nationella utbildningssystemet, liksom hur en enskild nation kan ge upphov till internationellt spridda ideal. Det är just dessa två luckor som vårt projekt syftar till att fylla genom att beskriva och analysera utvecklingen av Sverige som en modell för moderna utbildningssystem i en konstant tvåvägskommunikation med världen utanför. Sverige är ett särskilt intressant fall att studera då Sverige på många sätt varit banbrytande inom utbildningsplanering och i perioder rönt stor internationell uppmärksamhet.

Resultat på internationella kunskapsmätningar får idag stort utrymme i media och i den nationella utbildningspolitiken. Betydelsen av specifika platser, personer, idéer och relationer för vad som blir ett internationellt ideal och hur detta sedan tas emot på specifika, ibland unikt regionala sätt, är av stort intresse för jämförande pedagogisk forskning. Det finns dock ett behov av historiska perspektiv och teoriutveckling inom detta fält, där vi menar att projektet kommer bidra. Genom att särskilt studera Sveriges betydelse på utbildningsområdet i tidiga världsutställningar och skolmuseer runt sekelskiftet 1900 och under de tidiga internationella pedagogiska konferenserna under 1920-1940 samt i de internationella kunskapsmätningarnas framväxt från 1950-talet till nutid, vill vi bidra till den teoretiska förståelsen av hur sociala och historiska processer formar specifika internationella pedagogiska ideal och/eller bidrar till att andra försvinner. Vi kommer särskilt undersöka vilka idéer, modeller, metoder och policy som Sverige exporterat och vilken bild det bidragit till om svensk skola utomlands. Genom omfattande arkivstudier i såväl svenska som utländska arkiv samt analyser av vetenskapliga tidskrifter, policydokument och dagspress kommer projektet att bidra med nya kunskaper om hur internationella jämförelser växer och utvecklas till en betydande kraft i policy och i utbildningsforskning. Projektets empiriska fallstudier täcker in områden som endast sporadiskt, om alls, beskrivits i tidigare forskning. Projektet bidrar således till att fylla utbildningshistoriska luckor. Projektet har hög vetenskaplig relevans genom att bidra med förståelse för hur internationella kunskapscenter bildas, hur de formar kunskaper och hur dessa sprids och får effekter. Projektet bidrar också till den allmänna debatten om skolan och kommer att kunna informera både den internationella och den svenska utbildningspolitiska debatten.

 

Läs med om Vetenskapsrådets bidragsbeslut för utbildningsvetenskap 2014 här.

Använd Facebook för att kommentera detta inlägg

Hur stor är en skolreform?

Utbildningsminister Jan Björklund har ofta hävdat att den pågående skolreformen är den största sedan 1842 års skolreform. Vad betyder detta? För det första måste vi reda ut hur begreppet reform kan definieras. För det andra behöver vi diskutera vilka olika sätt en reform kan vara stor på. För det tredje behöver vi kunna säga något om olika skolreformers olika storlek.

En vanlig uppfattning är att reformer skiljer sig från revolutioner i det att en reform är en sedan länge förberedd förändring (t.ex. NE.se). En reform tänks ofta syfta till en förbättring, t.ex. att man inför något nytt som saknats eller råder bot på, tar bort, något erkänt problem (Websters Dictionary). Någon menar att en reform är en förändring som föregåtts av en utredning och sedan genomförs med utredningen som stöd (t.ex. Wikipedia). Vi borde med detta som utgångspunkt kunna enas om att en reform är en väl förberedd förändring som syftar till att göra något bättre än vad det var.

Reformers storlek kan avgöras på många sett. En reform kan vara stor om den bygger på långa och eller många utredningar. En reform kan vara stor om den berör många, eller om den kostar mycket. En reform vara stor till sina konsekvenser.  I forskning om reformer brukar man skilja på reformens implementering och dess institutionalisering, där det senare representerar just reformens långsiktiga effekter (Lingard & Gerrick 1997). En reform kan också vara principiell, t.ex. att staten med 1842 års skolstadga påbörjade övertagandet av skolan från kyrkan, eller att 1990 års skolreformer ändrade fokus från styrning med regler till styrning med mål.

Frågan om reformers storlek kan diskuteras med ett historiskt perspektiv. Några nedslag får räcka och ytterligare flera andra viktiga reformer kunde diskuterats på likande sätt. Med ett historiskt perspektiv på 1842 års skolreform kan vi se att den i några avseenden inte var så stor som man kanske kan tro. I grunden handlade det om en stadgad rätt till utbildning, men stadgan sa t.ex. inget om hur omfattande utbildningen skulle vara. Stadgan var inte direkt produkten av många stora utredningar. Folkskolan var en ganska naturlig utveckling av husförhören och hemundervisningen. Det fick på pappret en del stora konsekvenser, men i praktiken gick det långsamt de följande 50 – 60 åren. 10 år efter ”reformen” undervisades fortfarande en tredjedel av eleverna i hemmen (Lirén 1986). 1901 gick drygt 50 procent av 716 799 folkskoleelever i halvtidsläsning och många tog bara några få år i folkskolan, och fick därmed inget avgångsbetyg. 1915 – 1919 var det drygt 20 procent av befolkningen som inte fullföljt någon utbildning, varav 12 procent aldrig börjat (SCB 1974:5). Förmodligen skulle man säga att avskaffandet av realskolan och införande av enhetsskolan under 1960-talet var en mer underbyggd, och mer direktverkande reform än 1842 års skolreform. Det samma gäller även några av 1990-talets reformer:

  • Ändrad politisk styrning och omfördelat ansvar för skolans verksamhet
  • Ändrad myndighetsstruktur där Skolverket ersätter skolöverstyrelsen
  • Ändrade läroplaner och kursplaner mot mål- och resultatstyrning
  • Ändrat betygssystem från ett relativt till ett målrelaterat betygssystem
  • Införandet av en treårigt program- och kursuppbyggd gymnasieskola
  • Ett fristående skolsystem med skolpeng införs
  • Barnomsorg och skolbarnsomsorg blir en del av skolsektorn och Förskoleklassen etableras. (Se vidare Lundgren 2014)

Det senaste decenniets reformer är förstås i flera avseenden större än 1840-talets, men kanske inte principiellt lika viktiga. Även jämfört med 1990-talets reformer kan vi diskutera hur stora de principiella förändringarna är. I mångt och mycket är pågående förändringar snarare re-reformer av redan införda principiella förändringar. Det nya ”betygssystemet” lanserades exempelvis inte som ett nytt betygssystem utan just som en ”förändring av skalan”. Läroplanerna är vidare förtydliganden av tidigare läroplaner och bygger inte på en principiellt ny kunskapssyn eller ett nytt uppdrag för skolan. Resultatstyrning infördes med 1990-talets reformer, men kontrollen har nu skärps via fler nationella prov och ökade mandat för Skolinspektionen. Däremot kan lärarlegitimationen ses som något principiellt nytt.

Vi kan också fråga oss hur stor en reform är genom att räkna med utredningsarbete, parlamentariska förberedelser och beslutsprocesser (motion, direktiv, utredning, remiss, proposition m.m.). Svaret förutsätter ett mer omfattande empirisk arbete än vad som gjorts här, men den nuvarande reformens mer centrala utredningar (gymnasieutredningen, nya läroplaner, utredningen om ny lärarutbildning, lärarlegitimation, 7-gradig betygsskala, betyg från åk 6) har i huvudsak varit 1 – 1,5 åriga enmansutredningar eller departementsskrivelser (se här). Dessa utredningar är väsentligt snabbare och tunnare än tidigare centrala skolutredningar. Mest extrem är 1940 års skolutredning med sina 10 000 sidor men fram till 1990-talet var det inte ovanligt med 4-8 år långa utredningar med fleråriga försök och experiment som grund för sina ställningstaganden. Försöket med enhetsskola inleddes exempelvis 1949 och omfattade då 2 483 elever; 1961 pågick det fortfarande och omfattade 436 595 elever, vilket motsvarade 52 procent av alla eleverna (Marklund 1981, s. 25, 97). Uppfattningen var att stora och viktiga förändringar på skolans område inte fick ske på svaga grunder.

Det tålamod som kännetecknade införandet av enhetsskolan finns inte idag. Redan utredningar under senare delen av 1990-talet och fram till regeringsskiftet 2006 var kortare än de traditionella skolutredningarna, men utredningstiden har sedan dess kortats ytterligare och bruket av enmansutredningar med hur-direktiv snarare än om-direktiv förefaller dominera under Alliansens regering. Sedan har Alliansen tagit fram osedvanligt många utredningar under, men dessa kan inte samtliga knytas till en reform utan är ibland mer justeringar och tillägg till andra reformer.

Ett annat sätt beskriva en reforms storlek är genom dess långsiktiga konsekvenser. Införandet av folkskolestadgan lade grunden för vidare reformer, där den mest viktiga var skolplikten (1878), som stärktes 1900 med regeln att barn inte fick anställas om de saknade betyg från folkskolan. Så småningom kring 1930-talet gick i princip alla barn i folkskolan dagligen i 6 år. Om det är denna reformperiod på över 80 år mot en allmän skolgång Björklund syftar på, ja då är nuvarande reformer ännu så länge klart mindre, då de inte direkt lett fram till motsvarande så genomgripande förändring.

En reform kan också få andra eller ytterligare effekter än de avsedda. I grunden har modern tids skolreformer handlat om rätten till skola och rätten att lyckas i skolan. Dessa vägledande principer har dock också haft ekonomiska delvis oväntade effekter. Om folkskolan fick alla barn till skolan, skulle grundskolan enkelt uttryckt ge dem samma förutsättningar att lära sig i skolan. Rätten till utbildning ersattes med rätten att nå sin fulla potential (jfr Hadenius 1990). Skolan skulle inte diskriminera vid inträdet men heller inte vid utträdet. Elever med sämre sociala eller kognitiva förutsättningar skulle få kompensatoriskt stöd. Skolan kom också genom Lgr 80, SIA-utredningen (Skolans Inre Arbete) och liknande initiativ att få ett tydligare demokratifostrande uppdrag. Detta ackompanjeras kring skiftet 1980/90-talet med decentraliseringsreformer vad gäller själva förvaltningen av skolan. Oavsett vad vi anser om dessa ”reformpaket” följde de en idé om skolan som viktig för demokratin, både till sitt innehåll men också genom att vara en förbild så som en antiauktoritär institution, förankrad i lokala behov och med transparens i beslutprocesserna. Mårten Palme har i olika studier visat att införandet av enhetsskolan/grundskolan, med sina fel och brister, totalt sett varit en väldigt god samhällsekonomisk investering (sammanfattning här). Samtidigt hade införandet av grundskolan beskrivits snarare som en jämlikhetsstärkande reform än en ekonomistärkande reform (jfr Lundgren 2014).

Vilka långsiktiga effekter pågående reformer får vet vi inte. Regeringens egeninitierade utredning Det tar tid!, om när reformerna får effekt, pekar mot att vi vet om de får önskad effekt runt 2017.  Men för att en reform ska kunna mätas i sina effekter måste även vi veta vad den har ställt sig för utsikter. Trots att det är lite svårt att se vad det är som håller samman regeringens skolreformer får man kanske beskriva dem som en skolresultatsreform. Om 1842 års skolreform i backspegeln kan förstås som en 80 år lång skolrättighetsreform, och 1960 till 90-talets reform som en jämlikhetsreform framstår regeringens ambition vara bättre skolresultat. Vi ska nå högre och bättre resultat än flertalet länder i internationella kunskapsmätningar!

Men vad är skolans resultat? Är vi överens om det? Vilka kunskaper, kompetenser och sociala egenskaper vill vi att barnen ska ta med sig in i framtiden? Vilka olika alternativ finns det? Regeringen har genomfört många utredningar väldigt fort, åtminstone ur ett historiskt perspektiv. Mastodontutredningarna under 1930 – 1950-talet och även 70 – 80-talets omfattande utredningar är kanske ett svunnet (omöjligt) ideal, men svensk skola förtjänar nu analyser och diskussioner som tar regeringens kunskapsambitioner på allvar. Vi kan behandla dessa ambitioner mer seriöst än vad regeringen hittills gjort, med riktiga expertutredningar kring kunskapssyn och lärande samt med gedigna utvärderingar av de reformer som redan initierats. Vi kan inte bara nöja oss med resultatmåtten från internationella mätningar – de säger till exempel väldigt lite om hur elever ser på sig själva och om deras framtidstro, deras värderingar och deras förmåga och vilja att lära sig lära.

Det är märkligt att retoriken om reformerna inte diskuterats mer. En sak vi kan vara rätt säkra på är att reformer får effekter och att vi inte alltid vet vilka dessa blir. Därför går det inte heller att flytta ansvarsutkrävandet mot framtiden eller skylla allt på tidigare reformer. Att vara minister för ett verksamhetsområde borde innebära att man tar det yttersta ansvaret för hur situationen ser ut nu, oavsett hur stor egen skuld man själv har. Att stolt slå fast reformernas storlek, eller som oppositionen hävda att förändringarna varit för många, tycks vara ett bekvämt sätt att dölja bristen på visioner. Vilka är de principiella förändringar svensk skola står inför – och bör stå inför?

 

Referenser

Hadenius, K. (1990). Jämlikhet och frihet: politiska mål för den svenska grundskolan. Diss. Uppsala universitet. Uppsala.

Lingard, B. & Gerrick, B. (1997). Producing and practising social justice policy in Education: a policy trajectory study from Queensland, Australia. I Marshall, J. & Peters, M. (red) Education Policy. Cheltenham: Edward Elgar.

Lirén, G. (1986). Facklärarna i skolans och arbetsmarknadens perspektiv: en kamp för jämlika villkor. Del: 1800-1950. Utgiven av Svenska Facklärarförbundet (SFL).

Lundgren, U. P. (2014). Det livslånga lärandet – att utbilda för ett kunskapssamhälle. I Lundgren, U. P., Säljö, R. & Liberg, C. (red). Lärande, Skola, Bildning. Tredje utgåvan. Stockholm: Natur och kultur.

Marklund, S. (1981). Skolsverige 1950–1975 : Del 2 : Försöksverksamheten. Stockholm: Liber.

SCB promemorior Nr 1974:5 ”Elever i obligatoriska skolor 1847 – 1962”, av Vinge, M.,  november 1974.

Se även:

Skolverket (2013). Forskning om skolreformer och deras genomslag. Skolverkets aktuella analyser 2013.

 

Använd Facebook för att kommentera detta inlägg

#Björklundsskola – vad kan vi läsa ut av en hashtag?

Den 21 januari lade ett twitterkonto @__nneka ut följande uppmaning på Twitter: ”ELEVER! Ni får gärna tagga era tweets med typ #björklundsskola eller ngt! Så vi kan samla, dela med oss, visa för alla vuxna” etc. Hashtaggen togs av vissa skoldebattörer som ett uttryck för vad ungdomar tycker om dagens skola. Det kan man givetvis inte säga generellt då Twitter och särskilt inte en uttalat kritisk hashtag är reptentativt för vad alla ungdomar tycker. Trots det kan det vara värdefullt att försöka förstå vad denna lilla twitterstorm handlade om.

Hashtaggen blev  snabbt populär och ”trendade” på Twitter. Ett sätt att sammanfatta vad som sägs under en hashtagg är att spara ner så många tweets som Twitter tillåter en att spara ner och sedan göra en ordfrekvensanalys på det. När jag gjorde detta den 24 januari fick jag spara ner 1341 tweets som gick tillbaka till ursprungstweeten. Jag har dock inte kunnat få fram hur många tweets det totalt blev under denna hashtag. När jag valt bort vissa icke meningsbärande ord enligt en standardmall jag har i mitt analysprogram Nvivo, samt alla ord med mindre än 5 bokstäver kan de 1000 mest använda orden sammanfattas i ett ordmoln enligt figuren nedan.

För att vara tydlig med den exakta frekvensen presenterar jag först en lista över de 11 vanligaste orden:

#björklundsskola 16 585 4,49
#bjoerklundsskola 17 140 1,07
betyg 5 79 0,61
världens 8 79 0,61
omdömen 7 77 0,59
@top3ivarlden 13 76 0,58
betygssystem 12 76 0,58
nyanserade 10 76 0,58
orimliga 8 76 0,58
orimligt 8 76 0,58
utförliga 9 76 0,58

Kolumnerna är: Ord, antal bokstäver i ordet, faktisk frekvens, relativ frekvens

Ganska självklart blir själva hashtaggen det mest vanliga ordet som sedan följs av betyg, samt av invektivet världens (förekommer ofta tillsammans med ”bästa” eller ”sämsta”), därefter omdömen. Nyanserade står oftast för värdeordet nyanserade i kunskapskraven. Sedan kommer orden orimliga och orimligt, vilket har att göra med uppfattningen om höga krav. Därefter utförliga, som ofta handlar om att kraven är för detaljerade.

Word Frequency Query_björklundsskola

Ordmoln baserat på hashtaggen #björklundsskola 2014-01-21 till 2014-01-24

Andra hyfsat frekventa värdebärande ord är stress (13ggr), ångest (12ggr), sorgligt (9ggr). Vi ser också en riksdagspolitiker i molnet, Jonas Sjöstedt (@jsjöstedt, 10ggr), samt en del skoldebattörer. Hashtaggen kom som jag nämnde att användas av skoldebattörer för att kritisera Björklund.

Oavsett vad denna hashtag representerar så kan vi i alla fall anta att en representativ uppfattning under just denna hashtag är att det framförallt är betygen som ungdomarna uppfattar som det stora problemet. Här har det kanske brustit i tydlighet om vad som förväntas och krävs? (Se också tidigare inlägg)

 

Använd Facebook för att kommentera detta inlägg

Tänk om vi skrev brev till varandra med kunskapskraven i bakhuvudet

En utmaning med kunskapskrav och betygskriterier är att de ska konkretiseras och förtydligas för att kunna fungera som pedagogiska verktyg, dvs. utgöra exempel på kunskapskvaliteter av olika värde. En svårighet härvid ligger i att det sätt som man beskriver kunskap på i kursplanerna ligger ganska långt ifrån hur vi talar om varandras kunskap i vardagslivet. Om vi för skoj skull tänker oss att vi kommenterade varandra i en personlig brevväxling utifrån kunskapskraven skulle det kunna se ut så här:

Stockholm 140122

Tack för ditt brev på C-nivå!*

Jag blev mycket glad för ditt brev med en relativt god språklig variation och utvecklad textbindning. Jag känner att du har en relativt väl fungerande anpassning till den texttyp, språkliga normer och strukturer som vi brukar ha i vår brevväxling. Dina berättelser innehåller utvecklade gestaltande beskrivningar och berättargrepp samt dramaturgi med relativt komplex uppbyggnad. Jag ser att du använt ett relativt varierat urval av källor och för utvecklade och relativt väl underbyggda resonemang om dessa källors trovärdighet och relevans. Det gjorde att ditt brev blev mer värt att läsa. Dessutom visar du med det youtube-klipp du länkar till i brevet att du kan kombinera olika texttyper, estetiska uttryck och medier så att de olika delarna samspelar på ett ändamålsenligt sätt och jag upplever att du därmed levandegör ditt brevs huvudbudskap. Jag uppskattar vidare den feedback jag fick på mitt förra brev och de utvecklade omdömen du gav om brevets innehåll. Jag ser också att du tagit till dig av mina synpunkter och utifrån den responsen bearbetat ditt brev mot ökad tydlighet, kvalitet och uttrycksfullhet på ett relativt väl fungerande sätt. Det var verkligen roligt att läsa och se att du växer som skribent i dina brev till mig! Tänk på att variera språket lite mer nästa gång bara och försök om möjligt att vara mer nyanserad i dina omdömen om mina brev!

Bästa hälsningar Christian 

*Betyget C för skrivkunskaper i ämnet svenska i åk 9 i princip ordagrant. Ord i fet stil är de så kallade värdeorden. Ord i kursiv stil ingår inte i kunskapskraven.

Använd Facebook för att kommentera detta inlägg

Vad kan vi vänta oss av en internationell skolkommission? Några av OECD:s tidigare expertutredningar av Norge och Sverige

Frågan om vad kan vi lära av OECD:s tidigare expertutredningar aktualiseras av regeringens initiativ att tillsätta en internationell skolkommission. Regeringen har bett OECD att skapa en grupp av internationellt erkända skolforskare för att granska Sveriges utbildningssystem och komma med förslag på förbättringar. Den här typen av granskningar har OECD tidigare genomför i ett flertal länder, även i Sverige men då utifrån mer specifika aspekter. Ett aktuellt och nära exempel på ett mer vittgående samarbetet finns mellan OECD och Norge. Skillnaden mellan Sverige och Norge har emellertid varit väldigt stor vad gäller inte minst förvaltningen av skolan och det är inte rimligt att OECD:s experter kommer med samma samma synpunkter och förslag till Sverige. Det är heller inte säkert att det är experter tidigare associerade till OECD som väljs ut. Men det faktum att OECD ska ta fram lämpliga experter innebär rimligtvis ändå en viss styrning mot den typ av utvecklingsideal OECD står bakom. Det kan därför vara intressant att se vad OECD uppskattat respektive önskat mer av i sina tidigare studier av skolutvecklingen i Norge och i Sverige.

1988 genomförde OECD en analys av norsk utbildningspolicy (se vidare OECD 2002). En av huvudslutsatserna var att det i Norge saknats bra system för uppföljning och utvärdering av skolans resultat. Här har Norge traditionellt sett skiljt sig en hel del från Sverige i det att Norge, mer likt Finland låtit lärarna själva utvärdera sin verksamhet för sin egen skull. Dessutom har decentraliseringsgraden varit hög. Den nationella styrningen av den norska skolan ansågs även på andra punkter svag i Norge, t.ex. genom otydliga mål. Kritiken, eller synpunkterna, från OECD fick stora konsekvenser. Styrning och förvaltning kom att förändras med fokus på utvärdering och resultatuppföljning, särskilt i och med regeringsskiftet 2005 då staten stärkte tillsynen över skolan.

Norge bjöd in OECD:s experter igen 2010 med syfte att få belyst effekten av dessa satsningar. Inför den nya genomlysningen författade Utdanningsdirektoratet (Norska Skolverket) en egenvärdering Utdanningsdirektoratet, Country background report (2010).

Egenvärderingen låg till utgångspunkt för OECD:s följande granskning, men OECD:s experter genomförde även egna intervjuer (under en veckas besök). Efter ett år lämnades följande rapport OECD Reviews of Evaluation and Assessment in Education (2011) (eller i pdf). Rapporten ingick i en vidare internationell granskning där även Sverige granskades, vilket jag återkommer till, med fokus på utvärdering och bedömning: OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes.

De policyrekommendationer expertgruppen lämnade till Norge var (något förenklat):

  1. Fortsätt och förstärk arbetet med nationell kvalitetsuppföljning (NKVS).
  2. Utveckla tydligare lärandemål (betygskriterier) för att underlätta bedömningen av elever.
  3. Utveckla tydliga standards för vilken kompetens som krävs för att vara lärare/undervisa i specifika ämnen (jfr lärarlegitimation). Främja möjligheter till lärarfortbildning.
  4. Stärk skolledares kompetens att bedöma lärares arbete och skicklighet, samt att leda/utmana lärarna utifrån dessa bedömningar.
  5. Skapa tydliga karriärvägar för lärare med utgångspunkt i bedömning av deras skicklighet.
  6. Stärk den externa utvärderingen av skolorna men i syfte att utveckla ramverk för lokal självutvärdering.
  7. Utveckla utvärderingsverktyg för att bättre fånga arbetsprocesser i skolan och inte enbart resultat.
  8. Stärk den nationella resultatuppföljningen av kommunernas resultat.
  9. Utveckla resultatrapporteringssystemet så att det blir mer överskådligt (digitalt).
  10. Utveckla användningen av nationella prov så att det går att dra nationella slutsatser. (se s. 133ff.)

Överlag bedömdes dock Norge vara på rätt väg. Norge har också lagt vikt vid att balansera tillit och accountability vad gäller utvärdering och bedömning (se rapporten Balancing trust and accountability?- The Assessment for Learning Programme in Norway). Därmed bejakar man även OECD:s intresse för Bedömning för lärande (se här).

Sverige har inte haft samma policysamarbete med OECD som Norge, men i den motsvarande rapporten för Sverige ser vi liknande teman där Sverige överlag får beröm för att av sig själv så att säga slagit in på den rätta vägen: OECD Review of evaluation of assessment in education, Sweden. OECD pekar först på några styrkor och svagheter i Sverige (något förenklat):

  1. Sverige producerar mycket högkvalitativa data om sitt utbildningssystem men behöver bli bättre på att använda dessa.
  2. Det finns en stor tillit till den lokala nivån vilket främjar professionalism, men leder också till stora variationer i kvalitetsarbetet.
  3. Svenska bedömningar är allsidiga och såväl lärares bedömningar som nationella prov täcker in komplexa kunskaper. I de yngre åldrarna är bedömningarna främst formativa. Problemen uppstår i betygssättningen då svenska lärare rättar nationella prov själva.
  4. Det finns en hög tilltro till lärarna men de får litet professionellt stöd och feedback. Den svenska individuella lönesättning är relativt unik, men lärarna får snarare lön för ansträngning än prestation.
  5. Kopplingen mellan skolors/kommuners egna kvalitetsgranskningar och statens behöver stärkas. Den nationella kvalitetsgranskningen har fått för mycket slagsida åt skolinspektion vilket kan leda till att skolor inte uppfattar att deras kvalitetsarbete tas på allvar.
  6. Sverige producerar och offentliggör mycket data, men frågan är om data tjänar sina syften. För mycket tyngd ligger på betyg som resultatmått med den svagheten att lärarna själva producerar dessa resultat. Vidare saknas systematiska analyser på nationell nivå om prestationsskillnaderna mellan kommuner. (s. 8-10)

OECD följer upp sin analys av styrkor och svagheter med några konkreta råd:

  1. Sverige behöver en tydlig utvärderings och bedömningspolicy/plan som anger tydliga krav på utvärdering och bedömning på olika nivåer samt klargör ansvaret på de olika nivåerna. Sverige bör systematiskt kartlägga olika utvärderings och bedömningsmetoder och de kompetenser som idag finns i syfte att optimera bedömningspraktiken på olika nivåer.
  2. Sverige behöver stärka den kommunala uppföljnings och utvärderingskompetensen. Den policy som utvecklas på nationell nivå måste vara i samklang med kommunala behov av t.ex. resultatanalys.
  3. Öka reliabiliteten i de nationella proven med hjälp t.ex. av extern rättning.
  4. Det är lovvärt att Sverige fått tydligare kunskapskrav (Lgr 11) men det räcker inte utan staten behöver arbeta fram verktyg för lärares bedömningspraktik, t.ex. elevexempel för de olika kravnivåerna.
  5. Lärare behöver fortbildning i såväl summativ som formativ bedömning och särskilt vad gäller de dagliga formativa bedömningarna i klassrummet. Lärare i de yngre skolåldrarna behöver bli bättre på att tolka resultaten från diagnostiska prov.
  6. Sverige behöver formalisera hur lärare bedöms och värderas efter förtjänst så att det även blir tydligt vad som är en god undervisningspraktik.
  7. På lokal nivå måste det finnas utrymme för feedback, utvecklingsdialog och kollegialt lärande.
  8. Det behövs tydliga planer på skolnivå för hur lärares arbete ska utvärderas och bedömas.
  9. Sverige måste bli bättre på att bygga extern inspektion på intern självbedömning. Detta minskar kostnaden för inspektionen, ökar kvaliteten i den samt ökar motivationen hos skolor att utvärdera sig själva.
  10. Om den regelbundna inspektionen blir mer internt producerad via självbedömning kan den externa inspektionen fokusera på riskområden.
  11. Hjälp skolledare att bli bättre på att använda skolutvärderingar.
  12. Utforska olika sätt att förbättra den nationella uppföljningen via nationella prov, t.ex. genom sambedömning eller sampleutvärderingar.
  13. Sverige måste öka mobiliteten i sina resultatdata så att de enklare blir tillgängliga för systemets olika aktörer; mellan kommun och stat, mellan de statliga myndigheterna och mellan myndigheterna och forskning. (s. 10-14)

OECD:s Reviews of Evaluation and Assessment in Education var som sagt en stor internationell granskning som omfattade flera andra länder än Norge och Sverige. 2013 höll OECD en uppsummeringskonferens av projektet. Denna förlades till Norge, som uppenbart arbetat föredömligt med sina utvecklingsområden och ges möjlighet att visa upp The Norwegian Model (se här).

Norge har alltså varit en god elev till OECD vilket belönats enligt den måttstock OECD använder för att mäta skolresultat, PISA-undersökningen, och i enlighet med de ramverk OECD tagit fram för välfungerande utbildningssystem: OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes. Det intressanta är att Sverige i större utsträckning än Norge redan uppfyllt OECD:s grundläggande ”krav” på utvärdering och resultatuppföljning genom våra nationella prov, betygsstatisk offentligt via SIRIS/SALSA, nationell utvärdering och deltagande i internationella kunskapsmätningar, karriärvägar för lärare och yrkesstandards via lärarlegimtiationen. Det OECD pekar ut som våra förbättringsområden är snarare att se över hur vi använder de redskap vi både sedan länge och alldeles nyligen etablerat, att dessa harmonieras med varandra för olika systemnivåers syften samt att vi på alla nivåer i skolsystemet vidareutvecklar kompetensen att utvärdera och bedöma.

Vad den rapport, som väntas komma om drygt ett år ytterligare kan komma fram till utöver det vi idag redan idag vet är styrkor och svagheter ska bli spännande att se. Vilka ytterligare strängar har OECD på sin lyra? Det har ju inte precis saknats konkreta och tydliga förslag hittills. Kanske kommer det om ett år att handla om att se över hur och om dessa redan lagda förslag genomförts och vem som har haft ansvaret för det?

Använd Facebook för att kommentera detta inlägg

Vilket är elevens rätta resultat?

Det finns de som påstår att det är lätt att mäta kunskaper. Allt som oftast står det i tidningarna att elever får för höga betyg eller fel betyg med utgångspunkt i jämförelser mellan de betyg lärare har satt på elevernas kunskaper och elevers resultat på de nationella proven. Redan här förstår man kanske att det inte är helt lätt, för vem har egentligen mätt rätt? I dagsläget och på goda grunder som jag ska visa, ska emellertid inte de nationella proven styra lärares betyg. De ska vara ett stöd i betygssättningen. Anledningen är att det inte helt objektivt går att mäta den typ av kunskaper våra läroplaner anger att eleverna ska lära sig, och att mätandet i sig påverkar vad och hur eleverna lär sig. Detta brukar diskuteras i termer av validitet och reliabilitet. Validitet, giltighet, handlar ytterst om hur säkert vi kan uttala oss om ett resultat utifrån hur säkra vi är på vad vi har mätt, eller som Samuel Messick uttrycker det i sin klassiska artikel Validity:

Validity is an integrative evaluative judgment of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment. (Messick 1989:13)

Messick diskuterar två hot mot möjligheten att göra valida tolkningar av ett testresultat, dels construct under representation, dels construct irrelevant variance. Det första handlar om att ett prov inte tillräckligt förmår fånga skillnaden mellan elever kring det vi ville mäta. Om vi t.ex. har ett flervalsprov i historia så fångar det elevernas skilda kunskaper kring historiska fakta men inte huruvida eleverna kan konstruera ett historiskt argument, eller för att ta något uppenbart, att muntlig förmåga inte mäts på ett skriftligt prov. Alltså, construct under representation handlar om att viktiga aspekter av ett kunnande är underrepresenterade i ett prov.

Construct irrelevant variance handlar om motsatsen, uppgiften mäter något som den inte borde mäta. I ett test i matematik kan frågorna vara formulerade med ett så pass svårt språk att vi inte vet om skillnaden mellan eleverna beror på läsfärdighet eller matematisk färdighet. Reliabilitet, trovärdighet, handlar om i vilken grad resultaten på ett test kan bero på slumpmässiga faktorer, eller faktorer utom testarens kontroll. Paul Black och Dylan Wiliam (2011) menar därför att reliabilitet ytterst är en fråga om construct irrelevant variance, alltså om validitet. Har ett test låg reliabilitet går det inte att göra valida tolkningar av resultatet eftersom man inte vet vad resultatet beror på.

En vanlig metafor för reliabilitet och validitet är nedanstående bild (se t.ex. Koretz 2008):

validitet och reliabilitet

Den fjärde bilden ses som både reliabel och valid. Men säg nu att kursplanen definierar hela tavlan som mål för undervisningen. Då får du en påtaglig construct under representation i det fjärde fallet. Snarast är det då den andra bilden som ger bäst construct representation, men mot en betydligt lägre inre konsistens. Man får alltså i praktiken i viss utsträckning bestämma sig för om man ska betona reliabilitet eller validitet, eller hitta någon lämplig kompromiss – vilket inte är det lättaste.

Det finns tre övergripande hot mot reliabiliteten:
1) Olika bedömare gör olika tolkningar av elevernas svar
2) Elevernas dagsform påverkar hur de svarar och om de kan eller inte
3) Olika uppgifter men som mäter samma kunskaper uppfattas på olika sätt av olika elever.

Ett sätt att öka reliabiliteten är genom att införa fler frågor på varje mätområde. Vi vill kanske ge eleverna tre olika möjligheter att visa att de förstår ett specifikt moment. Om vi på detta sätt vill öka den så kallad interbedömarreliabiliteten från ett läge där oberoende bedömare kommer till samma slutsatser i 64 procent av fallen till 81 procent av fallen, behövs en uppgiftsmängd som förlänger provtiden 5 till 6 gånger menar Black och Wiliam (2011), dvs. upp mot 25-30 timmar om vi tar ett Nationellt prov som exempel. Skulle vi göra det får vi dock ett annat problem – eleverna blir så trötta att de underpresterar. Alternativet är att vi gör ett test som täcker in färre områden, men då får vi alltså underrepresenterade kunskapsområden. Det hela handlar om klassisk testteori. Vanligtvis brukar man beräkna hur många uppgifter som behöver adderas till ett prov för att uppnå en viss reliabilitet. Det gör man med hjälp av Spearman-Browns formel. De flesta provkonstruktörer väljer en balans mellan dessa poler med den uppenbara konsekvensen att det finns mätfel även i de allra mest ambitiöst konstruerade proven. Ska man göra vettiga tolkningar av ett prov måste man därför ha en aning om mätfelets storlek. Black och Wiliam (2011) har ett resonemang om hur man kan tänka om det genom att ha en hypotes om elevernas rätta resultat. Det finns inget meningsfullt prov där elever skulle få samma resultat varje gång. Elever gör olika fel vid varje mättillfälle och bedömare gör olika rättningar vid olika tillfällen. Men om man lade ihop en elevs resultat på fem till sex liknande prov under en begränsad tid skulle man få fram ett genomsnittligt resultat som kallas the true score – det rätta resultatet. Ett sätt att åstadkomma detta i praktiken är att arbeta med split half-metoden som innebär att man gör ett prov som kan delas i två delar. Sedan jämför man utfallet på de två delarna. Är det hög överensstämmelse har uppgifterna en hög inre konsistens avseende vad de mäter. Överensstämmelsen är dock också beroende av hur man delar upp testet och därför måste man korrelera alla tänkbara rimliga sätt att dela testet på med varandra. Då får man ett värde som kallas Cronbachs alpha och som uttrycks mellan 0 och 1, där 0 betyder att proven ger slumpmässiga utfall och 1 att provet är helt reliabelt – varje gång vi gör det får vi samma resultat. En vanlig uppfattning är att Cronbach alpha bör ligga på 0.7 och uppåt om testet ska vara användbart, men det beror givetvis på vad det faktiskt är man mäter. För att förstå vilken effekt olika grader av reliabilitet faktiskt kan få t.ex. för vilket provbetyg en elev får behöver vi kombinera Cronbach alpha med ett mått på elevens sanna resultat (the true score).

För att undersöka hur provets inre konsistens påverkar resultatet för en elev kan Cronbach alpha sättas i relation till standardavvikelsen, dvs. den genomsnittliga avvikelsen från medelvärdet. En bra illustration till hur man kan räkna finns i Black och Wiliam (2011). På en normalfördelningskurva faller 68 procent av resultaten inom en standardavvikelse och 96 procent inom två standardavvikelser. Genom att kombinera dessa mått går det att få fram ett förväntat standardfel, SEM. Standardfelet anger för varje reliabilitetsnivå den förväntade spridningen av felprocent inom en och samma faktiska kunskapsmängd.

Formeln för SEM är X √(1-r)

Om r är reliabilitet så betyder detta att SEM på ett prov med en reliabilitet på 0.85, där man kan få 50 poäng och där standardavvikelsen (X) är 7,5 poäng blir 2,9 poäng (SEM=7,5√(1-0,85)=2,9). Det innebär att den ”sanna poängen” för en elev med 35 provpoäng till 68 procents sannolikhet ligger mellan 32 och 38 poäng. Vill man ha 95 procents säkerhet kan man säga att den ligger mellan 29 och 41. Detta är i själva verket en approximation, men används allmänt i professionell provanalys. Detta innebär hursomhelst att i en klass på 30 elever så är det minst en elev, vi vet aldrig vem, som avviker mer en 12 procent i positiv eller negativ riktning, det kan vi heller inte veta, från sitt riktiga resultat. Minst tio elever avviker 6 procent från sitt sanna resultat relaterat till provens bristande inre konsistens (som i det här exemplet trots allt inte var så farligt hög). Effekten för den enskilda individen kan dock bli stor varför professionella testkonstruktörer gärna är extra försiktiga med vilka slutsatser de drar från ett prov. Black och Wiliam skriver:

even the best tests can be widly inaccurate for a few individual students /…/ This is why testing experts invariably say that high-stakes decisions should never be based solely on the results of a single test. (Black & Wiliam 2011, s. 252)

Det är också av detta och likande skäl som nationella prov inte ska styra elevernas betyg. Om de gör det kommer vissa elever ändå att få fel betyg. Staten har därför valt att lita också på lärarnas omdömen. Frågan som uppstår är emellertid om lärares betyg hamnar ännu mer fel. Det kan vi inte veta med mindre än att vi forskar mer om hur lärare tänker när de ger eleverna deras betyg. Vi vet alltså inte vilken bedömning det är som är mest construct relevant, provbetyget eller lärarnas betyg. Men om vi bara håller oss till reliabiliteten i bedömningarna av proven går den att förbättra med olika medel. Ett sätt har varit att erbjuda elevexempel för olika betygsnivåer så att lärarna vet vad de ska titta efter. Det kvarstår dock fortfarande en stor del bristande bedömaröverensstämmelse, särskilt i uppsatsdelarna. Ett rimligt nästa steg är att låta lärare rätta proven tillsammans i grupp. Man rättar alltså sina egna elevers resultat och de andra lärarnas gemensamt. Det skulle göra att lärarna ”skrapar av” varandras extremer och därigenom, om gruppen är någorlunda heterogen, men inte nödvändigtvis större än 4-5 lärare, når en norm som skulle likna den liknande grupper skulle komma fram till (för en bra beskrivning av hur det praktiskt kan gå till se här och här). Det krävs alltså inte en särskilt stor kritisk massa för att enas om den mest rimliga tolkningen. I en sådan process skulle lärarna också utveckla sin ämneskompetens i det att de lära av varandra vad som är viktigt att fästa uppmärksamhet vid i olika moment av ämnet. Att låta lärare kontrollrätta varandras elevers anonymiserade prov menar jag däremot är en sämre väg att gå. Det förstärker misstroendet till lärarna och det blir inte nödvändigtvis rättvisare för eleven. Framförallt tar det bort ett tillfälle för lärare att lära av varandra. Bedömning av elevers kunskaper kan aldrig ske helt objektivt – däremot kan det utföras med en tillräckligt hög grad av intersubjektivitet för att tillfredsställa både individens och samhällets krav på likvärdighet!

Referenser

Black, Paul and Wiliam, Dylan (2011). The reliability of assessments. In John Gardner (ed.). Assessment and Learning. 2nd edition Los Angeles and London: Sage Publications, p. 243–263.

Koretz, Daniel M. (2008). Measuring up: what educational testing really tells us. Cambridge, Mass.: Harvard University Press

Messick, Samuel (1989). Validity. In Robert L. Linn (ed.): Educational Measurement. 3d edition 1993. Phoenix: The Oryx Press, p. 13–103.

Använd Facebook för att kommentera detta inlägg

Snabbkurs för Tomas Tobé och andra som inte hunnit sätta sig in i de senaste 20 årens forskning om bedömning i skolan

Med anledning av diverse politiska utspel om fördelar med mer betyg, prov och läxor och det lättvindiga avfärdandet av kritiken mot dessa utspel, har jag tagit fram en Youtube-kurs för stressade utbildningsdebattörer. Den börjar med Skolverkets material kring värdet av en skola på vetenskaplig grund och beprövad erfarenhet. Därefter följer intervjuer och föreläsningar med några av väldens främsta forskare kring motivation, lärande och bedömning. För dem som föredrar föreläsningar på svenska har jag även lagt till några av mina egna föreläsningar om bedömning och lärande.

Flera duktiga lärare och rektorer som riktat kritik mot politikernas betygsiver har lättvindigt avfärdats som betygsmotståndare (t.ex. här). Kursen avslutas därför med tre exempel på utomordentligt lärararbete kring bedömning i syfte att illustrera hur kreativa och duktiga lärare flyttat gränserna för bedömning långt bortom ” den eviga betygsfrågan”.

Målet med kursen är att studenten ska kunna uttala sig om betyg och bedömning på ett sett som ligger i fas med forskning om motivation, lärande och bedömning och ett modernt samhälles förväntningar på skolan.

1. Att bygga en skola på beprövad erfarenhet och vetenskaplig grund

Skolverkets filmer om beprövad erfarenhet, vetenskaplig grund och evidens

http://www.youtube.com/watch?v=6ABUlzbpVVE&list=PLoRTp-jkn2Oimmmmocg31FmLPhv-Lo3nd


http://www.youtube.com/watch?v=shInnMH53Ok&list=PLoRTp-jkn2Oimmmmocg31FmLPhv-Lo3nd&index=1

http://www.youtube.com/watch?v=JJ6_Y4cDHVc&list=PLoRTp-jkn2Oimmmmocg31FmLPhv-Lo3nd

2. Bedömning och motivation

Professor Carol S. Dweck

http://www.youtube.com/watch?v=aPNeu07I52w

http://www.youtube.com/watch?v=TTXrV0_3UjY

http://www.youtube.com/watch?v=ICILzbB1Obg

Professor Edward Deci

http://www.youtube.com/watch?v=VGrcets0E6I

Daniel Pink

http://www.youtube.com/watch?v=rrkrvAUbU9Y

3. Bedömning och självuppfattning

Carol Dweck – Growth mindset video gallery

http://www.mindsetworks.com/webnav/videogallery.aspx

4. Bedömning och lärande

Norska Utdanningsdirektoratets föreläsningssamling om bedömning

http://beta.udir.no//Vurdering/Templates/Pages/QuestionOverviewPage.aspx?id=33634&epslanguage=no

Professor Dylan Wiliam

Embedding formativ assessment
http://www.youtube.com/watch?v=B3HRvFsZHoo

Del 1 (1 h) föreläsning
http://www.youtube.com/watch?v=krbTilxjayM
Del 2 (1 h) föreläsning
http://www.youtube.com/watch?v=PXBUlbe1C1I
Del 2 (25 min) paneldiskussion
http://www.youtube.com/watch?v=YVPnEz2mpMI

Keynote, SSAT National conference 2012 (27 min)
http://www.youtube.com/watch?v=r1LL9NX1hUw

The Classroom experiment. Dylan Wiliam utvecklar undervisningen med hjälp av formativ bedömning
A damaging classroom habit Hands up
The lollipop sticks
The classroom experiment del 1
The classroom experiment del 2

Professor Christian Lundahl

Skillnaden mellan summativ och formativ bedömning
https://www.youtube.com/watch?v=GEQWcf3arKw

Tydliggöra mål och kunskapskrav
https://www.youtube.com/watch?v=s0r–Iu2ClM

Skapa uppgifter som synliggöra lärandet
https://www.youtube.com/watch?v=Ow37GNG2obk

Återkoppling som för lärandet framåt
https://www.youtube.com/watch?v=O5m2Rp9MRIs

Aktivera eleverna som resurser för varandra
https://www.youtube.com/watch?v=eP0KrXKgF64

Aktivera eleven som ägare av sitt eget lärande
https://www.youtube.com/watch?v=YhWoWpboaSc

5. Moderna svenska lärares arbete med bedömning

Katarina Lycken om Flippad bedömning med hjälp av surfplatta

http://www.pedagogstockholm.se/Utveckling/Bedomning-och-betyg/Verktyg-for-formativ-bedomning/Flippad-bedomning/

Åsa Wennersten om kamratbedömning – Tvår stjärnor och en glödlampa

http://www.youtube.com/watch?v=nmYFhjDFlE0

Daniel Barker om digitala responssystem

http://www.youtube.com/watch?v=UPeAT06afds

Kursen examineras genom självvärdering. Lycka till!

Använd Facebook för att kommentera detta inlägg