Kategoriarkiv: Bedömning och utvärdering

Dags för ett intellektuellt förhållningssätt till PISA

Den 6 december 2016 presenteras resultaten från 2015 års PISA-undersökning. Dessa resultat kommer få stor betydelse för den utbildningspolitiska diskursen om skolan de närmaste månaderna. Sverige kommer att jämföras med sig själv från tidigare år, och Sverige kommer att jämföras med andra länder. Ibland kommer jämförelserna och tolkningarna att vara rimliga men lika ofta kommer de att vara överdrivna och präglade av specifika intressen. Att genomföra internationella mätningar och göra tolkningar av dess resultat, och agera utifrån resultaten är en delikat och mycket svår uppgift. I debatten är det därför synd att den expertis som verkligen finns kring internationell och jämförande pedagogik sällan kommer fram.

Internationell och jämförande pedagogik har som forskningsinriktning en lång historia som spåras tillbaka redan till tidigt 1800-tal, då fransmannen Marc Antoine Jullien drog upp riktlinjerna för internationella jämförelser av utbildning (se t ex Kaloyannaki & Kazamias, 2009). Det var dock först under 1900-talet, framförallt efterkrigstiden, som forskningsfältet institutionaliserades med egna tidskrifter, sällskap och universitetskurser. Inom fältet finns en väl utvecklad begreppsapparat för att förstå möjligheterna och begränsningarna i internationella jämförande studier som PISA och TIMSS.

Sverige och särskilt pedagogikforskaren Torsten Husén (1916 – 2009) var drivande i utvecklingen av internationella jämförelser inom utbildningsväsendet. Den forskning i internationell och jämförande pedagogik som Husén lade grunden till, har dock i Sverige fört en något tynande tillvaro de senaste decennierna. Samtidigt har den blomstrat internationellt sett och idag finns flera framgångsrika forskare inom fältet. En som uppmärksammat detta är forskaren Will Brehm vid Tokyo universitet. I en mycket bildad podcast intervjuar han flera av världens främsta forskare i internationell och jämförande pedagogik. Inte minst diskuterar de olika positiva och negativa effekter PISA-undersökningarna har världen över. För hela utbudet se http://www.freshedpodcast.com.

Jag kan särskilt rekommendera:

Rethinking the PISA Debate (Keita Takayama)

Seeing Like PISA (Radhika Gorur)

PISA, policy referencing, and pantomime (Bob Adamson)

The problems with outcome-based approaches to education (David Edwards)

The history and development of international assessments (Dirk Hastedt)

PISA in Germany (Florian Waldow)

Det finns också ett internationellt forskningsnätverk, The Laboratory of International Assessment Studies, som samlar både de som arbetar med PISA och TIMSS och forskare som kritiskt studerar effekterna av den typen av International Large Scale Assessment (ILSA). Den senaste konferensen ägde rum i Berlin hösten 2016 och videoupptagningar samt bloggar från konferensen finns här.

På svenska kommer jag och Joakim Landahl snart också ut med boken: Bortom PISA. Internationell och jämförande pedagogik (Natur och kultur). Se vidare här.

pisabok

Boken består av tre delar och 12 olika kapitel skrivna av svenska och utländska forskare som arbetar med internationell och jämförande pedagogik. Del I, Perspektiv på PISA, diskuterar hur internationella storskaliga mätningar växt fram historiskt och vilken roll de spelar i dagens samhälle. Del II, Undervisningens nationella variationer, ger exempel på hur nationella skolsystem kan jämföras på andra sätt än genom storskaliga kvantitativa mätningar av elevers resultat. Del III, Transnationella flöden, behandlar processen varmed pedagogiska idéer och praktiker rör sig från ett nationellt sammanhang till ett annat. Boken kommer i januari 2017 och är en produkt från vårt gemensamma projekt From Paris to PISA, som finansieras av Vetenskapsrådet.

Referenser

Kaloyannaki, P & Kazamias, A.M. (2009) ”The Modernist BEginnings of Comparative Education. The Proto-Scientific and the Reformist-Meliorist Administrative Motif.” I R. Cowen & A.M. Kazamias, (red.) (2009). International handbook of comparative education. Dordrecht: Springer.

Använd Facebook för att kommentera detta inlägg

Hönan och tågvagnen – om vardagsspråk och skolspråk

Min gamla handledare berättade en gång om när han besökte en skola i ett afrikanskt utvecklingsland på 70-talet där de undervisade om jordbruk. Skolan var en lerhydda med stora hål där man kunde väntat sig dörr och fönster. Inuti salen pågick undervisning om hönor med hjälp av skolplanscher, för så gör man i skolan. Samtidigt sprang riktiga höns omkring på golvet.

När jag häromdagen åkte tåg till Falun för att närvara vid en disputation om kommunikation i matematik, steg en skolklass på i min nästan tomma tågvagn. Läraren ropade ut de förbokade – men utspridda platserna – medan tåget började att rulla. Eleverna försökte snappa upp vad läraren sa för att hitta sin plats. Efter ett par minuter avbryter en elev – ”men kan vi inte bara sätta oss där det är ledigt!” Läraren kommer på sig själv och skrattar, ”ja gör det – vi ska ju bara en station!” För så gör man utanför skolan.

Avhandlingen som lades fram handlar om matematisk kommunikation i skolan där elevers korrekta problemlösningar ibland missförstås av lärare då eleverna beskriver sin lösningsprocess i vardagliga termer, snarare är på det matematiskt riktiga skolsättet. Se vidare Anna Teledahl: Knowledge and Writing in School Mathematics. A Coomunicational Approach. Örebro Studies in Education 53.

Använd Facebook för att kommentera detta inlägg

Nationella prov i det tredje skolåret – vad har de egentligen för funktion?

Den samhällsvetenskapliga forskningens viktigaste funktion är att reflektera samhället. När något radikalt förändras brukar det så småningom locka den samhällsvetenskapliga forskaren. Strax före sommaren kom t.ex. den första avhandlingen om införandet av betyg i årskurs 6 (som jag skrev om här) och nu även den första avhandlingen om de nationella proven i årskurs 3. Anette Bagger disputerade 2015-10-16 vid Umeå universitet med avhandlingen Prövningen av en skola för alla. Nationella provet i matematik i det tredje skolåret (se även här). Avhandlingen är en sammanläggningsavhandling och bygger på artiklar skrivna inom projektet Vad gör testandet med eleven. En studie av nationella prov i matematik i skolår tre, finansierat av Vetenskapsrådet.

I projektet har forskarna filmat 69 tillfällen när barn i årskurs 3 gör prov, intervjuat 237 barn och 21 pedagoger. Flera av intervjuerna baserar sig på en metod där barnen får se sig själva på film när de gjorde provet och sedan berätta hur det kändes i kroppen när de gjorde proven, om det kände sig duktiga eller inte så duktiga i matematik, om de kunde få hjälp, vad proven skulle användas till etc. Poängen är att forskarna vill se vad proven mer gör än mäter kunskaper och vilken effekt de har, särskilt för barn i behov av särskilt stöd (samt identifiera vilka dessa kan vara utöver de som har stöd i undervisningen).

Den avhandling som Anette Bagger skrivit utifrån projektet utgår särskilt från en undran som kan sammanfattas: Hur konstrueras proven och provdeltagarna. En inledande illustration av hur prov och deltagare kan konstrueras och få sin sociala och specifika innebörd finner hon i romanen De kanske lämpade av Peter Høeg:

De ansåg att det var en stor hjälp för barn att bli bedömda. Det anser man väl fortfarande, det är ganska utbrett i samhället. Att det är bra att bli bedömd. (s.102, ur Bagger 2015, s. 3)

Det är inte i ond avsikt man bedömer folk. Det är bara därför att man själv så många gånger blivit testad. Till slut finns inget annat sätt att tänka. Man ser det kanske inte så tydligt om man alltid har kunnat prestera ungefär vad som begärdes. Man ser det kanske bäst om man vet att man i hela sitt liv kommer att vara på gränsen. (ibid.)

Med utgångspunkten att prov inte betyder samma sak för alla och alltid, vill Bagger titta närmare på provens betydelse för de elever som så att säga ligger på gränsen i ämnet matematik. Att projektet fokuserar ämnet matematik kan förstås mot bakgrund att andelen elever med högsta betyget sjunkit de senaste tio åren samtidigt som också andelen elever som inte når det lägsta betyget har ökat.

Som ett sätt att råda bot på detta problem införde den förra regeringen för snart fem år sedan obligatoriska prov i årskurs 3. I ett pressmeddelande sa dåvarande utbildningsministern Jan Björklund angående NP i åk 3:

För att kunna sätta in hjälp måste vi tidigt upptäcka de elever som riskerar att halka efter. Med tydliga kontrollstationer blir informationen bättre och fler kommer att få det stöd de har rätt till. (Utbildningsdepartementet, 2012 ur Bagger s. 13)

Man skulle ju förstås kunna vända på det och säga att det kanske är den lärare som inte i åk 3 upptäckt att elever behöver stöd, som egentligen behöver mest stöd. Hur som helst var det eleverna som här definierades som problemet.

Vad gäller bedömning, nationella prov, barn i behov av särskilt stöd och prov för yngre barn är det några iakttagelser i tidigare forskning som får stor betydelse för avhandlingen. För det första handlar mycket tidigare forskning i området om sk high stake bedömningar, dvs. bedömningar som får betydelsefulla konsekvenser, och deras effekter på olika grupper av elever. För det andra har tidigare forskning noterat att lärare i testsituationer tenderar överge sitt omsorgsperspektiv och agera mer strikt som kunskapsmätare. Det finns för det tredje en del forskning om testängslan just i matematik. En spännande studie pekar på att barn i behov av stöd känner samma motivation inför att göra prov, men genomförandet behöver ske på andra villkor, t.ex. med mer slutna svarsalternativ än resonerande uppgifter (Bagger s. 22). Man kan säga att elevernas resultat är en kombination av kognition och hur provet kommunicerar. Andra forskare har kallat detta ”commognition”. En aspekt av det är också hur eleverna ser på sina egna förmågor att lära sig. Elever med god självkänsla ifråga om lärande känner mindre testängslan. Bagger konstaterar att det saknas tidigare forskning om ”nationella proven under tredje skolåret, ur ett inifrån perspektiv, med fokus på Sverige och barn i behov av särskilt stöd.” (Bagger s. 27).

Avhandlingen reser fyra forskningsfrågor:

  1. Vilka diskurser blir tillgängliga i samband med provet?
  2. Vilka positioner blir tillgängliga för lärare och elever i samband med 
provet?
  3. Hur samverkar diskurserna med deltagarnas positionering och varandra?
  4. Vem kan eleven i behov av stöd i matematik vara i samband med provet?

Kring den första frågan om vilka diskurser som blir tillgängliga i samband med proven identifierar Bagger tre olika diskurser: testdiskursen, omsorgsdiskursen och tävlingsdiskursen. Testdiskursen handlar om regler för hur man ska göra prov, att t.ex. inte tjuvtitta på varandras svar, att läraren inte kan hjälpa eleverna som på vanliga lektioner etc. Omsorgsdiskursen handlar om att stötta och peppa eleverna att göra sitt bästa och känna sig trygga i situationen. Den hamnar ibland i konflikt med de båda andra diskurserna. Tävlingsdiskursen handlar om tid och poäng, att bli klar snabbt och att få höga poäng. Bagger nämner här också en underordnad stöddiskurs vilken handlar om det stöd man får och/eller måste ge efter behov i provsituationen. Framför allt är det spänningen mellan testdiskursen och stöddiskursen som är problematisk. Eleverna är vana vid att deras lärare kan hjälpa dem vid behov, men lärarna får inte hjälpa eleverna hursomhelst under provet för att värna dess likvärdighet. Så här säger en 9-årig flicka i en av artiklarna till avhandlingen:

You know, I got really nervous when I couldn’t solve one of the problems and I raised my hand and… Then she [the teacher] said ”I cannot help you”! Then I got super duper nervous and I said ”What do I do now?” (Vivian, Bagger 2015, artikel II, s. 112)

De positioner som blir tillgängliga skiljer sig förstås mellan lärare och elever. Lärarna beskrivs i relation till avhandlingens andra frågeställning som testtagare, testgivare, omsorgsgivare och kontrollant. Eleverna beskrivs som testtagare, tävlande, förlorare, vinnare, bra i matematik, dålig i matematik samt flera behovspositioner. Dessa positioner handlar om maktrelationer och de sträcker sig utanför testsitutionen i tid och rum. ”Dålig i matematik” är man inte bara på provet utan blir det en längre tid och överallt. Provet gör att vissa elever får en positiv syn på sina förmågor i matematik medan andra får en mer negativ, för att ta några exempel från avhandlingens fjärde artikel. Kristian som gillar tävlingssituationen kring proven säger: ”Yes, you just go! Concentrate as best you can so that you do not loose your edge” (Bagger 2015, artikel IV, s 13. Medan Anna går därifrån med en helt annan upplevelse:

But later on, then I also had a little panic … so that I could barely, then I was still nervous so that I panicked because you could write it. But exactely when you needed it the most and you needed … to write tha answer … rember the answer. Then itmight have flown away and when you do not need it, that is when it comes back, so I got a little bit irritated about that (ibid. s. 15)

Även om många elever uttrycker sig positivt om proven och säger att de är roliga att göra, är det runt hälften av eleverna som säger att proven försätter dem under vad de uppfattar som en negativ press.

Avhandlingens tredje frågeställning handlar om hur diskurserna och positionerna samverkar. Det Bagger ser är att testdiskursen övertrumfar omsorgs- och stöddiskursen vilket gör det svårt för läraren att självklart stötta de elever som behöver. Eleverna ger också uttryck för detta och ”förstår” att de inte kan få hjälp. Bagger skriver också att de elever som behöver stöd redan är kända av skolan. Proven upptäcker med andra ord inte dessa barn. Snarare bidrar proven till att etikettera dem ännu tydligare som redan ”dåliga”. Bagger skriver:

Ett av de uttalande upphoven till provet är att kunna identifiera eleverna som brister, eller undervisningen som brister, så att detta kan åtgärdas. I empirin framträdde det sig att eleverna i behov av stöd som sorterades fram via provet redan var kända av skolan. Därför blir slutsatsen att provet snarare etiketterar elever utifrån prestation, än identifierar de som är i behov av stöd. (Bagger 2015, s. 74)

Detta får nog betraktas som ett av avhandlingens viktigaste resultat.

Den fjärde frågan handlar om vem eleven i behov av stöd under proven kan vara. Bagger menar här att lärare och elever beskriver detta olika utifrån olika diskurser. Uppenbart är i alla fall att det inte nödvändigtvis handlar om de elever som har stöd i vanliga fall, utan denna position är mycket relaterad till en känsla. Vi kan ta ett konkret exempel:

Anette Bagger: Hur ser man att det är ett prov och inte matte, är det något som du tycker är annorlunda?
Sofie: Faktiskt inte, det känns som att vi bara gör vanlig matte.
Anette: Så det var inte något som var annorlunda då?

Sofie: Inte så mycket utan att det var mer bara det att, pirret, att det kändes som att det var ett riktigt sådant här prov som man kunde åka ut om man inte gjorde rätt på. Anette: Ja, då blir man pirrig.
Sofie: Jag vet ju att det inte är så men jag blev bara … det kändes som att jag skulle få hjärtattack litegrann. (Artikel II och IV. Ur dokumentet: Alla transkriberingar, s. 13, Bagger 2015, s. 76)

Avhandlingens slutsatser pekar tydligt mot att proven i åk 3 har bidragit till att sätta fokus på prestationer i skolans lägre årskurser. För det andra bidrar proven till att legitimera vissa positioner i skolan, så som svag, snabb, duktig men också hur läraren ska vara mot eleverna. Proven skapar specifika sätt att se på likvärdighet och kvalitet. Proven får för det tredje differentiella effekter, dvs. de har olika effekter för olika elever. En viktig aspekt här är att själva genomförandet av proven inte alltid är likvärdigt. Här kommer också frågan om high stake in. Proven beskrivs ofta som low stake i statliga dokument, men ur lärares, elevers och föräldrars perspektiv kan de upplevas som high stake. Och det är nog hur proven upplevs som egentligen är det som är det centrala. Bagger pekar avslutningsvis på att det behövs mer aggens (självbestämmande) för att genomförandet ska kunna bli bättre. Om lärare och elever blir säkrare på hur proven ska genomföras och framför allt vad resultaten kan och ska användas till, kan de agera med mer agens, autonomi och självklarhet, i provsituationen.

Så vilken funktion har de nationella proven i årskurs 3? Det är tydligt att de nationella proven i årskurs 3, eller bedömningsstödet som det egentligen heter, skapar stress och press på en stor del elever och mest för de som redan är utsatta i skolan. Fokus hamnar på elevernas prestationer snarare än på omsorgen om dem. Det kanske är helt i sin ordning? Det kanske är så att barnen behöver vänja sig vid allt högre krav och är det inte egentligen skolans viktigaste uppgift att differentiera?

Den amerikanska sociologen och funktionalisten Talcott Parsons (1902 – 1979) har i sin bok Social Structure and Personality (1964) en artikel om skolklassen som socialt system, där han diskuterar hur skolklassen fungerar som socialisations- och selektionsagent för ett vuxenlivets ”rollbeteende”. Denna socialisations och selektionsprocess löper huvudsakligen, enligt Parsons, utmed en ”prestationsaxel”: ”the main process of differentiation … takes place on a single main axis of achievement” (1964:133). Vid inträdet i skolan finns, menar Parsons, ingen grund för differentiering, förutom kön. Den strukturella differentieringen av barnen sker först när de börjar prestera. Allt annat lika är det prestationen som fäller avgörandet.

För Parsons är det inte differentieringen i sig som är problematisk, utan tveksamma effekter uppstår först i samband med att olika prestationer värderas olika. Värderingen kan sägas vara myntets andra sida, en förstaplats värderas som regel högre än en andraplats. Ur ett aktörsperspektiv måste värderingen upplevas rättvis för att den ska accepteras (1964:143-145). I skolan finns flera strukturer som borgar för att värderingen ska uppfattas som rättvis. Barn/elever socialiseras in i föreställningen att ”den vuxne”/läraren, i kraft av sitt högre vetande, kan göra en rättvis bedömning av barnets/elevens handlingar. Den amerikanska skolklassen förkroppsligar, enligt Parsons, nationens fundamentala värden om att alla har lika möjligheter: ”the equality of opportunity”. Föreställningen om lika möjligheter har som en andra sida, möjligheten till olika resultat. Olika resultat accepteras lättare under föreställningen: ”vi hade i alla fall samma chans”. Detta grundläggande värde om lika möjligheter befästs också, som jag tolkar Parsons, av förmågan att ta hand om de svaga – vår bedömning är rättvis, följer rättvisa procedurer, dessutom behandlar vi er rättvist efteråt: vi premierar förvisso de starka, men säg inte att vi inte bryr oss om förloraren. Med Parsons ord: ”[The] valuation pattern must be tempered … Here the quasi-motherliness of the woman teacher plays an important part” (1964:144).

Om vi menar att livets hårda skola ska börja i skolan är detta resonemang förstås helt rimligt, men i ett samhälle som bygger på inkludering, allas lika värde och att kunskaper är en rättighet behöver inte skolan se ut så här. Vi behöver inte vänja elever i 9-års åldern vid att de inte duger till, eller försätta dem i situationer som skapar ångest och olust. Effekten av betyg och prov för yngre barn bör följas noggrant. Fortsätter vi från forskningen att få indikationer av det slag Anette Bagger och Tord Göran Olovsson visat, får det inte finnas prestige i att det tidiga testandet ska finnas kvar. Så länge det finns kvar, är det viktigt att Skolverkets arbete med att stötta lärare och föräldrar med en sund syn på prov och bedömning fortgår och kanske till och med intensifieras.

Referenser

Bagger, A. (2015). Prövningen av en skola för alla. Nationella prov I matematik I det tredje skolåret. Institutionen för naturvetenskapernas och matematikens didaktik. Diss: Umeå universitet.

Parsons, T. (1957/1964). The School Class as a Social System: Some of its functions in American society. I Parsons, T. (1964). Social Structure and Personality. London: The Free Press/Macmillan.

Använd Facebook för att kommentera detta inlägg

Betyg i åk 6 – är det värt det?

Så har den kommit, den första avhandlingen som studerat effekter av betygen i åk 6. Det handlar om Tord Göran Olovssons avhandling: Det kontrollera(n)de klassrummet. Bedömningsprocessen i svensk grundskolepraktik i relation till införandet av nationella skolreformer, Umeå universitet.

Avhandlingen är en så kallad sammanläggningsavhandling med en kappa och 4 artiklar (se referenser nedan). Olovsson vill framför allt undersöka hur det han kallar bedömningsprocessen framträder i klassrummet före och efter reformernas införande. Bedömningsprocessen involverar såväl arbetet med mål, undervisningen som bedömningen. Även om avhandling i huvudsak har eleverna i fokus, så är det vad som händer i klassrummet som undersöks. Olovsson har suttit i klassrum och gjort observationer, intervjuat lärare och elever, samt samlat in elevuppsatser kring betyg och bedömning. Materialet är rikt, även om det bara samlats in från tre skolor.

Studien tar sin utgångspunkt i de nyligen genomförda reformerna i grundskolan kring betyg, nationella prov och nya kursplaner med kunskapskrav och som påverkar åk 5 och 6. Den första artikeln som ingår i avhandlingen handlar om hur bedömningsprocessen i ett årskurs 5-klassrum framträder och hur elever och lärare upplever den, före de nämnda reformernas införande. I den andra artikeln studeras skillnader mellan bedömningsprocessen i två årskurs 5-klassrum, efter införandet av nya kursplaner men före införandet av betyg och utökade nationella prov. Den tredje artikeln handlar om förändringar i bedömningsprocessen i två skolor, mellan årskurs 5 och 6, i relation till införandet av betyg och utökade nationella prov. I den fjärde artikeln, slutligen, studeras hur förändringar i bedömningsprocessen påverkar elevers lärandeidentiteter.

Betyg har länge varit en omstridd fråga. Ursprungligen gavs betyg i varje årskurs, för att de som lämnade skolan i förtid i alla fall skulle få med sig några meriter. För att stärka skolplikten och barns rätt att slippa barnarbete infördes 1900 ett krav på slutbetyg för att anställa barn vid industrierna (Lundahl 2014). I takt med att allt fler gick allt längre i skolan, gavs betyg senare. I och med läroplanerna 1962 och 1969 kom betyg bara att ges från åk 3, 6 och i högstadiet. I slutet av 1970-talet och i början på 1980-talet genomfördes en reform som ledde till att betyg helt avskaffades i de lägre skolåldrarna för att endast ges i högstadiet. Eftersom standardproven, sedermera de nationella proven, var ett stöd för betygen togs de också bort i de lägre åldrarna. I förarbetena till 1990-talets skolreformer föreslogs under moderaternas skolminister Beatrice Ask att betyg skulle sättas i åk 7 (men inte tidigare än så då barn under 13 år ansågs sakna den psykologiska mognad som krävdes för att hantera betyg) och i skalstegen F-A. Så blev det inte, då, utan när socialdemokraterna kom till makten 1993 ändrades den föreslagna betygsskalan till G, VG, MVG och betygen skulle fortsättningsvis sättas först från åk 8. Under tidigt 2000-tal väcktes igen idéer om tidigare betyg och tog fart på allvar i och med att Alliansen kom till makten 2006 och återvaldes 2011. Nationella prov infördes i åk 3 2009 och 2011 fick vi betyg från åk 6.

Olovsson kopplar, i linje med annan forskning, de senaste reformerna till den mål- och resultatstyrnigstrend som internationellt sett påverkat offentlig sektor mer och mer sedan 1990-talet. Detta kallas allmänt för New Public Management där ett nyckelbegrepp är accountability, dvs. att man ska hållas ansvarig för sina resultat. Bedömningar har blivit en viktig funktion för att generera och synliggöra dessa resultat:

Stobart (2008) lyfter fram att politiska beslutsfattare har insett att bedömning kan användas som ett kraftfullt verktyg när det gäller reformering av utbildning. Beslutsfattare har uppfattat att bedömning är ett sätt att snabbt få tag i ”rodret” (Stobart, 2008, s. 122) vilket gör att resten av systemet då måste ansluta. (Olovsson 2015, s. 13)

En del kallar också detta att ”styra hunden med svansen”. Detta påverkar givetvis också lärarna och i forskningsitteraturen brukar lyfta fram att lärares så kallade autonomi, självbestämmande, hotas.

Olovsson menar också att hans studie visar på en ökande kontroll av lärare och från lärare av elevers prestationer samt att detta är en effekt av den tydligare statliga styrningen av genom de nya reformerna. (2015, s. 48). Samtidigt visar artikel 1 att mycket av bedömningsprocessen i åk 5 där inte betyg sätts också kan vara rätt instrumentell. Så här säger t.ex. en lärare inför hela klassen:

Think about where you are in the maths book in relation to the goal. Work during the lesson – then you will avoid homework. (artikel 1, s. 6)

Det finns ett mönster visar Olovsson, av att lärarna bryter ner de vidare målen till enkla avprickningsbara prestationsmål, redan före det att betygen i åk 6 införts. Den återkoppling som ges är främst en bedömning av om eleven klarat uppgiften eller ej – och är alltså inte är särskilt framåtsyftande. Det blir ett fokus på hur mycket eleven har klarat av snarare än hur bra, där processen – resandet – blir underordnat slutprestationen – ankomsten.

I artikel 2 visar dock Olovsson att det finns olika bedömningsprocesser i olika klassrum. Han introducerar här Bernsteins begrepp klassifikation och inramning. Stark klassifikation och inramning betyder att ämneskunskaper står i fokus och undervisningen utgår från läraren. Svag klassifikation och inramning utgår mer från sammanhanget och elevernas behov. Två av skolorna i studien skiljer sig här åt avsevärt. En bedömningskultur som kännetecknas av det förra kan beskrivas utifrån följande lärarcitat:

In our school management area we have [this school year] met one whole day and several afternoons. We have worked in groups, discussing the new syllabuses and how to think when doing assessments in relation to the new knowledge requirements. (artikel 2, s. 576)

Ett motsatt exempel från en skola med svag klassifikation och inramning kan se ut så här, där en lärare säger:

Recording [pupil’s learning] is a directive from above, and maybe I handle it in a bad way compared with other teachers. But I will never stop thinking; every minute I spend with the kids or getting to know them is in the long run a better investment than putting lots of time into documentation. (artikel 2, s. 578)

Ett intressant resultat i artikel 3 är att de ganska olikartade uttrycken för bedömningsprocessen i de båda skolorna omformas till att få många likheter i årskurs sex efter det att betygen införts. Särskilt tydligt var att lärare och elever på skolan med svag inramning och klassifikation i årskurs sex hade ett mer tillpassat förhållningssätt till kursplaner och andra yttre ramar, jämfört med i årskurs fem när de i högre grad gick ”sina egna” vägar.

En elev på, den tidigare lite mer ”flummiga” skolan säger:

[T]here are notes put up [on the walls], the knowledge requirements which says what you should be able to do to get a C or a D or somthing like that. (artikel 3, s. 4)

Ett annat centralt resultat är att eleverna i årskurs fem, generellt i alla tre undersökta skolor, oftare visade glädje och lust i arbetet jämfört med i årskurs sex (när dock bara två av skolorna undersöktes). Den lustfyllda nyfikenheten inför lärandet av ett nytt kunskapsområde var i årskurs sex delvis ersatt av en mer allvarsam och koncentrerad attityd. I intervjuerna angav fler elever att pressen hade en negativ påverkan än att den påverkat dem positivt. (Olovsson 2015, s. 499

Så här uttrycker sig exempelvis en flicka i åk 6 om att eventuellt ytterligare sänka betygsåldern till åk 4:

And now maybe they will introduce grades from year four, too, and that is not good. The children will not have a fun childhood. I mean , when we were in year 4, it was only fun and laughter, but now they will sit there like owls and become pressed just like us. They are even younger, so if we get pressed, what will they be? Murdering their playful minds so they become adults at age ten? (artikel 4, s. 298)

Olovsson är befriande icke-normativ, även om många av resultaten visar på svårigheter med betyg och bedömning i lägre åldrar. Han summerar med att vissa av resultaten sett i relation till skolreformerna kan anses 1) avsedda, 2) icke avsedda, samt 3) icke önskvärda. Tydligt är att kontrollen av skolan och i skolan har ökat, men detta har också begränsat lärares autonomi vilket kanske inte varit den uttalat avsedda förhoppningen med reformerna. Prestationerna har hamnat i fokus men kanske på bekostnad av ”riktigt” lärande i form av djupare förståelse, skriver Olovsson ( 2015, s. 54). Reformerna tycks ha fått eleverna att koncentrera sig och göra sitt bästa, men för elever med lägre resultat kan det slå tillbaka negativt. På plussidan hamnar alltså ett tydligare genomslag av skolans mål och att elever blir mer disciplinerade. På minussidan hamnar att läroplanen blir avsmalnande och att elever upplever mer press och stress i skolan.

Olovssons studie bevisar inte vilka effekter vi får av betyg i åk 6. Det är sällan syftet med kvalitativ forskning. Däremot visar den på en bredd av problem och utmaningar som både policy och praktik står inför. Det är alldeles uppenbart, vilket också beskrivits i internationell forskning (Lundahl et al. 2015), att den här typen av reformer som syftar till ökad kontroll och införande av mer betyg och prov får snabba effekter. Implementeringen av 1990-talets reformer gick oerhört trögt, medan här ser vi effekterna direkt. Lärarna är tvingade att genomföra de nationella proven och att sätta betyg. Det gör att de också måste börja arbeta med målen. Detta kan vara bra, men det förutsätter också att lärarna har tillräcklig kompetens att göra detta på ett bra vis och att skolorna präglas av en sund bedömningskultur, som inte haussar upp prestationerna för mycket utan som vågar stanna i processerna och betona lärandet. Det finns skolor för de lägre åldrarna som aktivt uppmuntrar eleverna att inte jämföra sina betyg eller att skryta med dem. Det finns också skolor, barn och föräldrar som är illa förberedda på vad det innebär bedömningar av high stake karaktär, vilket betyg lätt upplevs som.

Den kända bedömningsforskaren Harry Torrance betonar att:

The key policy problem is that assessment will always impact on teaching and learning; the key issue is to try to accentuate the positive impact and diminish the negative impact as far as possible. (Torrance, 2011, s. 480)

Givet forskningsläget (Lundahl et al. 2015) var det en stor chansning att flytta ner betygen till mellanstadiet. Ingen kunde veta vilka olika effekter det skulle få. Nu ser vi att effekterna varken är entydigt negativa eller entydigt positiva. En hel del beror på betraktaren och dess behov och värderingar. Vi vet förstås heller inte vilka effekterna blir på lång sikt. Är det bra med ett ökat fokus i undervisningen på bekostnad av ett smalare undervisningsområde? Är det önskvärt att elever blir mer disciplinerade i skolan om de samtidigt känner en ökad press och stress? Hur påverkas deras lärande av detta på sikt?

Referenser

Lundahl, C. (2014). Bedömning – att veta vad andra vet. I U.P. Lundgren, R. Säljö & C. Liberg (Red.), Lärande, skola, bildning (3 uppl.) (s. 519-557). Stockholm: Natur & Kultur.

Lundahl, C., Hultén, M., Klapp, A., & Mickwitz, L. (2015). Betygens geografi – forskning om betyg och summativa bedömningar i Sverige och internationellt. Stockholm: Vetenskapsrådet.

Olovsson, T.G. (2015). Det kontrollera(n)de klassrummet. Bedömningsprocessen i svensk grundskolepraktik i relation till införandet av nationella skolreformer. Diss: Umeå universitet.

Artikel 1

Olovsson, T.G. (2014). The assessment process in a Swedish year five classroom: “Reach page 52!”. Education 3-13: International Journal of Primary, Elementary and Early Years Education.

Artikel 2

Olovsson, T.G. (2014). The assessment process in two different year-five classrooms in Sweden. Education Inquiry, 5 (4), 561-581.

Artikel 3

Olovsson, T.G. (kommande) Changes in the assessment process in Swedish compulsory school classrooms. Accepterad för publicering i Procedia – Social and Behavioral Sciences: 6th World Conference on Educational Sciences, 2014.

Artikel 4

Olovsson, T.G. (2014). The development of learner identities in relation to major reforms in the Swedish compulsory school. I A. Rasmussen, J. Gustafsson & B. Jeffrey (Red.), Performativity in education: An international collection of ethnographic research on learners’ experiences (s. 283-300). Painswick: E&E Publishing.

Torrance, H. (2011). Using assessment to drive the reform of schooling: Time to stop pursuing the chimera? British Journal of Educational Studies, 59 (4), 459-485.

 

Använd Facebook för att kommentera detta inlägg

Är det betygssystemets fel att Sverige underpresterar i PISA?

Jag måste erkänna att jag blev lite irriterad när Andreas Schleicher i Aktuellt den 4 maj sa att svenska lärare ger elever betyg de inte förtjänar. Man måste fråga sig med vilken rätt han kan slå fast att det är lärarna som gjort fel när betygsnittet ökar trots att PISA resultaten sjunker? Jag skulle vilja pröva en annan hypotes – lärarna gör rätt men det svenska betygssystemet håller tillbaka kunskapsutvecklingen i svensk skola.

Den hypotes jag vill kasta fram är att mindre transparenta betygssystem gör det möjligt för lärare att över tid och omedvetet anpassa den generella kravnivån efter klassens bästa elever. Även om relativ betygssättning enbart tillämpas i ett mindre antal länder i Europa saknar många länder de tydligt formulerade betygskriterier som funnits i Sverige sedan 1996/96. Det gör att lärare i många europeiska länder i praktiken ändå följer en form av relativ betygsskala, där ytterlighetsbetygen tillåts vara ganska få. Det innebär en centrering mot mittenbetygen och en ökande konkurrens hos de duktigaste eleverna för de högsta betygen. Stämmer det skulle i så fall kraven på vad som är en normal prestation succesivt höjas. Den bristande transparensen gör att lärare inte kan anklagas för att vara för hårda i sina bedömningar. Samtidigt kan man misstänka att den höga graden av genomskinlighet som kännetecknar de svenska kunskapskraven bidrar till att elever får lättare att argumentera för att de förtjänar ett högre betyg än vad som är förankrat i djupet. Läraren kan inte ha diffusa krav av slaget att man vet vad som behövs för att klara sig, eller utgår ifrån personliga preferenser relaterat till att man själv är väldigt duktig i sitt ämne. Ställt på sin spets är frågan om rättsäkra bedömningar bidrar till att kunskapsnivån sjunker?

Värt att notera här är att OECD (2012) konstaterar att likvärdigheten i bedömning är bättre i utbildningssystem som använder en verbal kvalitativ skala av slaget: Very good, Good, Satisfactory, Sufficient, Insufficient. De menar att dessa kvalitativa uttryck är allmänna och lätta att förstå och relatera till oavsett det gäller kvalitet på mat, kläder eller kunskaper. Det intressanta är att länder med denna typ av skala också har betyg som överensstämmer bättre med PISA resultaten än där man tillämpar siffer- eller bokstavsbetyg. Frågan är om det kan förklaras av den hypotes jag ställt upp?

De finska betygen liksom de svenska är målrelaterade. I det betygssystem som gäller i Finland sedan 2002 (här) anges dock bara kriterier för mittenbetyget, vilket är betyg 8 och sedan 2004 även för lägsta godkända kunskaper:

I kriterierna för slutbedömningen definieras nivån för de kunskaper och färdigheter som förutsätts för vitsordet åtta (8). Kriterierna för slutbedömningen har gjorts upp så att eleven får vitsordet åtta (8) om han eller hon i medeltal uppvisar de kunskaper som kriterierna i ämnet anger. En del ouppnådda kriterier kan kompenseras genom överträffad nivå för andra.

Eleven har hjälpligt (5) uppnått de kunskaper och färdigheter som krävs i den grundläggande utbildningen om han eller hon åtminstone i någon mån kan uppvisa de kunskaper som kriterierna förutsätter. (Grunderna för läroplanen för den grundläggande utbildningen 2004, s. 264)

Det här systemet kritiserades i en avhandling av Najar Oaukrim-Soivios från 2013 för att vara för godtyckligt i meningen att lärarna sätter betyg snarare utifrån en jämförelse eleverna sinsemellan än relativt betygskriterierna (här). Men det kanske inte har varit så dumt? Om vi dessutom ser närmare på de finska betygskriterierna ger de mycket större utrymme för läraren att bestämma hur ett kunnande ska prövas och var gränserna ska sättas (se nedan). Detta skulle givetvis kunna leda till att lärare sänker kraven, eller sänker dem för godkänt men höjer dem för de höga betygen. Om underkända resultat självklart leder till att rätt stöd kan sättas in minskar dock sannoloikt risken för att kraven sänks.

Finska betygskriterier i svenska som modersmål 2004 års läroplan

Kriterier för vitsordet åtta vid slutbedömningen

Kommunikation

Eleven

  • har lust och vilja att uttrycka sig muntligt och skriftligt både individuellt och i grupp och strävar efter att få kontakt med sin publik
  • kan lyssna koncentrerat och tar till orda i en problemorienterad diskussion och visar förmåga till en aktiv och analytisk dialog
  • visar respekt för andra talare, accepterar olika åsikter och kan delta i en diskussion på ett konstruktivt sätt, t.ex. genom att ställa frågor och komma med förslag och motiveringar
  • känner till de viktigaste skillnaderna mellan talspråk och skriftspråk, är medveten om privatspråkets möjligheter och begränsningar och kan förändra sitt språkbruk beroende på situationen och mediet
  • tar emot och utnyttjar respons på egna texter för att utveckla sina egna färdigheter och kan också ge andra konstruktiv respons och arbeta både enskilt och i grupp.

 Så här ser de svenska kunskapskraven ut för motsvarande moment i modersmålet:

Svenska kunskapskrav i svenska som modersmål, 2011 års läroplan

Krav för betyget C i årskurs 9

Kommunikation

Eleven kan samtala om och diskutera varierande ämnen genom att ställa frågor och framföra åsikter med utvecklade och relativt väl underbyggda argument på ett sätt som för samtalen och diskussionerna framåt. Dessutom kan eleven förbereda och genomföra utvecklade muntliga redogörelser med relativt väl fungerande struktur och innehåll och relativt god anpassning till syfte, mottagare och sammanhang. Eleven kan föra utvecklade och relativt väl underbyggda resonemang om svenska språkets historia, ursprung och särdrag samt jämföra med närliggande språk och beskriva tydligt framträdande likheter och skillnader.

Den tydligaste skillnaden här ligger i värdeorden. Även om värdeorden kan sägas vara relativa i sig, öppnar frånvaron av värdeord för en ännu större relativitet. Denna relativitet behöver dock inte nödvändigtvis leda till helt godtyckliga betyg. I frånvaron av värdeord finns utrymme för lärares eget professionella omdöme och språk. När standardproven infördes på försök under 1940-talet oroade sig lärare för att deras rätt att avge subjektiva omdömen skulle försvinna (Lundahl 2006). Och nog har den gjort det. Ett problem med de svenska transparenta kunskapskraven är att de är transparenta mer på statens villkor än på lärarnas. Kunskapskraven bygger på formuleringar, som inte är förankrade i respektive ämnes terminologi eller kvalitetskriterier, utan i en idé om att det går att standardisera kvalitetsuttryck, vilket gör att lärarna inte har något direkt stöd i sina ämneskunskaper, utan måste försöka förstå vad någon annan menar. Det problemet gällde i högsta grad även den gamla G, VG, MVG-skalan.

Jag tror att vi ska vara försiktiga med att hävda att skillnaden mellan svenska lärares betyg och svenska elevers resultat på PISA främst beror på att svenska lärare inte kan sätta betyg eller att de ställer för låga krav. De sätter de betyg nuvarande betygssystem leder till. I ett mindre genomskinligt system kan lärare omedvetet höja kraven för att upprätthålla en norm som ter sig rimlig, där ganska få når toppen men som därigenom bidrar till en högre allmännivå. Det går självklart att invända att man kan kräva av lärarna att bättre hantera ett så komplext system som vi har. Staten kände dock till att svenska lärare hade liten (om någon) formell utbildning i betygssättning när det målrelaterade betygssystemet infördes på 90-talet (och komplicerades ytterligare 2011). Med vilken rätt säger man att lärare inte gör rätt? Vilken måttstock är mindre fri från problem, mot vilken lärarnas bedömningar ställs? Är det genom att göra rätt enligt styrdokumenten som det i praktiken blir fel? Och skulle det vara värt att offra en mer transparent bedömning för bättre PISA-resultat?

Jag har lagt fram en hypotes som går ut på att ett mindre transparent betygssystem gör det möjligt för lärare att över tid, om än kanske ofta omedvetet, anpassa den generella kravnivån efter klassens bästa elever. Det borde gå att pröva dess giltighet, men för det krävs att problemformuleringen för svensk skola omfattar även systemet och inte bara de som verkar i det.

Referenser

Lundahl, C. (2006): Viljan att veta vad andra vet. Kunskapsbedömning i tidigmodern, modern och senmodern skola. Arbetsliv i omvandling 2006:8. Akademisk avhandling vid Uppsala universitet. Stockholm: Arbetslivsinstitutet.

OECD (2012). Grade expectations: how marks and education policies shape students’ ambitions. Paris: Organisation for Economic Co-operation and Development (OECD).

 

Använd Facebook för att kommentera detta inlägg

Hur uppstår en svag prestation?

I PISA rapporteringen finns en kategori som kallas low performance, dvs. svaga prestationer och dålig förmåga att klara PISA-uppgifter. OECD menar emellertid att svaga resultat på PISA-uppgifterna får vidare konsekvenser och skriver om denna prestationskategori:

Countries with large numbers of students who struggle to master basic reading skills at age 15 are likely to be held back in the future, when those students become adults who lack the skills needed to function effectively in the workplace and in society. (OECD 2013 i Serder 2015, s. 173)

I en ny avhandling Möten med PISA – kunskapsmätning som samspel mellan elever i och om provuppgifter i Naturvetenskap, av Margareta Serder Malmö högskola, diskuteras hur denna kategori uppstår. Utgångspunkten är att det inte finns svaga prestationer förrän vi gör dem, och den intressanta frågan är hur vi gör dem (och vad de i sin tur sedan gör).

Serder knyter flera intressanta kunskapsteoretiska frågor om klassificering och klassificeringens effekter till PISA-mätningarna. Med hänvisning till den franske sociologen Bruno Latour, känd för sin forskning om hur vetenskaplig kunskap uppstår, resonerar Serder om att svaga prestationer egentligen inte finns – vi gör dem. I ett av avhandlingens kapitel, skrivet tillsammans med Malin Ideland jämförs Louis Pasteurs upptäckt av mikroberna med konstruktionen av PISA-resultat. Latour har i en berömd text (1999) rest frågan om mikroberna fanns där innan Pasteur upptäckte dem. Latour menar att de flesta nog skulle tycka att så var fallet och anse att det enda Pasteur gjorde var att benämna dem. Latour menar emellertid att det är först i och med den vetenskapliga processen som leder fram till benämnandet, och det som följer därav, som gör mikroberna blir till det de är. Mikroberna behövde Pasteurs laboratorium, dess särskilda miljö, villkor, näring etc. för att bli mikrober så som vi känner dem (se även Serder 2015, s. 176). Serder och Ideland frågar sig om elevernas låga prestationer finns där innan eleverna gör PISA, eller om de uppstår i det speciella laboratorium för kunskapsmätning som man kan säga att PISA är. För att studera hur elever gör när de gör PISA har Serder och Ideland spelat in elever som arbetar med PISA-uppgifter.

Svaga prestationer, menar Serder och Ideland, bör vi betrakta som en samhandling mellan vetenskapliga/epistemologiska traditioner, mätinstrumentet och eleven. Det är lätt att tänka att en svag prestation är kopplad till en elev som av olika anledningar helt enkelt inte kan tillräckligt mycket av det barn i den ålder ska kunna. Eleven har antingen inte gått i en bra skola eller så har inte eleven arbetet tillräckligt hårt från sina förutsättningar. Det Serder och Ideland emellertid visar är att eleverna försöker förstå vad som förväntas av dem, de resonerar och tänker kring uppgiften – men hamnar bland fel. Givetvis kan man säga att eleverna saknar vissa grundkunskaper, men det betyder inte att de inte har andra värdefulla kunskaper. Elevernas prestationer är alltså svaga i förhållande till specifika kunskaper och normer som prövas med specifika instrument. En norm vad gäller NO-delen i PISA är att science literacy är en förutsättning för att kunna delta fullt ut i samhällslivet. Ett sätta att mäta elevernas förutsättningar för att avkoda naturvetenskapen i samhället är genom uppgifter där eleverna ska använda eller förhålla sig till vetenskapliga begrepp. Serder och Ideland ger olika exempel där man kan fråga sig om det är naturvetenskaplig kompetens som verkligen prövas. På vissa frågor är det elevernas förmåga till språkliga slutledningar som avgör om det blir rätt eller fel, i andra fall är det testens logik med flervalsfrågor som påverkar hur eleverna tänker om lösningarna. Det visar sig också i Serders avhandling att eleverna inte alltid känner igen hur naturvetenskap framställs i testerna, vilket leder till visst motstånd. Även hur frågorna har översatts påverkar hur eleverna tänker om dem. I ett fall översattes ”less” och ”more” med ”sämre” och ”bättre”. Det ledde eleverna till att resonera om vilket som var bäst och sämst i absolut mening, snarare än om relationer mellan objekten i uppgiften, vilket i fallet sannolikt bidrog till fel svar. I en annan uppgift vet eleverna mycket väl hur de ska få tag på nödvändiga fakta, men eftersom t.ex. googling inte är tillåtet, känner de sig istället dumma för att inte kunna svaret utantill.

Tre elever ska lösa en uppgift kring ”surt regn”. En av eleverna, Théa läser uppgiften för de andra. Hon har svårt för att läsa men kämpar sig igenom texten:

Théa: /…/ God I read so bad – gases like sulfur oxides and nitrogen oxides… oxides I mean Ox-i-d-es [trying the word] as well. Where do these sulfur ox- ides (giggling) this sounds so brainless…and nitrogen oxides in the air come from?

(the girls are looking at each other, puzzled)

Théa: good that we are so damn stupid

Mickey: the earth?

Théa: but can’t…can’t one Google it? (pointing at a computer)

Mickey: (giggling nervously)

Théa: but just answer the question 118 118

Mickey: the air’s…?

Amanda [very quietly]: does one have to answer?

Théa: well, I think all questions are this hard. (Group E, Nov 2010, 12:00–16:00) (Serder 2015, s. 189-190)

Eleverna besvarar i slutändan inte frågan och är i den meningen vad OECD kallar svagpresterande. Men, frågar sig Serder och Ideland, var de också svagpresterande innan de övertalades att svara på PISA-frågorna? Eller är det först i mötet med uppgiften som de blir svagpresterande? Eleverna har initialt tvekat inför att alls påbörja uppgiften, skriver forskarna. De anklagar sig själva för att läsa dåligt, för att vara dumma. En av eleverna, Mickey, försöker gissa svaret. Théa antyder på olika vis sätt att frågan handlar om fakta och det kan man googla fram eller få fram via upplysningstjänsten 118 118. En av eleverna, Amanda, frågar om de verkligen måste svara på frågan. Théa svarar att alla frågorna nog är lika svåra.

I elevernas vardag skulle sannolikt den här typen av uppgift ha lösts med hjälp av Internet, men enligt PISA-studierna vore det en ”svag prestation”, skriver Serder och Ideland. Skillnaden mellan hur barnen i vardagen arbetar med kunskaper och hur de i sammanhang som detta förväntas visa kunskaper leder i det här fallet till att eleverna betraktar sig som dumma, fastän de skulle kunna klara av uppgiften i en annan kontext.

Det Serder och Ideland genomför, kallas inom prov- och bedömningsforskningen för felsvarsanalys. Det är också något som sker i relation till konstruktionen av PISA-testerna med syftet att göra dem bättre. Serder och Ideland använder däremot sin analys för att problematisera med vilken självklarhet PISA skapar kategorin lågpresterande. Det bekymmersamma är när testens principer för att mäta (vissa) kunskaper också skapar en känsla hos eleverna av att vara dumma. Vad som sedan krävs för att fungera som vuxen i samhället är en mer öppen fråga.

OECD (2013) varnar för att dessa lågpresterande elever inte kommer att kunna bidra varken i arbetslivet eller i samhället. Serder och Ideland skriver ”Low performers become performed as noncontributors in an imagined future society” (Serder 2015, s. 188). Därmed kommer svaga prestationer i skolan att betraktas som en risk. Vi kan ta ut krisen i förskott och det går att göra politik av den. PISA-studierna blir lite av oraklet i Delfi (Gorur 2011), vars kontextlösa datamängder kan användas för intresseladdade uttolkningar. Tolkningarna ifrågasätts men sällan PISA.

Den här typen av kritiska mikro-analyser av PISA är välkomna. Det betyder inte att vi inte ska ta PISA-resultat på allvar, men det betyder att vi behöver resonera om vad vi menar när vi säger att elever inte kan tillräckligt. Testerna utgår ifrån antaganden om att uppgifterna kommuniceras mer entydigt än vad som är fallet och att elevernas prestationer verkligen speglar vad de kan och är en god prognos för framtiden. Elever kan dock många andra saker än det som mäts. Och är det så självklart att det som mäts är det viktigaste kunnandet för elevernas och Sveriges framtid?

(En angränsande och pågående forskningsstudie som vi tidigare rapporterat om handlar om hur elever konstrueras som godkända eller underkända, se här).

 

Referenser

Gorur, R. (2011). ANT on the PISA Trail: Following the statistical pursuit of certainty. Educational Philosophy and Theory, 43(1), 76-93.

Latour, B. (1999). Pandora’s hope: essays on the reality of science studies. Cambridge, Mass.: Harvard Univ. Press.

Serder, M. (2015). Möten med PISA: Kunskapsmätning som samspel mellan elever och provuppgifter i och om naturvetenskap. Diss. Studies in Educational Sciences, no 75. Högskolan i Malmö.

Använd Facebook för att kommentera detta inlägg

#Björklundsskola – vad kan vi läsa ut av en hashtag?

Den 21 januari lade ett twitterkonto @__nneka ut följande uppmaning på Twitter: ”ELEVER! Ni får gärna tagga era tweets med typ #björklundsskola eller ngt! Så vi kan samla, dela med oss, visa för alla vuxna” etc. Hashtaggen togs av vissa skoldebattörer som ett uttryck för vad ungdomar tycker om dagens skola. Det kan man givetvis inte säga generellt då Twitter och särskilt inte en uttalat kritisk hashtag är reptentativt för vad alla ungdomar tycker. Trots det kan det vara värdefullt att försöka förstå vad denna lilla twitterstorm handlade om.

Hashtaggen blev  snabbt populär och ”trendade” på Twitter. Ett sätt att sammanfatta vad som sägs under en hashtagg är att spara ner så många tweets som Twitter tillåter en att spara ner och sedan göra en ordfrekvensanalys på det. När jag gjorde detta den 24 januari fick jag spara ner 1341 tweets som gick tillbaka till ursprungstweeten. Jag har dock inte kunnat få fram hur många tweets det totalt blev under denna hashtag. När jag valt bort vissa icke meningsbärande ord enligt en standardmall jag har i mitt analysprogram Nvivo, samt alla ord med mindre än 5 bokstäver kan de 1000 mest använda orden sammanfattas i ett ordmoln enligt figuren nedan.

För att vara tydlig med den exakta frekvensen presenterar jag först en lista över de 11 vanligaste orden:

#björklundsskola 16 585 4,49
#bjoerklundsskola 17 140 1,07
betyg 5 79 0,61
världens 8 79 0,61
omdömen 7 77 0,59
@top3ivarlden 13 76 0,58
betygssystem 12 76 0,58
nyanserade 10 76 0,58
orimliga 8 76 0,58
orimligt 8 76 0,58
utförliga 9 76 0,58

Kolumnerna är: Ord, antal bokstäver i ordet, faktisk frekvens, relativ frekvens

Ganska självklart blir själva hashtaggen det mest vanliga ordet som sedan följs av betyg, samt av invektivet världens (förekommer ofta tillsammans med ”bästa” eller ”sämsta”), därefter omdömen. Nyanserade står oftast för värdeordet nyanserade i kunskapskraven. Sedan kommer orden orimliga och orimligt, vilket har att göra med uppfattningen om höga krav. Därefter utförliga, som ofta handlar om att kraven är för detaljerade.

Word Frequency Query_björklundsskola

Ordmoln baserat på hashtaggen #björklundsskola 2014-01-21 till 2014-01-24

Andra hyfsat frekventa värdebärande ord är stress (13ggr), ångest (12ggr), sorgligt (9ggr). Vi ser också en riksdagspolitiker i molnet, Jonas Sjöstedt (@jsjöstedt, 10ggr), samt en del skoldebattörer. Hashtaggen kom som jag nämnde att användas av skoldebattörer för att kritisera Björklund.

Oavsett vad denna hashtag representerar så kan vi i alla fall anta att en representativ uppfattning under just denna hashtag är att det framförallt är betygen som ungdomarna uppfattar som det stora problemet. Här har det kanske brustit i tydlighet om vad som förväntas och krävs? (Se också tidigare inlägg)

 

Använd Facebook för att kommentera detta inlägg

Tänk om vi skrev brev till varandra med kunskapskraven i bakhuvudet

En utmaning med kunskapskrav och betygskriterier är att de ska konkretiseras och förtydligas för att kunna fungera som pedagogiska verktyg, dvs. utgöra exempel på kunskapskvaliteter av olika värde. En svårighet härvid ligger i att det sätt som man beskriver kunskap på i kursplanerna ligger ganska långt ifrån hur vi talar om varandras kunskap i vardagslivet. Om vi för skoj skull tänker oss att vi kommenterade varandra i en personlig brevväxling utifrån kunskapskraven skulle det kunna se ut så här:

Stockholm 140122

Tack för ditt brev på C-nivå!*

Jag blev mycket glad för ditt brev med en relativt god språklig variation och utvecklad textbindning. Jag känner att du har en relativt väl fungerande anpassning till den texttyp, språkliga normer och strukturer som vi brukar ha i vår brevväxling. Dina berättelser innehåller utvecklade gestaltande beskrivningar och berättargrepp samt dramaturgi med relativt komplex uppbyggnad. Jag ser att du använt ett relativt varierat urval av källor och för utvecklade och relativt väl underbyggda resonemang om dessa källors trovärdighet och relevans. Det gjorde att ditt brev blev mer värt att läsa. Dessutom visar du med det youtube-klipp du länkar till i brevet att du kan kombinera olika texttyper, estetiska uttryck och medier så att de olika delarna samspelar på ett ändamålsenligt sätt och jag upplever att du därmed levandegör ditt brevs huvudbudskap. Jag uppskattar vidare den feedback jag fick på mitt förra brev och de utvecklade omdömen du gav om brevets innehåll. Jag ser också att du tagit till dig av mina synpunkter och utifrån den responsen bearbetat ditt brev mot ökad tydlighet, kvalitet och uttrycksfullhet på ett relativt väl fungerande sätt. Det var verkligen roligt att läsa och se att du växer som skribent i dina brev till mig! Tänk på att variera språket lite mer nästa gång bara och försök om möjligt att vara mer nyanserad i dina omdömen om mina brev!

Bästa hälsningar Christian 

*Betyget C för skrivkunskaper i ämnet svenska i åk 9 i princip ordagrant. Ord i fet stil är de så kallade värdeorden. Ord i kursiv stil ingår inte i kunskapskraven.

Använd Facebook för att kommentera detta inlägg

Vad kan vi vänta oss av en internationell skolkommission? Några av OECD:s tidigare expertutredningar av Norge och Sverige

Frågan om vad kan vi lära av OECD:s tidigare expertutredningar aktualiseras av regeringens initiativ att tillsätta en internationell skolkommission. Regeringen har bett OECD att skapa en grupp av internationellt erkända skolforskare för att granska Sveriges utbildningssystem och komma med förslag på förbättringar. Den här typen av granskningar har OECD tidigare genomför i ett flertal länder, även i Sverige men då utifrån mer specifika aspekter. Ett aktuellt och nära exempel på ett mer vittgående samarbetet finns mellan OECD och Norge. Skillnaden mellan Sverige och Norge har emellertid varit väldigt stor vad gäller inte minst förvaltningen av skolan och det är inte rimligt att OECD:s experter kommer med samma samma synpunkter och förslag till Sverige. Det är heller inte säkert att det är experter tidigare associerade till OECD som väljs ut. Men det faktum att OECD ska ta fram lämpliga experter innebär rimligtvis ändå en viss styrning mot den typ av utvecklingsideal OECD står bakom. Det kan därför vara intressant att se vad OECD uppskattat respektive önskat mer av i sina tidigare studier av skolutvecklingen i Norge och i Sverige.

1988 genomförde OECD en analys av norsk utbildningspolicy (se vidare OECD 2002). En av huvudslutsatserna var att det i Norge saknats bra system för uppföljning och utvärdering av skolans resultat. Här har Norge traditionellt sett skiljt sig en hel del från Sverige i det att Norge, mer likt Finland låtit lärarna själva utvärdera sin verksamhet för sin egen skull. Dessutom har decentraliseringsgraden varit hög. Den nationella styrningen av den norska skolan ansågs även på andra punkter svag i Norge, t.ex. genom otydliga mål. Kritiken, eller synpunkterna, från OECD fick stora konsekvenser. Styrning och förvaltning kom att förändras med fokus på utvärdering och resultatuppföljning, särskilt i och med regeringsskiftet 2005 då staten stärkte tillsynen över skolan.

Norge bjöd in OECD:s experter igen 2010 med syfte att få belyst effekten av dessa satsningar. Inför den nya genomlysningen författade Utdanningsdirektoratet (Norska Skolverket) en egenvärdering Utdanningsdirektoratet, Country background report (2010).

Egenvärderingen låg till utgångspunkt för OECD:s följande granskning, men OECD:s experter genomförde även egna intervjuer (under en veckas besök). Efter ett år lämnades följande rapport OECD Reviews of Evaluation and Assessment in Education (2011) (eller i pdf). Rapporten ingick i en vidare internationell granskning där även Sverige granskades, vilket jag återkommer till, med fokus på utvärdering och bedömning: OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes.

De policyrekommendationer expertgruppen lämnade till Norge var (något förenklat):

  1. Fortsätt och förstärk arbetet med nationell kvalitetsuppföljning (NKVS).
  2. Utveckla tydligare lärandemål (betygskriterier) för att underlätta bedömningen av elever.
  3. Utveckla tydliga standards för vilken kompetens som krävs för att vara lärare/undervisa i specifika ämnen (jfr lärarlegitimation). Främja möjligheter till lärarfortbildning.
  4. Stärk skolledares kompetens att bedöma lärares arbete och skicklighet, samt att leda/utmana lärarna utifrån dessa bedömningar.
  5. Skapa tydliga karriärvägar för lärare med utgångspunkt i bedömning av deras skicklighet.
  6. Stärk den externa utvärderingen av skolorna men i syfte att utveckla ramverk för lokal självutvärdering.
  7. Utveckla utvärderingsverktyg för att bättre fånga arbetsprocesser i skolan och inte enbart resultat.
  8. Stärk den nationella resultatuppföljningen av kommunernas resultat.
  9. Utveckla resultatrapporteringssystemet så att det blir mer överskådligt (digitalt).
  10. Utveckla användningen av nationella prov så att det går att dra nationella slutsatser. (se s. 133ff.)

Överlag bedömdes dock Norge vara på rätt väg. Norge har också lagt vikt vid att balansera tillit och accountability vad gäller utvärdering och bedömning (se rapporten Balancing trust and accountability?- The Assessment for Learning Programme in Norway). Därmed bejakar man även OECD:s intresse för Bedömning för lärande (se här).

Sverige har inte haft samma policysamarbete med OECD som Norge, men i den motsvarande rapporten för Sverige ser vi liknande teman där Sverige överlag får beröm för att av sig själv så att säga slagit in på den rätta vägen: OECD Review of evaluation of assessment in education, Sweden. OECD pekar först på några styrkor och svagheter i Sverige (något förenklat):

  1. Sverige producerar mycket högkvalitativa data om sitt utbildningssystem men behöver bli bättre på att använda dessa.
  2. Det finns en stor tillit till den lokala nivån vilket främjar professionalism, men leder också till stora variationer i kvalitetsarbetet.
  3. Svenska bedömningar är allsidiga och såväl lärares bedömningar som nationella prov täcker in komplexa kunskaper. I de yngre åldrarna är bedömningarna främst formativa. Problemen uppstår i betygssättningen då svenska lärare rättar nationella prov själva.
  4. Det finns en hög tilltro till lärarna men de får litet professionellt stöd och feedback. Den svenska individuella lönesättning är relativt unik, men lärarna får snarare lön för ansträngning än prestation.
  5. Kopplingen mellan skolors/kommuners egna kvalitetsgranskningar och statens behöver stärkas. Den nationella kvalitetsgranskningen har fått för mycket slagsida åt skolinspektion vilket kan leda till att skolor inte uppfattar att deras kvalitetsarbete tas på allvar.
  6. Sverige producerar och offentliggör mycket data, men frågan är om data tjänar sina syften. För mycket tyngd ligger på betyg som resultatmått med den svagheten att lärarna själva producerar dessa resultat. Vidare saknas systematiska analyser på nationell nivå om prestationsskillnaderna mellan kommuner. (s. 8-10)

OECD följer upp sin analys av styrkor och svagheter med några konkreta råd:

  1. Sverige behöver en tydlig utvärderings och bedömningspolicy/plan som anger tydliga krav på utvärdering och bedömning på olika nivåer samt klargör ansvaret på de olika nivåerna. Sverige bör systematiskt kartlägga olika utvärderings och bedömningsmetoder och de kompetenser som idag finns i syfte att optimera bedömningspraktiken på olika nivåer.
  2. Sverige behöver stärka den kommunala uppföljnings och utvärderingskompetensen. Den policy som utvecklas på nationell nivå måste vara i samklang med kommunala behov av t.ex. resultatanalys.
  3. Öka reliabiliteten i de nationella proven med hjälp t.ex. av extern rättning.
  4. Det är lovvärt att Sverige fått tydligare kunskapskrav (Lgr 11) men det räcker inte utan staten behöver arbeta fram verktyg för lärares bedömningspraktik, t.ex. elevexempel för de olika kravnivåerna.
  5. Lärare behöver fortbildning i såväl summativ som formativ bedömning och särskilt vad gäller de dagliga formativa bedömningarna i klassrummet. Lärare i de yngre skolåldrarna behöver bli bättre på att tolka resultaten från diagnostiska prov.
  6. Sverige behöver formalisera hur lärare bedöms och värderas efter förtjänst så att det även blir tydligt vad som är en god undervisningspraktik.
  7. På lokal nivå måste det finnas utrymme för feedback, utvecklingsdialog och kollegialt lärande.
  8. Det behövs tydliga planer på skolnivå för hur lärares arbete ska utvärderas och bedömas.
  9. Sverige måste bli bättre på att bygga extern inspektion på intern självbedömning. Detta minskar kostnaden för inspektionen, ökar kvaliteten i den samt ökar motivationen hos skolor att utvärdera sig själva.
  10. Om den regelbundna inspektionen blir mer internt producerad via självbedömning kan den externa inspektionen fokusera på riskområden.
  11. Hjälp skolledare att bli bättre på att använda skolutvärderingar.
  12. Utforska olika sätt att förbättra den nationella uppföljningen via nationella prov, t.ex. genom sambedömning eller sampleutvärderingar.
  13. Sverige måste öka mobiliteten i sina resultatdata så att de enklare blir tillgängliga för systemets olika aktörer; mellan kommun och stat, mellan de statliga myndigheterna och mellan myndigheterna och forskning. (s. 10-14)

OECD:s Reviews of Evaluation and Assessment in Education var som sagt en stor internationell granskning som omfattade flera andra länder än Norge och Sverige. 2013 höll OECD en uppsummeringskonferens av projektet. Denna förlades till Norge, som uppenbart arbetat föredömligt med sina utvecklingsområden och ges möjlighet att visa upp The Norwegian Model (se här).

Norge har alltså varit en god elev till OECD vilket belönats enligt den måttstock OECD använder för att mäta skolresultat, PISA-undersökningen, och i enlighet med de ramverk OECD tagit fram för välfungerande utbildningssystem: OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes. Det intressanta är att Sverige i större utsträckning än Norge redan uppfyllt OECD:s grundläggande ”krav” på utvärdering och resultatuppföljning genom våra nationella prov, betygsstatisk offentligt via SIRIS/SALSA, nationell utvärdering och deltagande i internationella kunskapsmätningar, karriärvägar för lärare och yrkesstandards via lärarlegimtiationen. Det OECD pekar ut som våra förbättringsområden är snarare att se över hur vi använder de redskap vi både sedan länge och alldeles nyligen etablerat, att dessa harmonieras med varandra för olika systemnivåers syften samt att vi på alla nivåer i skolsystemet vidareutvecklar kompetensen att utvärdera och bedöma.

Vad den rapport, som väntas komma om drygt ett år ytterligare kan komma fram till utöver det vi idag redan idag vet är styrkor och svagheter ska bli spännande att se. Vilka ytterligare strängar har OECD på sin lyra? Det har ju inte precis saknats konkreta och tydliga förslag hittills. Kanske kommer det om ett år att handla om att se över hur och om dessa redan lagda förslag genomförts och vem som har haft ansvaret för det?

Använd Facebook för att kommentera detta inlägg

Försämringens historia, del 5

I ljuset av dagens PISA-rapport kan det vara en poäng att åter reflektera kring vilken roll bilden av försämringar spelar när det gäller att forma samtalet om skolan. En distinktion som jag tror är av värde är den mellan absoluta och relativa kunskapsbrister. När PISA-studierna riktar fokus mot kunskapsbrister är det alltid fråga om relativa kunskapsbrister: att svenska elever presterar sämre än tidigare år, eller sämre än elever i andra länder. Genom jämförelser över tid finns det utrymme för att uttala sig om kunskapsbrister i termer av försämring. Denna problembeskrivning skapar nästan oundvikligen en viss typ av tillbakablickande lösningsstrategi. Om något har försämrats, bör vi rimligen försöka att återuppliva detta något som gjorde att vi tidigare presterade så mycket bättre.

Denna lösningsstrategi behöver inte i sak vara felaktig, men den har en blind fläck: den ser inte framtiden. Synliggörandet av försämring tenderar att osynliggöra frågan om vilka kunskaper vi tror oss behöva i framtiden.

Ett annat sätt att tala om kunskapsbrister återfinns exempelvis i betänkandet från 1946 års skolkommission. I ett avsnitt beskrevs där en studie som gjorts av värnpliktigas kunskaper i samhällsorientering. Slutsatsen var att kunskaperna var mycket låga:

Det torde vara en allmän mening, att ungdomens kännedom om samhällsfrågor är mycket mindre, än man skulle önska. Denna uppfattning har bestyrkts av undersökningar av de värnpliktigas samhällsorientering, vilka företagits för ett par år sedan. Omkring 50 procent visste, att den i Sverige vanligaste vaccinationen är avsedd som skydd mot smittkoppor, cirka 35 procent kunde räkna upp de politiska partierna i riksdagen, och mindre än 20 procent kunde rätt ange vilka av följande tre grupper som förlorar på en försämring av penningvärdet: fordringsägare, skuldsatta, personer med oförändrad penninglön (SOU 1948:27).

Detta var inte en relativ kunskapsbrist, det var inte en minskning av kunskaperna som beskrevs som problemet . Kunskapsbristen var absolut, den var ett problem eftersom kunskaper om det allt mer komplicerade samhället antogs bli allt viktigare. Skolkommissionen drev därför inte någon tes om att äldre ämnen skulle återupprättas. Man argumenterade exempelvis inte för att läroverkens ”Historia med samhällslära” skulle ges fler timmar. Nej, det man istället argumenterade för, det var att den kommande enhetsskolan skulle få ett helt nytt ämne. Det ämnet skulle heta samhällskunskap.

Använd Facebook för att kommentera detta inlägg