Automatisert medstudentvurdering

Av: Svend Andreas Horgen, Høgskolen i Sør-Trøndelag

Dette blogginnlegget er krysspostet på http://blogg.itfag.hist.no

Jeg har tidligere skrevet om et opplegg for medstudentvurdering. I korte trekk går medstudentvurdering ut på at studentene skal vurdere hverandres arbeid. I forbindelse med ASSESS-prosjektet har jeg laget et lite webbasert system for å automatisere medstudentvurdering. Her er en video (HD) som forklarer hvordan systemet kan brukes til å effektivisere:



Systemet ble også presentert på NVU-konferansen 2011 i Steinkjer, og er du interessert kan du se på presentasjonen som tankekart (laget med iThoughts HD på iPad)

Systemet er testet ut i fagene Webprogrammering i PHP (LV197D) og Ajax (LN393D). Begge fagene har et prosjekt som krever ca 50 timer programmeringsinnsats, og som skal vurderes til bestått/ikke bestått. I stedet for at læreren gir skriftlige tilbakemeldinger til studentene, må de gi hverandre skriftlige tilbakemeldinger. Regelen i mine fag har vært at hver student må gi 3 andre studenter en tilbakemelding. Websystemet bidrar til å automatisere dette, slik at studentene kan skrive inn tilbakemeldinger på web, og sjekke de tilbakemeldinger de har fått fra andre på web. Dermed slipper læreren å være bindeledd :-)

Hva synes du om dette opplegget? Ser du mangler i et slikt system som burde vært med? Ser du fordeler for læringen? Utfordringer? Dine innspill er som alltid velkomne!

Månedens prosjekt

ASSESS 2010 var i desember månedens prosjekt på Norgesuniversitetets hjemmesider: http://norgesuniversitetet.no/node/3977.

Vi nærmer oss nå prosjektets formidlingskonferanse: Tilbakemelding Pleazze! som arrangeres ved Handelshøyskolen BI i Nydalen 3.februar. Programmet er oppdatert og påmelding pågår. Vi ønsker alle interesserte velkommen.

Noen av prosjektets resultater vil også presenteres på Nettverksuniversitetes årskonferanse 15. og 16. mars i Steinkjær.

Bildet over er tatt av Sverre Vinje.

Gratis konferanse om underveisvurdering og tilbakemelding i store klasser

Den 3. februar inviteres det til et åpent dagsseminar ved Handelshøyskolen BI i Nydalen, der erfaringsdeling fra ulike tilbakemeldings- og vurderingsaktiviteter står på programmet. Seminaret er åpent for alle som interesserer seg for studentaktive læringsformer og utfordringene knyttet til underveisvurdering i store klasser.
ASSESS 2010 er et FoU-prosjekt med samarbeidspartnere fra tre høyskoler: Høgskolen i Sør-Trøndelag, Høgskolen i Nord-Trøndelag og Handelshøyskolen BI. Prosjektet er støttet av Norgesuniversitetet og er nå inne i en avsluttende dokumentasjonsfase. Den 3. februar er vi klare til å dele våre prosjekterfaringer med andre interesserte. I løpet av dagen skal vi formidle erfaringer fra 13 piloter om har testet ulike former for tilbakemeldingsaktiviteter – fra medstudentvurdering med rubrikkskjemaer til ulik bruk av automatiserte tester på læringsplattformen. Pilotene representerer ulike fagområder, klassestørrelser og verktøy, derfor tror vi overføringsverdien av prosjekterfaringene er stor.
Prosjektets mål har vært å utvikle og teste en metode for planlegging og gjennomføring av underveisvurdering i store klasser. Vi har tatt utgangspunkt i John Biggs teori om ”constructive alignment”, som vi har oversatt til ”samtstemt undervisning” på norsk. I tillegg har vi utviklet en verktøykasse med pedagogiske virkemidler og metoder - en ”Teacher’s toolbox”, som vil bli presentert på seminaret. Flere av pilotene blir lagt fram med det formål å dele – men også diskutere - erfaringer, tips og råd.
Mer informasjon om dagsseminaret og lenke til påmelding finner du på www.bi.no/assess2010

SOLO-taxonomien - en hjelp når læringsutbytter skal beskrives

I ASSESS 2010 er studenters læring sentralt. Prosjektet fokuserer på studentaktive læringsformer som inkluderer underveisvurdering og/eller tilbakemelding. I forbindelse med utvikling av pilotaktivitetene i prosjektet har vi jobbet med ulike modeller for hvordan studenter utvikler forståelse av ny kunnskap. John Biggs har utviklet en modell (en taxonomi) for å beskrive og klassifisere studenters utvikling av forståelse. Lenkene under gir gode beskrivelser (i tekst og bilde) av SOLO-taxonomiens innhold: John Biggs hjemmeside, Atherton's Learning&Teaching sider, og et Eksempel.

Kort fortalt står SOLO for Structure of Observed Learning Outcomes og beskriver fem nivåer av studentens forståelse: (1) Prestrukturelt, (2) Unistrukturelt, (3) Multistrukturelt, (4) Relasjonelt, og (5)Extended abstract. Nivåene beskriver kompleksiteten i forståelse der eksempelvis "prestrukturell" forståelse er svært lite utviklet og "extended abstract" beskriver en kompleksx forståelse av kunnskapsområdet. I praksis kan taxonomien vise seg å være et nyttig verktøy i planleggingen av undervisningsaktiviteter som bruker læringsutbytter for å beskrive hva studentene er forventet å lære. I noen emner er det nok med løsrevne faktakunnskaper, mens i andre emner er det nødvendig med relasjonell og kontekstuell forståelse.
mvh Anne:-)

PS1 En taxonomi er i følge Wikipedia "the practice and science of classification".
PS2 Blooms taxonomi er en tilsvarende taxonomi, men mer kognitivt orientert.
PS3 En rapport med erfaringer der SOLO-taxonomien er brukt for å vurdere studentoppgaver

Modell-trening gjennom digitale tester

Øyvind Kvalnes ble med sin søknad ”Ethical Navigation” vinner av mini-pilotkonkurransen som ble utlyst på BI's årlige Pedagogiske Inspirasjonsdag. Konkurransen var ment å stimulere BI-forelesere til å utvikle tilbakemeldingsaktiviteter for storklasseundervisning, og er en aktivitet i FoU-prosjektet ASSESS 2010 – underveisvurdering i store klasser. Kvalnes sitt opplegg består i å trene studentene i en sentral modell i pensum - det ”etiske” navigasjonshjulet - gjennom å legge frem en rekke påstander som studentene må ta stilling til. Påstandene legges inn i en digital test på it’s learning som gir studentene personlig, men automatisert tilbakemelding på hva de har svart. Studentene kan ta testen så mange ganger de vil. Som et tillegg vil testene inneholde et fritekstfelt der studentene bes omformulere noen av påstandene. Tilbakemelding på disse vil skje gjennom at foreleser plukker ut relevante formuleringer og presenterer/diskuterer disse i plenum. Modelltreningen henger godt sammen med læringsmålet i kurset da hensikten med treningen er å gi studentene en god basiskunnskap før de senere i kurset skal løse etiske dilemmaer.

De øvrige vinnerne av prosjektmidler var Cecilie Asting med sitt opplegg for å trene studentene i å lese og forstå akademiske artikler, Nina Ronæs med sitt opplegg for rollespill (forhandlinger) i storklasse og Johannes Brinkmann med sitt opplegg for selvobservasjon og selvvurdering som pedagogisk virkemiddel gjennom hele kurset. En beskrivelse av disse aktivitetene vil bli inkludert i "Teacher's Toolbox" (ASSESS 2010).

Noen drypp fra ASSESS 2010-arbeidet

Når vi nå oppsummerer før sommeren ser vi at vi er godt i gang med formidlingen av resultater fra prosjektet:

1. FoU i praksis 10-11. mai 2010 - Nordisk konferanse om praksisretta FoU i lærerutdanninga.
Robin Munkvold og Hugo Nordseth: Verktøy for medstudentvurdering i lærerutdanninga.

2. NUV-konferansen 2010, Stord 16-17. mars 2010
Svend Andreas Horgen, Bjørn Klefstad, Geir Maribu, Thorleif Hjeltnes, HiST: Er det mulig å lage gode, reliable og valide digitale tester med utgangspunkt i faglige læringsutbytter og en taksonomi?.

3. NUV-konferansen 2010, Stord 16-17. mars 2010
Sonja Ekker, Hugo Nordseth og Robin Munkvold , HiNT: Tools for peer assessment in an e-learning environment.

4. Synkron Nett 1:2010
Sonja Ekker, Hugo Nordseth og Robin Munkvold , HiNT: Gir lærern eller dine medstudenter best tilbakemelding. Synkron Nett er en NFF publikasjon.

5. SYNKRON NETT 2009
Prosjektomtale

6. Innlegg på diverse interne seminarer og konferanser, bla BI's årlige pedagogiske Inspirasjonsdag for forelesere 1.juni 2010, flere workshops for kursansvarlige og fagseminar for forelesere.

Og mer kommer, for nå er vi i avslutningen av pilotfasen!
GOD SOMMER!

Pedagogisk Inspirasjonsdag på BI - utlysning av midler

Hvert år arrangerer BI en pedagogisk insprasjonsdag for sine forelesere. Årest tema var læringsmål og pedagogisk bruk av It's learning (BI's nyimplementerte læringsplattform). ASSESS 2010's Svend Andreas Horgen hadde flere parallellsesjoner bla med fokus på bruk av digitale tester i underveisvurdering. Horgen og undertegnede hadde dessuten en sesjon der vi orienterte om ASSESS 2010 og spesielt "Teacher's Toolbox".
Utlysning av midler
Vi ønsker å engasjere flere forelesere i vårt arbeid med å utvikle effektive og gode tilbakemeldingsaktiviteter i store klasser og som en ledd i prosjektarbeidet lyste vi ut interne midler som BI-foreleserne kan søke på. 10.august er det frist for å søke disse interne ASSESS-prosjektmidlene som består av tre priser a 10.000 kroner. Samtidig håper vi at utlysningen vil føre til flere verktøy i Teacher's Toolbox. Se mer om Inspirasjonsdagen og utlysningen her