Gratis konferanse om underveisvurdering og tilbakemelding i store klasser

Den 3. februar inviteres det til et åpent dagsseminar ved Handelshøyskolen BI i Nydalen, der erfaringsdeling fra ulike tilbakemeldings- og vurderingsaktiviteter står på programmet. Seminaret er åpent for alle som interesserer seg for studentaktive læringsformer og utfordringene knyttet til underveisvurdering i store klasser.
ASSESS 2010 er et FoU-prosjekt med samarbeidspartnere fra tre høyskoler: Høgskolen i Sør-Trøndelag, Høgskolen i Nord-Trøndelag og Handelshøyskolen BI. Prosjektet er støttet av Norgesuniversitetet og er nå inne i en avsluttende dokumentasjonsfase. Den 3. februar er vi klare til å dele våre prosjekterfaringer med andre interesserte. I løpet av dagen skal vi formidle erfaringer fra 13 piloter om har testet ulike former for tilbakemeldingsaktiviteter – fra medstudentvurdering med rubrikkskjemaer til ulik bruk av automatiserte tester på læringsplattformen. Pilotene representerer ulike fagområder, klassestørrelser og verktøy, derfor tror vi overføringsverdien av prosjekterfaringene er stor.
Prosjektets mål har vært å utvikle og teste en metode for planlegging og gjennomføring av underveisvurdering i store klasser. Vi har tatt utgangspunkt i John Biggs teori om ”constructive alignment”, som vi har oversatt til ”samtstemt undervisning” på norsk. I tillegg har vi utviklet en verktøykasse med pedagogiske virkemidler og metoder - en ”Teacher’s toolbox”, som vil bli presentert på seminaret. Flere av pilotene blir lagt fram med det formål å dele – men også diskutere - erfaringer, tips og råd.
Mer informasjon om dagsseminaret og lenke til påmelding finner du på www.bi.no/assess2010

SOLO-taxonomien - en hjelp når læringsutbytter skal beskrives

I ASSESS 2010 er studenters læring sentralt. Prosjektet fokuserer på studentaktive læringsformer som inkluderer underveisvurdering og/eller tilbakemelding. I forbindelse med utvikling av pilotaktivitetene i prosjektet har vi jobbet med ulike modeller for hvordan studenter utvikler forståelse av ny kunnskap. John Biggs har utviklet en modell (en taxonomi) for å beskrive og klassifisere studenters utvikling av forståelse. Lenkene under gir gode beskrivelser (i tekst og bilde) av SOLO-taxonomiens innhold: John Biggs hjemmeside, Atherton's Learning&Teaching sider, og et Eksempel.

Kort fortalt står SOLO for Structure of Observed Learning Outcomes og beskriver fem nivåer av studentens forståelse: (1) Prestrukturelt, (2) Unistrukturelt, (3) Multistrukturelt, (4) Relasjonelt, og (5)Extended abstract. Nivåene beskriver kompleksiteten i forståelse der eksempelvis "prestrukturell" forståelse er svært lite utviklet og "extended abstract" beskriver en kompleksx forståelse av kunnskapsområdet. I praksis kan taxonomien vise seg å være et nyttig verktøy i planleggingen av undervisningsaktiviteter som bruker læringsutbytter for å beskrive hva studentene er forventet å lære. I noen emner er det nok med løsrevne faktakunnskaper, mens i andre emner er det nødvendig med relasjonell og kontekstuell forståelse.
mvh Anne:-)

PS1 En taxonomi er i følge Wikipedia "the practice and science of classification".
PS2 Blooms taxonomi er en tilsvarende taxonomi, men mer kognitivt orientert.
PS3 En rapport med erfaringer der SOLO-taxonomien er brukt for å vurdere studentoppgaver

Modell-trening gjennom digitale tester

Øyvind Kvalnes ble med sin søknad ”Ethical Navigation” vinner av mini-pilotkonkurransen som ble utlyst på BI's årlige Pedagogiske Inspirasjonsdag. Konkurransen var ment å stimulere BI-forelesere til å utvikle tilbakemeldingsaktiviteter for storklasseundervisning, og er en aktivitet i FoU-prosjektet ASSESS 2010 – underveisvurdering i store klasser. Kvalnes sitt opplegg består i å trene studentene i en sentral modell i pensum - det ”etiske” navigasjonshjulet - gjennom å legge frem en rekke påstander som studentene må ta stilling til. Påstandene legges inn i en digital test på it’s learning som gir studentene personlig, men automatisert tilbakemelding på hva de har svart. Studentene kan ta testen så mange ganger de vil. Som et tillegg vil testene inneholde et fritekstfelt der studentene bes omformulere noen av påstandene. Tilbakemelding på disse vil skje gjennom at foreleser plukker ut relevante formuleringer og presenterer/diskuterer disse i plenum. Modelltreningen henger godt sammen med læringsmålet i kurset da hensikten med treningen er å gi studentene en god basiskunnskap før de senere i kurset skal løse etiske dilemmaer.

De øvrige vinnerne av prosjektmidler var Cecilie Asting med sitt opplegg for å trene studentene i å lese og forstå akademiske artikler, Nina Ronæs med sitt opplegg for rollespill (forhandlinger) i storklasse og Johannes Brinkmann med sitt opplegg for selvobservasjon og selvvurdering som pedagogisk virkemiddel gjennom hele kurset. En beskrivelse av disse aktivitetene vil bli inkludert i "Teacher's Toolbox" (ASSESS 2010).

Noen drypp fra ASSESS 2010-arbeidet

Når vi nå oppsummerer før sommeren ser vi at vi er godt i gang med formidlingen av resultater fra prosjektet:

1. FoU i praksis 10-11. mai 2010 - Nordisk konferanse om praksisretta FoU i lærerutdanninga.
Robin Munkvold og Hugo Nordseth: Verktøy for medstudentvurdering i lærerutdanninga.

2. NUV-konferansen 2010, Stord 16-17. mars 2010
Svend Andreas Horgen, Bjørn Klefstad, Geir Maribu, Thorleif Hjeltnes, HiST: Er det mulig å lage gode, reliable og valide digitale tester med utgangspunkt i faglige læringsutbytter og en taksonomi?.

3. NUV-konferansen 2010, Stord 16-17. mars 2010
Sonja Ekker, Hugo Nordseth og Robin Munkvold , HiNT: Tools for peer assessment in an e-learning environment.

4. Synkron Nett 1:2010
Sonja Ekker, Hugo Nordseth og Robin Munkvold , HiNT: Gir lærern eller dine medstudenter best tilbakemelding. Synkron Nett er en NFF publikasjon.

5. SYNKRON NETT 2009
Prosjektomtale

6. Innlegg på diverse interne seminarer og konferanser, bla BI's årlige pedagogiske Inspirasjonsdag for forelesere 1.juni 2010, flere workshops for kursansvarlige og fagseminar for forelesere.

Og mer kommer, for nå er vi i avslutningen av pilotfasen!
GOD SOMMER!

Pedagogisk Inspirasjonsdag på BI - utlysning av midler

Hvert år arrangerer BI en pedagogisk insprasjonsdag for sine forelesere. Årest tema var læringsmål og pedagogisk bruk av It's learning (BI's nyimplementerte læringsplattform). ASSESS 2010's Svend Andreas Horgen hadde flere parallellsesjoner bla med fokus på bruk av digitale tester i underveisvurdering. Horgen og undertegnede hadde dessuten en sesjon der vi orienterte om ASSESS 2010 og spesielt "Teacher's Toolbox".
Utlysning av midler
Vi ønsker å engasjere flere forelesere i vårt arbeid med å utvikle effektive og gode tilbakemeldingsaktiviteter i store klasser og som en ledd i prosjektarbeidet lyste vi ut interne midler som BI-foreleserne kan søke på. 10.august er det frist for å søke disse interne ASSESS-prosjektmidlene som består av tre priser a 10.000 kroner. Samtidig håper vi at utlysningen vil føre til flere verktøy i Teacher's Toolbox. Se mer om Inspirasjonsdagen og utlysningen her

Læringsmål i mikro- og makro-perspektiv

Hele UH-sektoren er i gang med å planlegge for bruk av læringsmål. Nasjonalt er det nedsatt et prosjekt som skal forske på effektene av læringsmål med tanke på mobilitet og transparans internasjonalt. Følg denne lenken til Kunnskapsdepartementet for en nærmere innføring i prosjektet.

I vårt Norgesuniversitetsstøttede inter-institusjonelle prosjekt ASSESS2010 er vi fokusert på aktiv bruk av læringsmål i forbindelse med vurdering for læring. Læringsmål i vår sammenheng dreier seg om pedagogisk bruk av læringsmål - eller læringsutbytteformuleringer (LUF-er) som vi ynder å kalle det i prosjektet. Prosjektet skal utvikle en metode for å planlegg og gjennomføre undervisning med underveisvurdering og tilbakemelding i mellomstore og store klasser. I tillegg setter vi sammen en verktøykasse "Teacher's Toolbox" der forelesere kan inspireres av ulike verktøy de kan anvende i egen praksis. Prosjektarbeidet har lært oss at gode læringsutbytter er sentralt i arbeidet med god undervisning og derfor også viktig i forbindelse med tilbakemeldingsaktiviteter. Veien om grundig innføring i bruk (og formulering) av læringsmål har derfor vært spesielt nyttig i utviklingen av prosjektet. Følg gjerne med gjerne med på vår prosjektwiki: http://assess2010.wikispaces.com/ - og kom gjerne med innspill og gode råd til oss!

Opplegg for medstudentvurdering

I faget "LV197D Webprogrammering i PHP" skal studentene våren 2010 gjennomføre et lite prosjektarbeid. Det kan gjøres individuelt eller de kan samarbeide to og to om de vil det (det er nettstudenter som er spredt over hele landet og ønsker fleksibel jobbing).

Tidligere har lærer (undertegnede) brukt mye tid på vurdering. Nå er det på tide med et nytt opplegg, inspirert av prosjektet ASSESS 2010 generelt og Hugo/Sonja/Robin spesielt. Nemlig medstudentvurdering.

Prosessen kort forklart
Steg 1: Programmering
De leser oppgaven, planlegger en løsning og programmerer denne innen fristen.

Steg 2: Innlevering av produktet (i it´s learning)

Steg 3: Medstudentvurdering
Hver student skal se på arbeidet som tre andre studenter har gjort og gi tilbakemeldinger til disse.

Hvorfor medstudentvurdering?
Fordi:

• Det er lærerikt å se gjennom kode og evaluere et system som andre har programmert.


• Hver enkelt får tilbakemeldinger fra tre andre studenter, og lærer trolig mye av å se på tilbakemeldingene.


• Det vil trolig være motiverende å vite at andre skal se på, og kommentere koden en har laget.


• Faglærer har opp gjennom årene vurdert mange studentarbeider. Det er veldig lærerikt, både fordi en ser hvordan andre arbeider og tenker, og fordi en lærer seg å analysere kvalitet på et system. Hvorfor skal bare læreren få trening i denne viktige kompetansen? :-)

Hvordan skjer medstudentvurderingen i praksis?
Alle må levere inn prosjektet innen tidsfristen. Når fristen er gått ut vil faglærer anonymisere studentene og nummerere innleveringene som nr 1 til n. Deretter vil faglærer sende ut det hver enkelt har laget til tre andre studenter som skal se på, og kommentere det som er gjort. Fordelingen skjer etter følgende opplegg:

• Student nr 1 får se gjennom koden som student nr 2, 3 og 4 har levert.


• Student nr 2 får se gjennom koden som student nr 3, 4 og 5 har levert.


• Student nr 3 får se gjennom koden som student nr 4, 5 og 6 har levert.


• ... og så videre for totalt ”n” antall studenter, der en biter seg i halen på slutten:


• Student nr n-2 får se gjennom koden som student nr n-1, n og 1 har levert.


• Student nr n-1 får se gjennom koden som student nr n, 1 og 2 har levert.


• Student nr n får se gjennom koden som student nr 1, 2 og 3 har levert.

Med dette opplegget får alle studenter se gjennom hva som er gjort i 3 andre prosjekter, og alle får 3 tilbakemeldinger.

Hva skal kommentarene inneholde? Når studentene vurderer et annet prosjektarbeid, skal de fylle ut et skjema (webbasert) med kommentarer på følgende ting: Funksjonalitet i løsningen, brukervennlighet, eventuelle bugs, kodens kvalitet, totalinntrykk og så videre. Det skjer anonymt, men likevel er det viktig at en skriver konstruktivt og at hver enkelt tar de tilbakemeldinger en får fra andre på en konstruktiv måte. Dette er en fin mulighet til å lære noe ekstra og bearbeide stoffet i ettertid. Faglærer ser også på hva som er gjort, og det er faglærer (ikke medstudentene) som bestemmer om det er bestått eller ikke besått.

Oppsummert betyr det at kommentarene til for eksempel student nr 8 (fra student 5, 6 og 7) vil faglærer sende tilbake til student nr 8, sammen med faglærers egen vurdering av om prosjektet til nr 8 er bestått eller ikke bestått. Det betyr at student 8 får: Bestått-status fra faglærer og 3 kommentarer fra medstudenter.

Unntak
Hva om noen ikke ønsker å gjøre dette? Medstudentvurdering tar litt tid (kanskje 1-2 timer x 3 prosjekter en skal se på). Erfaringer tilsier at det er utrolig lærerikt. Det kan likevel være grunner til at enkelte studenter ikke ønsker å delta i et slikt medstudentvurderingsopplegg. De som har en god grunn for å ikke delta, må ta kontakt med faglærer, begrunne hvorfor og gjøre en avtale om å programmere noen utvalgte XTRA-punkter i stedet. Slik blir det rettferdig tidsmessig.

Dine innspill er nyttige
Hva tror du om dette opplegget? Vil det fungere? Er det fallgruver eller ting som kunne vært gjort anderledes? Dine innspill er nyttige. Faglærer skal nå i gang med å dele ut besvarelsene til alle studentene (altså er vi kommet til steg nr 3. Det blir veldig spennende og du kan lese om hvordan det gikk i et kommende innlegg.

Tirsdag 27.april 2010, Svend Andreas

Kravspesifikasjon studentsystem

Hei - som lovet - her er et første forsøk på en kravspesifikasjon. Mye kan absolutt forbedres, men jeg synes det er viktig å få skissen ut da tiden er knapp! Velkommen med forslag!! - og husk at frist for SA er 28.2.





TEST-EKSEMPEL er Tema ”Læring” (ett tema av 14) i kurset Organisasjonsatferd (BI)

Utvikling av en kravspek til system for studentoppgave HIST
Utgangspunkt: 1 LUF av gangen – input til systemet er styrende for valget av verktøy.

I Input til systemet (dvs gitte rammer) – alternativer i parantes
1. LUF: ”kunne drøfte forholdet mellom erfaring og læring”
(alternative verb fra LO-verbliste . Men også synonyme verb?)
2. Eksamensform: skriftlig (muntlig, fagoppgave, hjemmeeksamen, Flervalgseksamen…?)
3. Eksamenstype: drøfting (redegjørelse, beregne, forklaring…?)
4. Klassestørrelse: 400 (20, 50, 100, 400)
5. Rom: plenumsauditorium (lab, virtuelt, grupperom)
6. Antall fasilitatorer: 1 lærer (flere lærere, studentassistenter, ingen)
7. Bruk av LMS: ja (nei, kombinasjon)

II Verktøykassa (dvs alle aktiviteter beskrevet utfra 10-20 tagger)
I en base finnes X-antall vurderingsaktiviteter/verktøy som alle er registrert og koblet sammen inn i systemet vha tagger. Vi har 13 aktiviteter foreløpig i prosjektet.
Verktøyene / Tilbakemeldingsaktivitetene lagres ala dette:
1. Flervalgstest med automatisert tilbakemelding:
a. 1-400 studenter
b. ingen fasilitatorer
c. aktuelle verb: XX YY ZZ
d. Ja til LMS ***
e. Passer til: Begrepsinnlæring, pugging, beregninger osv
f.

2. Medstudentrespons med vurderingskriterier og karakter
a. 1-400 studenter
b. 1 lærer før og etter
c. aktuelle verb: XX YY ZZ
d. Ja til LMS *
e. Passer til: erfaringsutveksling, lære av hevrandre, øve seg på vurdering
f.

3. Egenvurdering med vurderingskriterier
a. 1-400 studenter
b. 1 lærer før og etter
c. aktuelle verb: XX YY ZZ
d. Ja til LMS**
e. Passer til: øve seg på vurdering av eget arbeid, bruk av vurderingskriterier,
f.

4. Øvingsoppgave m/plenumstilbakemelding
a. 1-400 studenter
b. Ingen fasolitator
c. aktuelle verb: XX YY ZZ
d. Ja til LMS (fasit legges ut automatisk etter at øvingen er sendt inn)
e. Passer til:
f.

5. One-minute paper
a. 1-400 studenter
b. 1 lærer
c. aktuelle verb: XX YY ZZ
d. LMS *
e. Passer til: Refleksjon på egen læring, tilbakemelding til lærer
f.
*) = fungerer mer eller mindre godt

Verktøyene kan tagges bl a ved følgende begreper fra våre beskrivelser:
1. NAVN (på aktiviteten)
2. FORMÅL (den pedagogiske hensikten med aktiviteten)
3. BESKRIVELSE (av aktivitet)
4. EKSEMPLER PÅ BRUK (vår piloterfaring og andres erfaringer)
5. FORDELER (hvilke pedagogiske fortinn har metoden)
6. PASSER SAMMEN MED (hvilke andre typer aktiviteter passer den sammen med)
7. RESSURSBRUK (hva kreves av rom, tidsbruk lærer, materiell osv)
8. AWARENESS (hva skal vi være obs på med aktiviteten)
9. TIPS (diverse tips og gode råd for gjennomføring av aktiviteten)
10. REFERANSER (lenker og referanser til forsking og praksis)

III Output fra systemet (dvs en forslagsliste med aktiviteter)
Systemet kobler input med verktøyene og foreslår (output) relevante aktiviteter :
Input: Klassestørrelse (400) + ressurser (1 lærer) + verb i LUF (definere) +osv

Verktøykasse - datasystem

ASSESS-prosjektet skal vi lage en verktøykasse. Den står beskrevet her:
verktøykasse i ASSESS-prosjektet

Jeg er faglærer i PHP, et fag hvor studentene blant annet skal lage et webbasert system. Studentene kan få i oppgave å lage et system som kan brukes i ASSESS-prosjektet. Med andre ord: Et system for å støtte opp under formativ vurdering, læringsutbytter eller andre ting. Studentene kan få til det meste.

Det er nødvendig å formulere en passende studentoppgave i løpet av de nærmeste ukene. Her må jeg ha input. Hva er ønskelig? Hvilke krav stiller vi til et slikt system? Hva trenger vi hjelp av et system for å løse? Er vi ute etter et slags veiviser-system som sprer erfaringer og beste praksis om hvordan en kan planlegge og gjennomføre prosessvurdering på en god måte? Eller er det kanskje behov for et system som hjelper læreren å få oversikt i sitt fag, og tips/ideer til å sy sammen ulike aktiviteter som passer godt sammen? Trenger vi et system som kan være til hjelp i arbeidet med å sette sammen elementer (læringsutbytter, virkemidler, ressurser)?

Alle innspill er verdifulle. Still gjerne nye spørsmål! Hva mener du? Bruk kommentarfeltet aktivt. Er du ikke med i prosjektet, så er du hjertelig velkommen til å komme med innspill eller spørsmål.

Finnes verktøy for medstudentvurdering i læringsplattformene?

Medstudentvurdering er en aktuell metode i studentenes læringsprosess. I prosjektet ASSESS-2010 prøvde vi ut medstudentvurdering i en innlevering i emnet ITL111 Digital kompetanse for lærere ved HiNT. Opplegget var at hver student skulle utvikle en flervalgstest for bruk i eget fag i skolen, og med bruk av pensum for å utvikle gode flervalgstester. Studenten skulle videre lage et notat med presentasjon av flervalgstestens innledning og seks utvalgte spørsmål fra flervalgstesten med faglig begrunnelse. Notatformen ble valgt fordi deltakerne brukte ulike læringsplattformer for å utvikle sine flervalgstester, og relevant tilgang til andre skolers læringsplattform er ikke lett å administrere. Notatformen ga også en klar avgrensning på oppgaven og muligheter til å begrunne de faglige valgene med spørmsålene.

Dette notatet skulle deretter gjøres tilgjengelig for en gruppe studenter for medstudentvurdering i kursets fronterrom ved HiNT. Poenget var at hver student skulle vurdere og gi tilbakemelding på minimum tre andre innleveringer slik at dette blir synlig for mottaker av tilbakemeldingen. Hvordan kan dette gjøres i Fronter?

En opplagt kandidat er verktøyet for innlevering i Fronter. Men i dette verktøyet har studentrollen bare innleveringsrettighet og du må ha lærerrettighet for å gi kommentarer til innleveringene. Innleveringsverktøyt i Fronter bør derfor videreutvikles slik at man kan velge å gi lese- og kommentarrettigheter fra medstudenter.

Vi måtte derfor opprette en ordinær arkivmappe "Innlevering flervalgstest" med undermapper for hver studentgruppe. Her fikk studentene skrivetilgang slik at de kunne legge ut sitt dokument. Jobben med oppretting av spesifikke arkivmapper til gruppene ble derfor et merarbeid for lærerne. Til vurderingsarbeidet var det oppgitt et sett med vurderingskriterier som studentene skulle bruke i sin medstudentvurdering. Vi anbefalte studentene å opprette et forum for å gi tilbakemeldingene, og flere grupper brukte dette verktøyet. Alternativt valgte noen grupper å legge ut sine tilbakemedlinger som worddokumenter.

Konklusjonen er at Fronter så langt ikke har spesifikke verktøy for å bruke medstudentvurdering i læringsprosessen, men at bruk av vanlige arkivmapper og forumverktøy kan gi en alternativ men litt tungvint løsning på dette behovet. Hvordan kan andre læringsplattformer bidra til gjennomføring av medstudentvurdering?