Automatisert medstudentvurdering

Av: Svend Andreas Horgen, Høgskolen i Sør-Trøndelag

Dette blogginnlegget er krysspostet på http://blogg.itfag.hist.no

Jeg har tidligere skrevet om et opplegg for medstudentvurdering. I korte trekk går medstudentvurdering ut på at studentene skal vurdere hverandres arbeid. I forbindelse med ASSESS-prosjektet har jeg laget et lite webbasert system for å automatisere medstudentvurdering. Her er en video (HD) som forklarer hvordan systemet kan brukes til å effektivisere:



Systemet ble også presentert på NVU-konferansen 2011 i Steinkjer, og er du interessert kan du se på presentasjonen som tankekart (laget med iThoughts HD på iPad)

Systemet er testet ut i fagene Webprogrammering i PHP (LV197D) og Ajax (LN393D). Begge fagene har et prosjekt som krever ca 50 timer programmeringsinnsats, og som skal vurderes til bestått/ikke bestått. I stedet for at læreren gir skriftlige tilbakemeldinger til studentene, må de gi hverandre skriftlige tilbakemeldinger. Regelen i mine fag har vært at hver student må gi 3 andre studenter en tilbakemelding. Websystemet bidrar til å automatisere dette, slik at studentene kan skrive inn tilbakemeldinger på web, og sjekke de tilbakemeldinger de har fått fra andre på web. Dermed slipper læreren å være bindeledd :-)

Hva synes du om dette opplegget? Ser du mangler i et slikt system som burde vært med? Ser du fordeler for læringen? Utfordringer? Dine innspill er som alltid velkomne!

Månedens prosjekt

ASSESS 2010 var i desember månedens prosjekt på Norgesuniversitetets hjemmesider: http://norgesuniversitetet.no/node/3977.

Vi nærmer oss nå prosjektets formidlingskonferanse: Tilbakemelding Pleazze! som arrangeres ved Handelshøyskolen BI i Nydalen 3.februar. Programmet er oppdatert og påmelding pågår. Vi ønsker alle interesserte velkommen.

Noen av prosjektets resultater vil også presenteres på Nettverksuniversitetes årskonferanse 15. og 16. mars i Steinkjær.

Bildet over er tatt av Sverre Vinje.

Gratis konferanse om underveisvurdering og tilbakemelding i store klasser

Den 3. februar inviteres det til et åpent dagsseminar ved Handelshøyskolen BI i Nydalen, der erfaringsdeling fra ulike tilbakemeldings- og vurderingsaktiviteter står på programmet. Seminaret er åpent for alle som interesserer seg for studentaktive læringsformer og utfordringene knyttet til underveisvurdering i store klasser.
ASSESS 2010 er et FoU-prosjekt med samarbeidspartnere fra tre høyskoler: Høgskolen i Sør-Trøndelag, Høgskolen i Nord-Trøndelag og Handelshøyskolen BI. Prosjektet er støttet av Norgesuniversitetet og er nå inne i en avsluttende dokumentasjonsfase. Den 3. februar er vi klare til å dele våre prosjekterfaringer med andre interesserte. I løpet av dagen skal vi formidle erfaringer fra 13 piloter om har testet ulike former for tilbakemeldingsaktiviteter – fra medstudentvurdering med rubrikkskjemaer til ulik bruk av automatiserte tester på læringsplattformen. Pilotene representerer ulike fagområder, klassestørrelser og verktøy, derfor tror vi overføringsverdien av prosjekterfaringene er stor.
Prosjektets mål har vært å utvikle og teste en metode for planlegging og gjennomføring av underveisvurdering i store klasser. Vi har tatt utgangspunkt i John Biggs teori om ”constructive alignment”, som vi har oversatt til ”samtstemt undervisning” på norsk. I tillegg har vi utviklet en verktøykasse med pedagogiske virkemidler og metoder - en ”Teacher’s toolbox”, som vil bli presentert på seminaret. Flere av pilotene blir lagt fram med det formål å dele – men også diskutere - erfaringer, tips og råd.
Mer informasjon om dagsseminaret og lenke til påmelding finner du på www.bi.no/assess2010

SOLO-taxonomien - en hjelp når læringsutbytter skal beskrives

I ASSESS 2010 er studenters læring sentralt. Prosjektet fokuserer på studentaktive læringsformer som inkluderer underveisvurdering og/eller tilbakemelding. I forbindelse med utvikling av pilotaktivitetene i prosjektet har vi jobbet med ulike modeller for hvordan studenter utvikler forståelse av ny kunnskap. John Biggs har utviklet en modell (en taxonomi) for å beskrive og klassifisere studenters utvikling av forståelse. Lenkene under gir gode beskrivelser (i tekst og bilde) av SOLO-taxonomiens innhold: John Biggs hjemmeside, Atherton's Learning&Teaching sider, og et Eksempel.

Kort fortalt står SOLO for Structure of Observed Learning Outcomes og beskriver fem nivåer av studentens forståelse: (1) Prestrukturelt, (2) Unistrukturelt, (3) Multistrukturelt, (4) Relasjonelt, og (5)Extended abstract. Nivåene beskriver kompleksiteten i forståelse der eksempelvis "prestrukturell" forståelse er svært lite utviklet og "extended abstract" beskriver en kompleksx forståelse av kunnskapsområdet. I praksis kan taxonomien vise seg å være et nyttig verktøy i planleggingen av undervisningsaktiviteter som bruker læringsutbytter for å beskrive hva studentene er forventet å lære. I noen emner er det nok med løsrevne faktakunnskaper, mens i andre emner er det nødvendig med relasjonell og kontekstuell forståelse.
mvh Anne:-)

PS1 En taxonomi er i følge Wikipedia "the practice and science of classification".
PS2 Blooms taxonomi er en tilsvarende taxonomi, men mer kognitivt orientert.
PS3 En rapport med erfaringer der SOLO-taxonomien er brukt for å vurdere studentoppgaver

Modell-trening gjennom digitale tester

Øyvind Kvalnes ble med sin søknad ”Ethical Navigation” vinner av mini-pilotkonkurransen som ble utlyst på BI's årlige Pedagogiske Inspirasjonsdag. Konkurransen var ment å stimulere BI-forelesere til å utvikle tilbakemeldingsaktiviteter for storklasseundervisning, og er en aktivitet i FoU-prosjektet ASSESS 2010 – underveisvurdering i store klasser. Kvalnes sitt opplegg består i å trene studentene i en sentral modell i pensum - det ”etiske” navigasjonshjulet - gjennom å legge frem en rekke påstander som studentene må ta stilling til. Påstandene legges inn i en digital test på it’s learning som gir studentene personlig, men automatisert tilbakemelding på hva de har svart. Studentene kan ta testen så mange ganger de vil. Som et tillegg vil testene inneholde et fritekstfelt der studentene bes omformulere noen av påstandene. Tilbakemelding på disse vil skje gjennom at foreleser plukker ut relevante formuleringer og presenterer/diskuterer disse i plenum. Modelltreningen henger godt sammen med læringsmålet i kurset da hensikten med treningen er å gi studentene en god basiskunnskap før de senere i kurset skal løse etiske dilemmaer.

De øvrige vinnerne av prosjektmidler var Cecilie Asting med sitt opplegg for å trene studentene i å lese og forstå akademiske artikler, Nina Ronæs med sitt opplegg for rollespill (forhandlinger) i storklasse og Johannes Brinkmann med sitt opplegg for selvobservasjon og selvvurdering som pedagogisk virkemiddel gjennom hele kurset. En beskrivelse av disse aktivitetene vil bli inkludert i "Teacher's Toolbox" (ASSESS 2010).

Noen drypp fra ASSESS 2010-arbeidet

Når vi nå oppsummerer før sommeren ser vi at vi er godt i gang med formidlingen av resultater fra prosjektet:

1. FoU i praksis 10-11. mai 2010 - Nordisk konferanse om praksisretta FoU i lærerutdanninga.
Robin Munkvold og Hugo Nordseth: Verktøy for medstudentvurdering i lærerutdanninga.

2. NUV-konferansen 2010, Stord 16-17. mars 2010
Svend Andreas Horgen, Bjørn Klefstad, Geir Maribu, Thorleif Hjeltnes, HiST: Er det mulig å lage gode, reliable og valide digitale tester med utgangspunkt i faglige læringsutbytter og en taksonomi?.

3. NUV-konferansen 2010, Stord 16-17. mars 2010
Sonja Ekker, Hugo Nordseth og Robin Munkvold , HiNT: Tools for peer assessment in an e-learning environment.

4. Synkron Nett 1:2010
Sonja Ekker, Hugo Nordseth og Robin Munkvold , HiNT: Gir lærern eller dine medstudenter best tilbakemelding. Synkron Nett er en NFF publikasjon.

5. SYNKRON NETT 2009
Prosjektomtale

6. Innlegg på diverse interne seminarer og konferanser, bla BI's årlige pedagogiske Inspirasjonsdag for forelesere 1.juni 2010, flere workshops for kursansvarlige og fagseminar for forelesere.

Og mer kommer, for nå er vi i avslutningen av pilotfasen!
GOD SOMMER!

Pedagogisk Inspirasjonsdag på BI - utlysning av midler

Hvert år arrangerer BI en pedagogisk insprasjonsdag for sine forelesere. Årest tema var læringsmål og pedagogisk bruk av It's learning (BI's nyimplementerte læringsplattform). ASSESS 2010's Svend Andreas Horgen hadde flere parallellsesjoner bla med fokus på bruk av digitale tester i underveisvurdering. Horgen og undertegnede hadde dessuten en sesjon der vi orienterte om ASSESS 2010 og spesielt "Teacher's Toolbox".
Utlysning av midler
Vi ønsker å engasjere flere forelesere i vårt arbeid med å utvikle effektive og gode tilbakemeldingsaktiviteter i store klasser og som en ledd i prosjektarbeidet lyste vi ut interne midler som BI-foreleserne kan søke på. 10.august er det frist for å søke disse interne ASSESS-prosjektmidlene som består av tre priser a 10.000 kroner. Samtidig håper vi at utlysningen vil føre til flere verktøy i Teacher's Toolbox. Se mer om Inspirasjonsdagen og utlysningen her

Læringsmål i mikro- og makro-perspektiv

Hele UH-sektoren er i gang med å planlegge for bruk av læringsmål. Nasjonalt er det nedsatt et prosjekt som skal forske på effektene av læringsmål med tanke på mobilitet og transparans internasjonalt. Følg denne lenken til Kunnskapsdepartementet for en nærmere innføring i prosjektet.

I vårt Norgesuniversitetsstøttede inter-institusjonelle prosjekt ASSESS2010 er vi fokusert på aktiv bruk av læringsmål i forbindelse med vurdering for læring. Læringsmål i vår sammenheng dreier seg om pedagogisk bruk av læringsmål - eller læringsutbytteformuleringer (LUF-er) som vi ynder å kalle det i prosjektet. Prosjektet skal utvikle en metode for å planlegg og gjennomføre undervisning med underveisvurdering og tilbakemelding i mellomstore og store klasser. I tillegg setter vi sammen en verktøykasse "Teacher's Toolbox" der forelesere kan inspireres av ulike verktøy de kan anvende i egen praksis. Prosjektarbeidet har lært oss at gode læringsutbytter er sentralt i arbeidet med god undervisning og derfor også viktig i forbindelse med tilbakemeldingsaktiviteter. Veien om grundig innføring i bruk (og formulering) av læringsmål har derfor vært spesielt nyttig i utviklingen av prosjektet. Følg gjerne med gjerne med på vår prosjektwiki: http://assess2010.wikispaces.com/ - og kom gjerne med innspill og gode råd til oss!

Opplegg for medstudentvurdering

I faget "LV197D Webprogrammering i PHP" skal studentene våren 2010 gjennomføre et lite prosjektarbeid. Det kan gjøres individuelt eller de kan samarbeide to og to om de vil det (det er nettstudenter som er spredt over hele landet og ønsker fleksibel jobbing).

Tidligere har lærer (undertegnede) brukt mye tid på vurdering. Nå er det på tide med et nytt opplegg, inspirert av prosjektet ASSESS 2010 generelt og Hugo/Sonja/Robin spesielt. Nemlig medstudentvurdering.

Prosessen kort forklart
Steg 1: Programmering
De leser oppgaven, planlegger en løsning og programmerer denne innen fristen.

Steg 2: Innlevering av produktet (i it´s learning)

Steg 3: Medstudentvurdering
Hver student skal se på arbeidet som tre andre studenter har gjort og gi tilbakemeldinger til disse.

Hvorfor medstudentvurdering?
Fordi:

• Det er lærerikt å se gjennom kode og evaluere et system som andre har programmert.


• Hver enkelt får tilbakemeldinger fra tre andre studenter, og lærer trolig mye av å se på tilbakemeldingene.


• Det vil trolig være motiverende å vite at andre skal se på, og kommentere koden en har laget.


• Faglærer har opp gjennom årene vurdert mange studentarbeider. Det er veldig lærerikt, både fordi en ser hvordan andre arbeider og tenker, og fordi en lærer seg å analysere kvalitet på et system. Hvorfor skal bare læreren få trening i denne viktige kompetansen? :-)

Hvordan skjer medstudentvurderingen i praksis?
Alle må levere inn prosjektet innen tidsfristen. Når fristen er gått ut vil faglærer anonymisere studentene og nummerere innleveringene som nr 1 til n. Deretter vil faglærer sende ut det hver enkelt har laget til tre andre studenter som skal se på, og kommentere det som er gjort. Fordelingen skjer etter følgende opplegg:

• Student nr 1 får se gjennom koden som student nr 2, 3 og 4 har levert.


• Student nr 2 får se gjennom koden som student nr 3, 4 og 5 har levert.


• Student nr 3 får se gjennom koden som student nr 4, 5 og 6 har levert.


• ... og så videre for totalt ”n” antall studenter, der en biter seg i halen på slutten:


• Student nr n-2 får se gjennom koden som student nr n-1, n og 1 har levert.


• Student nr n-1 får se gjennom koden som student nr n, 1 og 2 har levert.


• Student nr n får se gjennom koden som student nr 1, 2 og 3 har levert.

Med dette opplegget får alle studenter se gjennom hva som er gjort i 3 andre prosjekter, og alle får 3 tilbakemeldinger.

Hva skal kommentarene inneholde? Når studentene vurderer et annet prosjektarbeid, skal de fylle ut et skjema (webbasert) med kommentarer på følgende ting: Funksjonalitet i løsningen, brukervennlighet, eventuelle bugs, kodens kvalitet, totalinntrykk og så videre. Det skjer anonymt, men likevel er det viktig at en skriver konstruktivt og at hver enkelt tar de tilbakemeldinger en får fra andre på en konstruktiv måte. Dette er en fin mulighet til å lære noe ekstra og bearbeide stoffet i ettertid. Faglærer ser også på hva som er gjort, og det er faglærer (ikke medstudentene) som bestemmer om det er bestått eller ikke besått.

Oppsummert betyr det at kommentarene til for eksempel student nr 8 (fra student 5, 6 og 7) vil faglærer sende tilbake til student nr 8, sammen med faglærers egen vurdering av om prosjektet til nr 8 er bestått eller ikke bestått. Det betyr at student 8 får: Bestått-status fra faglærer og 3 kommentarer fra medstudenter.

Unntak
Hva om noen ikke ønsker å gjøre dette? Medstudentvurdering tar litt tid (kanskje 1-2 timer x 3 prosjekter en skal se på). Erfaringer tilsier at det er utrolig lærerikt. Det kan likevel være grunner til at enkelte studenter ikke ønsker å delta i et slikt medstudentvurderingsopplegg. De som har en god grunn for å ikke delta, må ta kontakt med faglærer, begrunne hvorfor og gjøre en avtale om å programmere noen utvalgte XTRA-punkter i stedet. Slik blir det rettferdig tidsmessig.

Dine innspill er nyttige
Hva tror du om dette opplegget? Vil det fungere? Er det fallgruver eller ting som kunne vært gjort anderledes? Dine innspill er nyttige. Faglærer skal nå i gang med å dele ut besvarelsene til alle studentene (altså er vi kommet til steg nr 3. Det blir veldig spennende og du kan lese om hvordan det gikk i et kommende innlegg.

Tirsdag 27.april 2010, Svend Andreas

Kravspesifikasjon studentsystem

Hei - som lovet - her er et første forsøk på en kravspesifikasjon. Mye kan absolutt forbedres, men jeg synes det er viktig å få skissen ut da tiden er knapp! Velkommen med forslag!! - og husk at frist for SA er 28.2.





TEST-EKSEMPEL er Tema ”Læring” (ett tema av 14) i kurset Organisasjonsatferd (BI)

Utvikling av en kravspek til system for studentoppgave HIST
Utgangspunkt: 1 LUF av gangen – input til systemet er styrende for valget av verktøy.

I Input til systemet (dvs gitte rammer) – alternativer i parantes
1. LUF: ”kunne drøfte forholdet mellom erfaring og læring”
(alternative verb fra LO-verbliste . Men også synonyme verb?)
2. Eksamensform: skriftlig (muntlig, fagoppgave, hjemmeeksamen, Flervalgseksamen…?)
3. Eksamenstype: drøfting (redegjørelse, beregne, forklaring…?)
4. Klassestørrelse: 400 (20, 50, 100, 400)
5. Rom: plenumsauditorium (lab, virtuelt, grupperom)
6. Antall fasilitatorer: 1 lærer (flere lærere, studentassistenter, ingen)
7. Bruk av LMS: ja (nei, kombinasjon)

II Verktøykassa (dvs alle aktiviteter beskrevet utfra 10-20 tagger)
I en base finnes X-antall vurderingsaktiviteter/verktøy som alle er registrert og koblet sammen inn i systemet vha tagger. Vi har 13 aktiviteter foreløpig i prosjektet.
Verktøyene / Tilbakemeldingsaktivitetene lagres ala dette:
1. Flervalgstest med automatisert tilbakemelding:
a. 1-400 studenter
b. ingen fasilitatorer
c. aktuelle verb: XX YY ZZ
d. Ja til LMS ***
e. Passer til: Begrepsinnlæring, pugging, beregninger osv
f.

2. Medstudentrespons med vurderingskriterier og karakter
a. 1-400 studenter
b. 1 lærer før og etter
c. aktuelle verb: XX YY ZZ
d. Ja til LMS *
e. Passer til: erfaringsutveksling, lære av hevrandre, øve seg på vurdering
f.

3. Egenvurdering med vurderingskriterier
a. 1-400 studenter
b. 1 lærer før og etter
c. aktuelle verb: XX YY ZZ
d. Ja til LMS**
e. Passer til: øve seg på vurdering av eget arbeid, bruk av vurderingskriterier,
f.

4. Øvingsoppgave m/plenumstilbakemelding
a. 1-400 studenter
b. Ingen fasolitator
c. aktuelle verb: XX YY ZZ
d. Ja til LMS (fasit legges ut automatisk etter at øvingen er sendt inn)
e. Passer til:
f.

5. One-minute paper
a. 1-400 studenter
b. 1 lærer
c. aktuelle verb: XX YY ZZ
d. LMS *
e. Passer til: Refleksjon på egen læring, tilbakemelding til lærer
f.
*) = fungerer mer eller mindre godt

Verktøyene kan tagges bl a ved følgende begreper fra våre beskrivelser:
1. NAVN (på aktiviteten)
2. FORMÅL (den pedagogiske hensikten med aktiviteten)
3. BESKRIVELSE (av aktivitet)
4. EKSEMPLER PÅ BRUK (vår piloterfaring og andres erfaringer)
5. FORDELER (hvilke pedagogiske fortinn har metoden)
6. PASSER SAMMEN MED (hvilke andre typer aktiviteter passer den sammen med)
7. RESSURSBRUK (hva kreves av rom, tidsbruk lærer, materiell osv)
8. AWARENESS (hva skal vi være obs på med aktiviteten)
9. TIPS (diverse tips og gode råd for gjennomføring av aktiviteten)
10. REFERANSER (lenker og referanser til forsking og praksis)

III Output fra systemet (dvs en forslagsliste med aktiviteter)
Systemet kobler input med verktøyene og foreslår (output) relevante aktiviteter :
Input: Klassestørrelse (400) + ressurser (1 lærer) + verb i LUF (definere) +osv

Verktøykasse - datasystem

ASSESS-prosjektet skal vi lage en verktøykasse. Den står beskrevet her:
verktøykasse i ASSESS-prosjektet

Jeg er faglærer i PHP, et fag hvor studentene blant annet skal lage et webbasert system. Studentene kan få i oppgave å lage et system som kan brukes i ASSESS-prosjektet. Med andre ord: Et system for å støtte opp under formativ vurdering, læringsutbytter eller andre ting. Studentene kan få til det meste.

Det er nødvendig å formulere en passende studentoppgave i løpet av de nærmeste ukene. Her må jeg ha input. Hva er ønskelig? Hvilke krav stiller vi til et slikt system? Hva trenger vi hjelp av et system for å løse? Er vi ute etter et slags veiviser-system som sprer erfaringer og beste praksis om hvordan en kan planlegge og gjennomføre prosessvurdering på en god måte? Eller er det kanskje behov for et system som hjelper læreren å få oversikt i sitt fag, og tips/ideer til å sy sammen ulike aktiviteter som passer godt sammen? Trenger vi et system som kan være til hjelp i arbeidet med å sette sammen elementer (læringsutbytter, virkemidler, ressurser)?

Alle innspill er verdifulle. Still gjerne nye spørsmål! Hva mener du? Bruk kommentarfeltet aktivt. Er du ikke med i prosjektet, så er du hjertelig velkommen til å komme med innspill eller spørsmål.

Finnes verktøy for medstudentvurdering i læringsplattformene?

Medstudentvurdering er en aktuell metode i studentenes læringsprosess. I prosjektet ASSESS-2010 prøvde vi ut medstudentvurdering i en innlevering i emnet ITL111 Digital kompetanse for lærere ved HiNT. Opplegget var at hver student skulle utvikle en flervalgstest for bruk i eget fag i skolen, og med bruk av pensum for å utvikle gode flervalgstester. Studenten skulle videre lage et notat med presentasjon av flervalgstestens innledning og seks utvalgte spørsmål fra flervalgstesten med faglig begrunnelse. Notatformen ble valgt fordi deltakerne brukte ulike læringsplattformer for å utvikle sine flervalgstester, og relevant tilgang til andre skolers læringsplattform er ikke lett å administrere. Notatformen ga også en klar avgrensning på oppgaven og muligheter til å begrunne de faglige valgene med spørmsålene.

Dette notatet skulle deretter gjøres tilgjengelig for en gruppe studenter for medstudentvurdering i kursets fronterrom ved HiNT. Poenget var at hver student skulle vurdere og gi tilbakemelding på minimum tre andre innleveringer slik at dette blir synlig for mottaker av tilbakemeldingen. Hvordan kan dette gjøres i Fronter?

En opplagt kandidat er verktøyet for innlevering i Fronter. Men i dette verktøyet har studentrollen bare innleveringsrettighet og du må ha lærerrettighet for å gi kommentarer til innleveringene. Innleveringsverktøyt i Fronter bør derfor videreutvikles slik at man kan velge å gi lese- og kommentarrettigheter fra medstudenter.

Vi måtte derfor opprette en ordinær arkivmappe "Innlevering flervalgstest" med undermapper for hver studentgruppe. Her fikk studentene skrivetilgang slik at de kunne legge ut sitt dokument. Jobben med oppretting av spesifikke arkivmapper til gruppene ble derfor et merarbeid for lærerne. Til vurderingsarbeidet var det oppgitt et sett med vurderingskriterier som studentene skulle bruke i sin medstudentvurdering. Vi anbefalte studentene å opprette et forum for å gi tilbakemeldingene, og flere grupper brukte dette verktøyet. Alternativt valgte noen grupper å legge ut sine tilbakemedlinger som worddokumenter.

Konklusjonen er at Fronter så langt ikke har spesifikke verktøy for å bruke medstudentvurdering i læringsprosessen, men at bruk av vanlige arkivmapper og forumverktøy kan gi en alternativ men litt tungvint løsning på dette behovet. Hvordan kan andre læringsplattformer bidra til gjennomføring av medstudentvurdering?

Forelesningen, forberedelser og tilbakemelding

I helgen var jeg på kurs i universitets- og høyskolepedagogikk med danske Bjarne Herskin. Temaet var planlegging og gjennomføring av forelesningen. I ASSESS2010 bruker vi Biggs modell om ”constructive alignment” eller ”samstemt undervisning” i forhold til å planlegge undervisning på kursnivå. Herskins metode minnet meg om Biggs modell, men nå på forelesningsnivå, og den er absolutt en forlengelse av Biggs tankebane.
I forenklet versjon: Forelesningstimen ble brutt ned i en såkalt ”poenganalyse”. Hver undervisningstime bygges opp rundt ca 3-5 poenger. Et ”poeng” kan karakteriseres som forelesers forsøk på å nå forståelse hos studentene. Poenget bygges opp ved hjelp av ulike verktøy fra en verktøykasse (ikke ulikt ASSESS2010’s ide!) sortert i tre rom: eksempler, dialog og visuelle virkemidler. Forelesningens ramme:
1) Introduksjon og synkronisering av de tilstedeværende - gjerne gjennom en historie som fanger oppmerksomhet og som setter alle i en felles referanseramme for temaet som skal foreleses. Dette kaller jeg ”innsjekking til forelesning”.
2) Forelesning og poenger m/aktiviteter.
3)Avslutning: oppsummering av poengene, intro til neste tema og forberedelser. Eller ”utsjekking” som jeg vil kalle det. En forelesning kan med fordel kreve forberedelser av studentene. Siste del av foregående forelesning bør da introdusere temaet for studentene. Studentene jobber så med forberedelser som igjen blir gjenstand for ulik type tilbakemelding på neste forelesning. Og selvsagt – poengene i forelesningen kan da nås i dialog med studentene og gjennom deres forberedelser.
Dette opplegget er bygget på at studentene skal utvikle forståelse.

Hvordan ligger du an i faget?

Læringsutbytteformuleringer (LUF'er) er formuleringer som brukes for å kommunisere hva som er fokus i faget. Når man først har laget disse, er det fort gjort å gjøre en undersøkelse av hvordan studentene oppfatter at de ligger an.

For faget Internett og sikkerhet (6 studiepoeng) har jeg laget 34 læringsutbytteformuleringer. Mot slutten av inneværende semester laget jeg en frivillig undersøkelse. Studentene fikk spørsmålet "Hvordan ligger du an i forhold tilforventet læringsutbytte i faget?" og skulle vurdere dette for hver enkelt læringsutbytteformulering på en skala 1-6.

Ut fra svarene kunne jeg se hvilke tema som hadde mest behov for oppfølging/repetisjon, og den aktiviteten ble gjennomført siste undervisningsuken i semesteret.

Foruten at undersøkelsen hjalp meg til å få oversikt, ga den også en pekepinn til hver enkelt om hvordan de lå an i forhold til klassegjennomsnittet.

Alle LUF'ene i dette faget om Internett og sikkerhet er listet på assess-wiki.

Bevisstgjøring av studenten om hva han/hun lærer

av Geir Maribu

Læringsutbytter fungerer når vi greier å bevisstgjøre studentene om hva han/hun har lært, hva han/hun kan etc. etter å ha vært gjennom et sett av læringsaktiviteter (merk at jeg sier læringsaktiviteter og ikke lærestoff. Hvorfor det tro?). Læringsutbyttene kan lide samme skjebne som læringsmålene dersom vi ikke tar tak i disse på en skikkelig måte. De kan bli noe studenten leser innledningsvis (jaha, det er dette vi skal lære etc) og så blir det ikke noe mer med det. Vi må bevisstgjøre studentene på læringsutbyttene, og vi må gjøre det kontinuerlig. Tiden vis om lærere bruker på dette er bedre anvendt tid enn om vi står og "messer" en forelesning. Det er tross alt studenten som må jobbe for kunnskapen og ferdighetene.
Olav har vist hvordan han integrerer læringsutbyttene inn i selve lærestoffet. Svend Andreas har vist hvordan spørreundersøkelser kan benyttes i forhold til læringsutbyttene.
Jeg kommer til å prøve en litt annen variant i et Linux-fag som jeg kjører. Alle først vil studentene få listen av læringsutbytter for det aktuelle temaet (som er tilgangrettsrettigheter). Selv listen finner du etter dette innlegget. Så langt er alt vel og bra. Men vil studentene gjøre noe mer enn å lese gjennom denne listen hvis vi ikke følger opp? Det er det store spørsmålet. Mitt opplegg går nå ut på at studentene skal ta en test der jeg spør et ja/nei-spørsmål som går på hvert av læringsutbyttene.
Et slikt spørsmål kan være: Kan du vise fram hva som er tilgangsrettighetene for en fil/mappe (ja/nei)? Rett svar her er JA. Studentene bes selvsagt om å være så oppriktig som mulig, og de vil da komme ut med et antall JA- og NEI-svar som viser hvordan han/hun ligger an faglig i det aktuelle temaet.
Men ikke nok med det. Jeg kjører deretter en faglig test med et flervalgsspørsmål for hvert læringsutbytte der de skal testes på de læringsutbyttene. Forhåpentligvis et det match mellom denne siste testen og den først testen med JA/NEI-spørsmålene :-)

Jeg har ikke gjort dette opplegget ennå, men skal gjøre det de neste 1-2 ukene. Men før jeg setter i gang vil jeg gjerne ha noen innspill fra dere rundt idéen og hvordan det kan gjennomføres. Vil studentene være oppriktige på JA/NEI-testen? Kan jeg gjøre noe for å øke validiteten til testen, dvs at den måler det jeg ønsker å måle. Det er sikkert mange andre spørsmål og tanker man kan gjøre seg rundt dette.

Her er læringsutbyttene som jeg har laget for det aktuelle temaet:

1) Vise fram hvilke tilgangsrettigheter en fil og em mappe har
2) Forklare hva et aktuelt sett av tilgangsrettigheter for en fil og for en mappe betyr
3) Forklare forskjellen på tilgangsrettigheter for filer og for mapper
4) Sette tilgangsrettigheter for filer og for mapper med chmod-kommandoen
5) Sette tilgangsrettigheter både med symbolske verdier og med oktale verdier
6) Forklare hva et normalt sett av tilgangsrettigheter vil være for en hjemmemappe og for undermappene
7) Forklare hvorfor vi opererer med forskjellige typer av brukere, dvs user, group og other
8) Vise hva som blir standard rettigheter for nye filer og mapper som lages
9) Forklare hvordan en kan endre hva som blir standard rettigheter for nye filer og mapper
10) Forklare og vise eksempler på hva SetUID-biten og Sticky-biten kan brukes til
11) Sette SetUID-bit og Sticky-bit for filer og mapper og vise hav som må gjøres for å demonstrere at det virker
12) Forklare og ta konsekvensene av de feilmeldingene som systemet gir deg når det gjelder tilgangsrettigheter til filer/mapper
13) Sette tilgangsrettigheter for alle filer i en mappe inkludert undermapper
14) Forklar hva superbruker root er for noe og hvilke tilgangsrettigheter root har
15) Forklar eierskap og tilgangsrettigheter til filer og mapper
16) Vise hvordan du kan få tilgang til en fil langt nede i mappehierarkiet uten at du kan få sett innholdet i overliggende mapper.

læringsmål eller læringsutbytte?

Av: Svend Andreas

Hvilket ord skal en bruke når en snakker om mål for læringen?

1. "læremål"
2. "læringsmål"
3. "læreutbytte"
4. "læringsutbytte"
5. ... andre ???

Jeg tror det er viktig å prøve å bruke samme terminologi for fagene ved en instusjon, og kanskje helst innenfor en hel sektor. Det er trolig lite fokus på navn (og innhold i selve formuleringene) i dag. Det er kanskje for tidlig å velge noe endelig, men dette er en viktig (om enn dog pirkete) diskusjon.

Undertegnede har ansvar for mange fag, og vil gjerne oppdatere dette begrepet på alle steder i alle fag slik at det blir konsistent. Noen setninger som vi typisk vil kunne skrive/si til studentene våre, illustrerer kanskje bedre behovet for et godt ord. I setningene under må X erstattes med term 1, 2, 3 eller 4 fra listen over:

• "Det er viktig at du blir bevisst på hva som er X for denne leksjonen "
• "Kryss ut i hvilken grad du mener at du har oppnådd X for denne leksjonen"
• "Eksamen i dette faget tar utgangspunk i alle X"
• "Dersom du kan si med hånden på hjertet at du har oppnådd X så bør det gå greit på eksamen"
• "X for dette faget er"
• "Leksjonen hadde et vanskelig X som går på bla bla bla. Derfor er det laget et forum som skal gjøre deg bedre i stand til å nå X"
• "X for denne leksjonen er"

Prøv å lese setningene over med 1, 2, 3 eller 4 satt inn for X. Hvilket fremstår for dere som det beste valget av terminologi?

Til slutt noen spørsmål: Er det andre hensyn å ta? Hvordan tenker du om de 4 ordene? Er det flere ord en kan tenke seg brukt?

Skype, etherpad og samstemt undervisning

Skypemøtet med simultian samskriving av møtereferat ble en fin erfaring og fristet absolutt til gjentakelse!! Takk til alle positive og engasjerte prosjektdeltakere :-). I den foreløpige verktøykassa vår ligger 26 verktøy og venter på å bli beskrevet... Ideen om å beskrive verktøyenes bruksområde utfra verbene i læringsmålene (LO) er spennede. For eksempåel: - Skal studentene bli gode i å "analysere" (LO-verb) noe, må 1) eksamen (form og innhold) kunne dokumentere denne ferdigheten, og 2)undervisnings-og læringsaktivitetene i kurset må støtte studentene i "å analysere" dette "noe". Som del av læringsaktivitetene er underveisvurderingens oppgave å gi studentene tilbakemelding på om og hvor godt de mestrer å analysere aktuelle emne. Snakker om samstemt undervisning! Ha en fin dag! anne:-)

Skriftlig eksamen på vei ut?

Av: Svend Andreas
Skriftlig eksamen har tradisjonelt stått sterkt i høgere utdanning. Summativ og formativ vurdering henger sammen, og i prosjektet ASSESS 2010 skal vi se nærmere på sammenhengen mellom læringsutbytte (ofte kalt læringsmål), eksamen og aktiviteter+vurdering underveis. Målet er å utarbeide en metodikk for bedre underveisvurdering som samtidig er effektiv i bruk.




Klikk på bildet for å åpne i større versjon. Foto: Geir Maribu

Det er mye å tenke på i arbeidet med ASSESS 2010, og prosjektets målsetning samt bildet over, gjør at tankene går mot selve eksamensformen vi fortsatt bruker. Bildet over gir kanskje assosiasjoner som "statisk", "lite fleksibelt", og "gammeldags". Stadig flere læringsaktiviteter i semesteret er digitale og bruker "moderne" teknologier som blogg, wiki, forumdiskusjoner, digitale flervalgstester, videobasert innhold og så videre. Hvordan kan en tradisjonell eksamen passe inn i og brukes som vurderingsgrunnlag for en så variert læringsperiode?

Eksamensform kan begrunnes pedagogisk, men også med praktiske hensyn som effektivitet, administrasjon og kostnad. Stadig flere spør seg om den tradisjonelle skriftlige eksamen er i ferd med å gå ut på dato, og i så fall - hvordan vi kan komme bort fra gamle tankemønstre? Hva er alternativene? Hva tenker du om utfordringene høgere utdanning (og vgs for den saks skyld) står overfor med eksamen og summativ/formativ vurdering i årene fremover?

Prosjektforum på Hell - viktig milepæl i boks

Nærmere 90 metodeelementer og 26 verktøy var vi i gjennom i løpet av workshopen - foruten ganske så mange retter fra Rica Hells rikholdige buffetbord ;-). Vi kom oss raskt inn i "flyt" og intensiver timer med engasjerende diskusjoner og erfaringsutveksling drev oss fremover mot målet: -en første skisse til en metode for underveisvurdering i store og mellomstore klasser. Det teoretisk/pedagogiske rammeverket var delvis på plass og hjalp oss til å plassere vår oppgave inn i et større bilde. Uten en god jobb med å formulere studentenes forventede læringsutbytte ("Intended learning outcomes" ref Biggs and Tang 2007)og en plan for hvordan læringsutbyttet skal dokumenteres (eksamen), er det vanskelig å drive god underveisvurdering... Metoden vår får derfor nødvendigvis noen bindinger opp mot læringsmål og eksamen. Biggs kaller denne måten å knytte kursets elementer sammen på for "aligned teaching", eller "samstemt" undervisning. Jeg tror vi har forankret metoden vår til et vel fundert pedagogisk rammeverk tilpasset studenter i høyere utdanning!
Anne :-)

Movie-time: Om studenters læring

Hei ! Her kommer oppvarming til Prosjektforum på Værnes!
Filmen under er basert på John Biggs bok om Academic Susan, Non-academic Robert og ideen om "Constructive Alignment". Den ligger på YouTube, er i tre deler og handler om undervisning "from a student learning perspective". Første del varer i 8:12 min med delkapitlene 1. Learning og 2. Teaching:



De 2 siste filmdelene finner du på YouTube via lenkene under.

Del II: 3. Understanding (6:19):
http://www.youtube.com/watch?v=SfloUd3eO_M

Del III: 4. The Solution : constructive alignment (5:59 min)
http://www.youtube.com/watch?v=w6rx-GBBwVg

Snurr film! mvh Anne:-)