Læringsmål i mikro- og makro-perspektiv

Hele UH-sektoren er i gang med å planlegge for bruk av læringsmål. Nasjonalt er det nedsatt et prosjekt som skal forske på effektene av læringsmål med tanke på mobilitet og transparans internasjonalt. Følg denne lenken til Kunnskapsdepartementet for en nærmere innføring i prosjektet.

I vårt Norgesuniversitetsstøttede inter-institusjonelle prosjekt ASSESS2010 er vi fokusert på aktiv bruk av læringsmål i forbindelse med vurdering for læring. Læringsmål i vår sammenheng dreier seg om pedagogisk bruk av læringsmål - eller læringsutbytteformuleringer (LUF-er) som vi ynder å kalle det i prosjektet. Prosjektet skal utvikle en metode for å planlegg og gjennomføre undervisning med underveisvurdering og tilbakemelding i mellomstore og store klasser. I tillegg setter vi sammen en verktøykasse "Teacher's Toolbox" der forelesere kan inspireres av ulike verktøy de kan anvende i egen praksis. Prosjektarbeidet har lært oss at gode læringsutbytter er sentralt i arbeidet med god undervisning og derfor også viktig i forbindelse med tilbakemeldingsaktiviteter. Veien om grundig innføring i bruk (og formulering) av læringsmål har derfor vært spesielt nyttig i utviklingen av prosjektet. Følg gjerne med gjerne med på vår prosjektwiki: http://assess2010.wikispaces.com/ - og kom gjerne med innspill og gode råd til oss!

Opplegg for medstudentvurdering

I faget "LV197D Webprogrammering i PHP" skal studentene våren 2010 gjennomføre et lite prosjektarbeid. Det kan gjøres individuelt eller de kan samarbeide to og to om de vil det (det er nettstudenter som er spredt over hele landet og ønsker fleksibel jobbing).

Tidligere har lærer (undertegnede) brukt mye tid på vurdering. Nå er det på tide med et nytt opplegg, inspirert av prosjektet ASSESS 2010 generelt og Hugo/Sonja/Robin spesielt. Nemlig medstudentvurdering.

Prosessen kort forklart
Steg 1: Programmering
De leser oppgaven, planlegger en løsning og programmerer denne innen fristen.

Steg 2: Innlevering av produktet (i it´s learning)

Steg 3: Medstudentvurdering
Hver student skal se på arbeidet som tre andre studenter har gjort og gi tilbakemeldinger til disse.

Hvorfor medstudentvurdering?
Fordi:

• Det er lærerikt å se gjennom kode og evaluere et system som andre har programmert.


• Hver enkelt får tilbakemeldinger fra tre andre studenter, og lærer trolig mye av å se på tilbakemeldingene.


• Det vil trolig være motiverende å vite at andre skal se på, og kommentere koden en har laget.


• Faglærer har opp gjennom årene vurdert mange studentarbeider. Det er veldig lærerikt, både fordi en ser hvordan andre arbeider og tenker, og fordi en lærer seg å analysere kvalitet på et system. Hvorfor skal bare læreren få trening i denne viktige kompetansen? :-)

Hvordan skjer medstudentvurderingen i praksis?
Alle må levere inn prosjektet innen tidsfristen. Når fristen er gått ut vil faglærer anonymisere studentene og nummerere innleveringene som nr 1 til n. Deretter vil faglærer sende ut det hver enkelt har laget til tre andre studenter som skal se på, og kommentere det som er gjort. Fordelingen skjer etter følgende opplegg:

• Student nr 1 får se gjennom koden som student nr 2, 3 og 4 har levert.


• Student nr 2 får se gjennom koden som student nr 3, 4 og 5 har levert.


• Student nr 3 får se gjennom koden som student nr 4, 5 og 6 har levert.


• ... og så videre for totalt ”n” antall studenter, der en biter seg i halen på slutten:


• Student nr n-2 får se gjennom koden som student nr n-1, n og 1 har levert.


• Student nr n-1 får se gjennom koden som student nr n, 1 og 2 har levert.


• Student nr n får se gjennom koden som student nr 1, 2 og 3 har levert.

Med dette opplegget får alle studenter se gjennom hva som er gjort i 3 andre prosjekter, og alle får 3 tilbakemeldinger.

Hva skal kommentarene inneholde? Når studentene vurderer et annet prosjektarbeid, skal de fylle ut et skjema (webbasert) med kommentarer på følgende ting: Funksjonalitet i løsningen, brukervennlighet, eventuelle bugs, kodens kvalitet, totalinntrykk og så videre. Det skjer anonymt, men likevel er det viktig at en skriver konstruktivt og at hver enkelt tar de tilbakemeldinger en får fra andre på en konstruktiv måte. Dette er en fin mulighet til å lære noe ekstra og bearbeide stoffet i ettertid. Faglærer ser også på hva som er gjort, og det er faglærer (ikke medstudentene) som bestemmer om det er bestått eller ikke besått.

Oppsummert betyr det at kommentarene til for eksempel student nr 8 (fra student 5, 6 og 7) vil faglærer sende tilbake til student nr 8, sammen med faglærers egen vurdering av om prosjektet til nr 8 er bestått eller ikke bestått. Det betyr at student 8 får: Bestått-status fra faglærer og 3 kommentarer fra medstudenter.

Unntak
Hva om noen ikke ønsker å gjøre dette? Medstudentvurdering tar litt tid (kanskje 1-2 timer x 3 prosjekter en skal se på). Erfaringer tilsier at det er utrolig lærerikt. Det kan likevel være grunner til at enkelte studenter ikke ønsker å delta i et slikt medstudentvurderingsopplegg. De som har en god grunn for å ikke delta, må ta kontakt med faglærer, begrunne hvorfor og gjøre en avtale om å programmere noen utvalgte XTRA-punkter i stedet. Slik blir det rettferdig tidsmessig.

Dine innspill er nyttige
Hva tror du om dette opplegget? Vil det fungere? Er det fallgruver eller ting som kunne vært gjort anderledes? Dine innspill er nyttige. Faglærer skal nå i gang med å dele ut besvarelsene til alle studentene (altså er vi kommet til steg nr 3. Det blir veldig spennende og du kan lese om hvordan det gikk i et kommende innlegg.

Tirsdag 27.april 2010, Svend Andreas

Kravspesifikasjon studentsystem

Hei - som lovet - her er et første forsøk på en kravspesifikasjon. Mye kan absolutt forbedres, men jeg synes det er viktig å få skissen ut da tiden er knapp! Velkommen med forslag!! - og husk at frist for SA er 28.2.





TEST-EKSEMPEL er Tema ”Læring” (ett tema av 14) i kurset Organisasjonsatferd (BI)

Utvikling av en kravspek til system for studentoppgave HIST
Utgangspunkt: 1 LUF av gangen – input til systemet er styrende for valget av verktøy.

I Input til systemet (dvs gitte rammer) – alternativer i parantes
1. LUF: ”kunne drøfte forholdet mellom erfaring og læring”
(alternative verb fra LO-verbliste . Men også synonyme verb?)
2. Eksamensform: skriftlig (muntlig, fagoppgave, hjemmeeksamen, Flervalgseksamen…?)
3. Eksamenstype: drøfting (redegjørelse, beregne, forklaring…?)
4. Klassestørrelse: 400 (20, 50, 100, 400)
5. Rom: plenumsauditorium (lab, virtuelt, grupperom)
6. Antall fasilitatorer: 1 lærer (flere lærere, studentassistenter, ingen)
7. Bruk av LMS: ja (nei, kombinasjon)

II Verktøykassa (dvs alle aktiviteter beskrevet utfra 10-20 tagger)
I en base finnes X-antall vurderingsaktiviteter/verktøy som alle er registrert og koblet sammen inn i systemet vha tagger. Vi har 13 aktiviteter foreløpig i prosjektet.
Verktøyene / Tilbakemeldingsaktivitetene lagres ala dette:
1. Flervalgstest med automatisert tilbakemelding:
a. 1-400 studenter
b. ingen fasilitatorer
c. aktuelle verb: XX YY ZZ
d. Ja til LMS ***
e. Passer til: Begrepsinnlæring, pugging, beregninger osv
f.

2. Medstudentrespons med vurderingskriterier og karakter
a. 1-400 studenter
b. 1 lærer før og etter
c. aktuelle verb: XX YY ZZ
d. Ja til LMS *
e. Passer til: erfaringsutveksling, lære av hevrandre, øve seg på vurdering
f.

3. Egenvurdering med vurderingskriterier
a. 1-400 studenter
b. 1 lærer før og etter
c. aktuelle verb: XX YY ZZ
d. Ja til LMS**
e. Passer til: øve seg på vurdering av eget arbeid, bruk av vurderingskriterier,
f.

4. Øvingsoppgave m/plenumstilbakemelding
a. 1-400 studenter
b. Ingen fasolitator
c. aktuelle verb: XX YY ZZ
d. Ja til LMS (fasit legges ut automatisk etter at øvingen er sendt inn)
e. Passer til:
f.

5. One-minute paper
a. 1-400 studenter
b. 1 lærer
c. aktuelle verb: XX YY ZZ
d. LMS *
e. Passer til: Refleksjon på egen læring, tilbakemelding til lærer
f.
*) = fungerer mer eller mindre godt

Verktøyene kan tagges bl a ved følgende begreper fra våre beskrivelser:
1. NAVN (på aktiviteten)
2. FORMÅL (den pedagogiske hensikten med aktiviteten)
3. BESKRIVELSE (av aktivitet)
4. EKSEMPLER PÅ BRUK (vår piloterfaring og andres erfaringer)
5. FORDELER (hvilke pedagogiske fortinn har metoden)
6. PASSER SAMMEN MED (hvilke andre typer aktiviteter passer den sammen med)
7. RESSURSBRUK (hva kreves av rom, tidsbruk lærer, materiell osv)
8. AWARENESS (hva skal vi være obs på med aktiviteten)
9. TIPS (diverse tips og gode råd for gjennomføring av aktiviteten)
10. REFERANSER (lenker og referanser til forsking og praksis)

III Output fra systemet (dvs en forslagsliste med aktiviteter)
Systemet kobler input med verktøyene og foreslår (output) relevante aktiviteter :
Input: Klassestørrelse (400) + ressurser (1 lærer) + verb i LUF (definere) +osv

Verktøykasse - datasystem

ASSESS-prosjektet skal vi lage en verktøykasse. Den står beskrevet her:
verktøykasse i ASSESS-prosjektet

Jeg er faglærer i PHP, et fag hvor studentene blant annet skal lage et webbasert system. Studentene kan få i oppgave å lage et system som kan brukes i ASSESS-prosjektet. Med andre ord: Et system for å støtte opp under formativ vurdering, læringsutbytter eller andre ting. Studentene kan få til det meste.

Det er nødvendig å formulere en passende studentoppgave i løpet av de nærmeste ukene. Her må jeg ha input. Hva er ønskelig? Hvilke krav stiller vi til et slikt system? Hva trenger vi hjelp av et system for å løse? Er vi ute etter et slags veiviser-system som sprer erfaringer og beste praksis om hvordan en kan planlegge og gjennomføre prosessvurdering på en god måte? Eller er det kanskje behov for et system som hjelper læreren å få oversikt i sitt fag, og tips/ideer til å sy sammen ulike aktiviteter som passer godt sammen? Trenger vi et system som kan være til hjelp i arbeidet med å sette sammen elementer (læringsutbytter, virkemidler, ressurser)?

Alle innspill er verdifulle. Still gjerne nye spørsmål! Hva mener du? Bruk kommentarfeltet aktivt. Er du ikke med i prosjektet, så er du hjertelig velkommen til å komme med innspill eller spørsmål.

Finnes verktøy for medstudentvurdering i læringsplattformene?

Medstudentvurdering er en aktuell metode i studentenes læringsprosess. I prosjektet ASSESS-2010 prøvde vi ut medstudentvurdering i en innlevering i emnet ITL111 Digital kompetanse for lærere ved HiNT. Opplegget var at hver student skulle utvikle en flervalgstest for bruk i eget fag i skolen, og med bruk av pensum for å utvikle gode flervalgstester. Studenten skulle videre lage et notat med presentasjon av flervalgstestens innledning og seks utvalgte spørsmål fra flervalgstesten med faglig begrunnelse. Notatformen ble valgt fordi deltakerne brukte ulike læringsplattformer for å utvikle sine flervalgstester, og relevant tilgang til andre skolers læringsplattform er ikke lett å administrere. Notatformen ga også en klar avgrensning på oppgaven og muligheter til å begrunne de faglige valgene med spørmsålene.

Dette notatet skulle deretter gjøres tilgjengelig for en gruppe studenter for medstudentvurdering i kursets fronterrom ved HiNT. Poenget var at hver student skulle vurdere og gi tilbakemelding på minimum tre andre innleveringer slik at dette blir synlig for mottaker av tilbakemeldingen. Hvordan kan dette gjøres i Fronter?

En opplagt kandidat er verktøyet for innlevering i Fronter. Men i dette verktøyet har studentrollen bare innleveringsrettighet og du må ha lærerrettighet for å gi kommentarer til innleveringene. Innleveringsverktøyt i Fronter bør derfor videreutvikles slik at man kan velge å gi lese- og kommentarrettigheter fra medstudenter.

Vi måtte derfor opprette en ordinær arkivmappe "Innlevering flervalgstest" med undermapper for hver studentgruppe. Her fikk studentene skrivetilgang slik at de kunne legge ut sitt dokument. Jobben med oppretting av spesifikke arkivmapper til gruppene ble derfor et merarbeid for lærerne. Til vurderingsarbeidet var det oppgitt et sett med vurderingskriterier som studentene skulle bruke i sin medstudentvurdering. Vi anbefalte studentene å opprette et forum for å gi tilbakemeldingene, og flere grupper brukte dette verktøyet. Alternativt valgte noen grupper å legge ut sine tilbakemedlinger som worddokumenter.

Konklusjonen er at Fronter så langt ikke har spesifikke verktøy for å bruke medstudentvurdering i læringsprosessen, men at bruk av vanlige arkivmapper og forumverktøy kan gi en alternativ men litt tungvint løsning på dette behovet. Hvordan kan andre læringsplattformer bidra til gjennomføring av medstudentvurdering?

Forelesningen, forberedelser og tilbakemelding

I helgen var jeg på kurs i universitets- og høyskolepedagogikk med danske Bjarne Herskin. Temaet var planlegging og gjennomføring av forelesningen. I ASSESS2010 bruker vi Biggs modell om ”constructive alignment” eller ”samstemt undervisning” i forhold til å planlegge undervisning på kursnivå. Herskins metode minnet meg om Biggs modell, men nå på forelesningsnivå, og den er absolutt en forlengelse av Biggs tankebane.
I forenklet versjon: Forelesningstimen ble brutt ned i en såkalt ”poenganalyse”. Hver undervisningstime bygges opp rundt ca 3-5 poenger. Et ”poeng” kan karakteriseres som forelesers forsøk på å nå forståelse hos studentene. Poenget bygges opp ved hjelp av ulike verktøy fra en verktøykasse (ikke ulikt ASSESS2010’s ide!) sortert i tre rom: eksempler, dialog og visuelle virkemidler. Forelesningens ramme:
1) Introduksjon og synkronisering av de tilstedeværende - gjerne gjennom en historie som fanger oppmerksomhet og som setter alle i en felles referanseramme for temaet som skal foreleses. Dette kaller jeg ”innsjekking til forelesning”.
2) Forelesning og poenger m/aktiviteter.
3)Avslutning: oppsummering av poengene, intro til neste tema og forberedelser. Eller ”utsjekking” som jeg vil kalle det. En forelesning kan med fordel kreve forberedelser av studentene. Siste del av foregående forelesning bør da introdusere temaet for studentene. Studentene jobber så med forberedelser som igjen blir gjenstand for ulik type tilbakemelding på neste forelesning. Og selvsagt – poengene i forelesningen kan da nås i dialog med studentene og gjennom deres forberedelser.
Dette opplegget er bygget på at studentene skal utvikle forståelse.

Hvordan ligger du an i faget?

Læringsutbytteformuleringer (LUF'er) er formuleringer som brukes for å kommunisere hva som er fokus i faget. Når man først har laget disse, er det fort gjort å gjøre en undersøkelse av hvordan studentene oppfatter at de ligger an.

For faget Internett og sikkerhet (6 studiepoeng) har jeg laget 34 læringsutbytteformuleringer. Mot slutten av inneværende semester laget jeg en frivillig undersøkelse. Studentene fikk spørsmålet "Hvordan ligger du an i forhold tilforventet læringsutbytte i faget?" og skulle vurdere dette for hver enkelt læringsutbytteformulering på en skala 1-6.

Ut fra svarene kunne jeg se hvilke tema som hadde mest behov for oppfølging/repetisjon, og den aktiviteten ble gjennomført siste undervisningsuken i semesteret.

Foruten at undersøkelsen hjalp meg til å få oversikt, ga den også en pekepinn til hver enkelt om hvordan de lå an i forhold til klassegjennomsnittet.

Alle LUF'ene i dette faget om Internett og sikkerhet er listet på assess-wiki.