tirsdag 27. april 2010

Opplegg for medstudentvurdering

I faget "LV197D Webprogrammering i PHP" skal studentene våren 2010 gjennomføre et lite prosjektarbeid. Det kan gjøres individuelt eller de kan samarbeide to og to om de vil det (det er nettstudenter som er spredt over hele landet og ønsker fleksibel jobbing).

Tidligere har lærer (undertegnede) brukt mye tid på vurdering. Nå er det på tide med et nytt opplegg, inspirert av prosjektet ASSESS 2010 generelt og Hugo/Sonja/Robin spesielt. Nemlig medstudentvurdering.

Prosessen kort forklart
Steg 1: Programmering
De leser oppgaven, planlegger en løsning og programmerer denne innen fristen.

Steg 2: Innlevering av produktet (i it´s learning)

Steg 3: Medstudentvurdering
Hver student skal se på arbeidet som tre andre studenter har gjort og gi tilbakemeldinger til disse.

Hvorfor medstudentvurdering?
Fordi:

  • Det er lærerikt å se gjennom kode og evaluere et system som andre har programmert.

  • Hver enkelt får tilbakemeldinger fra tre andre studenter, og lærer trolig mye av å se på tilbakemeldingene.

  • Det vil trolig være motiverende å vite at andre skal se på, og kommentere koden en har laget.

  • Faglærer har opp gjennom årene vurdert mange studentarbeider. Det er veldig lærerikt, både fordi en ser hvordan andre arbeider og tenker, og fordi en lærer seg å analysere kvalitet på et system. Hvorfor skal bare læreren få trening i denne viktige kompetansen? :-)



Hvordan skjer medstudentvurderingen i praksis?
Alle må levere inn prosjektet innen tidsfristen. Når fristen er gått ut vil faglærer anonymisere studentene og nummerere innleveringene som nr 1 til n. Deretter vil faglærer sende ut det hver enkelt har laget til tre andre studenter som skal se på, og kommentere det som er gjort. Fordelingen skjer etter følgende opplegg:

  • Student nr 1 får se gjennom koden som student nr 2, 3 og 4 har levert.

  • Student nr 2 får se gjennom koden som student nr 3, 4 og 5 har levert.

  • Student nr 3 får se gjennom koden som student nr 4, 5 og 6 har levert.

  • ... og så videre for totalt ”n” antall studenter, der en biter seg i halen på slutten:

  • Student nr n-2 får se gjennom koden som student nr n-1, n og 1 har levert.

  • Student nr n-1 får se gjennom koden som student nr n, 1 og 2 har levert.

  • Student nr n får se gjennom koden som student nr 1, 2 og 3 har levert.


Med dette opplegget får alle studenter se gjennom hva som er gjort i 3 andre prosjekter, og alle får 3 tilbakemeldinger.

Hva skal kommentarene inneholde? Når studentene vurderer et annet prosjektarbeid, skal de fylle ut et skjema (webbasert) med kommentarer på følgende ting: Funksjonalitet i løsningen, brukervennlighet, eventuelle bugs, kodens kvalitet, totalinntrykk og så videre. Det skjer anonymt, men likevel er det viktig at en skriver konstruktivt og at hver enkelt tar de tilbakemeldinger en får fra andre på en konstruktiv måte. Dette er en fin mulighet til å lære noe ekstra og bearbeide stoffet i ettertid. Faglærer ser også på hva som er gjort, og det er faglærer (ikke medstudentene) som bestemmer om det er bestått eller ikke besått.

Oppsummert betyr det at kommentarene til for eksempel student nr 8 (fra student 5, 6 og 7) vil faglærer sende tilbake til student nr 8, sammen med faglærers egen vurdering av om prosjektet til nr 8 er bestått eller ikke bestått. Det betyr at student 8 får: Bestått-status fra faglærer og 3 kommentarer fra medstudenter.

Unntak
Hva om noen ikke ønsker å gjøre dette? Medstudentvurdering tar litt tid (kanskje 1-2 timer x 3 prosjekter en skal se på). Erfaringer tilsier at det er utrolig lærerikt. Det kan likevel være grunner til at enkelte studenter ikke ønsker å delta i et slikt medstudentvurderingsopplegg. De som har en god grunn for å ikke delta, må ta kontakt med faglærer, begrunne hvorfor og gjøre en avtale om å programmere noen utvalgte XTRA-punkter i stedet. Slik blir det rettferdig tidsmessig.

Dine innspill er nyttige
Hva tror du om dette opplegget? Vil det fungere? Er det fallgruver eller ting som kunne vært gjort anderledes? Dine innspill er nyttige. Faglærer skal nå i gang med å dele ut besvarelsene til alle studentene (altså er vi kommet til steg nr 3. Det blir veldig spennende og du kan lese om hvordan det gikk i et kommende innlegg.

Tirsdag 27.april 2010, Svend Andreas

9 kommentarer:

  1. Hei - dette ser ut som et vel gjennomtenkt opplegg! Bra at du også har tenkt på "Unntak" - dem er det jo alltid noen av... Jeg vet ikke hva du har presentert for studentene, men jeg tror det er viktig å 1) ha med læringsutbytter (LUF-er) også for medstudentvurderingen (What's in it for studentene - kan de lære noe av sine medstudenter?), og 2) opplæring i bruk av vurderingskriteriene (slik vi har lært fra HINT).
    Ser frem til neste rapport!

    SvarSlett
  2. Og en ting til - selve logistikken på fordeling av oppgaver er en utfordring dersom denne ikke kan automatiseres i LMS-et. Så vidt jeg husker hadde Blackboard en måte å automatisere dette delvis på, men hvordan finne gode løsninger på its? Med klasser på 200-300 blir det mye logistikk for lærer... Noen som har gode ideer her? kombinasjon av manuelt og automatisk?

    SvarSlett
  3. Takk for veldig nyttige innspill. Jeg har ikke tydeliggjort LUF-er for medstudentvurderingen, men hele dette blogginnlegget er i praksis informasjon som er hentet fra oppgaveteksten. Altså ser de punktene "hvorfor medstudentvurdering", men jeg kunne også flettet inn noen relevante LUF-er i faget.

    Opplæring i bruk av vurderingskriteriene er veldig viktig når det gis karakter, men jeg tar det ikke så høytidelig i denne omgang fordi det er godkjent/ikke godkjent. Jeg tenker derimot at skjemaet de skal fylle ut må ha tydelige spørsmål som implisitt får dem til å evaluere på en god måte, og at de i tillegg må få litt instruksjoner på forhånd.

    Det med automatisering er dagens store hodepine. Jeg tenker å gjøre det manuelt, men det legger noen begrensninger. Det beste hadde vært et lite webbasert system. Aha - der har vi neste prosjektoppgave på plass til høstens studenter! Et system for å administrere medstudentvurdering! Det er nemlig det vi trenger. Helst innenfor LMS-et slik du sier Anne. Jeg skal tenke litt og skrive om dette i et senere innlegg.

    SvarSlett
  4. Hei g takk for sist på Stord! Du nevnte jo litt om dette opplegget der og jeg ser at du har konkretisert det ytterligere. Det ser veldig bra ut! Enig med ab i at det er viktig at studentene forstår verdien for dem selv ved å evaluerer andre. Det er nok også en suksessfaktor her at det er obligatorisk (med en unntaksmulighet).
    Det jeg har lyst til å tilføye er at det kan ligge en "fallgruve" i at studentene kan være skeptiske til kvaliteten i responsen de får fra medstudenter. De får jo i tillegg en bestått/ikke bestått fra deg, men likevel. Det vil selvsagt være uaktuelt for deg å kommentere på studentreponsene individuelt, men i en startfase vil det kanskje være nyttig at du leser gjennom og avdekker ev. gjennomgående svakheter ved tilbakemeldingene? At du på bakgrunn av det gir en generell tilbakemelding til hele klassen om hva som du anser som styrker og forbedringspunkter for studenene ved neste korsvei når de igjen skal gi medstudentrespons? Dette er jo ganske nytt for alle, så det er viktig å få en god start ved å luke ut flest mulig "bugs" og på den måten få en brattest mulig læringskurve både for deg og studentene. Hilsen Kristin

    SvarSlett
  5. Takk for nyttige innspill, Kristin. Dette er ting jeg må tenke nøye gjennom og få erfaring med. Jeg bør også lage en evaluering på slutten som ber studentene om å si hvor stor nytte de hadde av tilbakemeldingene. Jeg har jo en hypotese om at det er lærerikt å lese hva andre har skrevet, men det er ikke sikkert det stemmer. Spennende dette her, og nyttig. Sikkert mange andre som har gjort denne øvelsen før, men for min del er dette helt nytt :-)

    SvarSlett
  6. Spennende at du prøver ut dette, Svend Andreas. Når man skal drive medstudentvurdering i store klasser, blir behovet for en automatsert løsning for fordeling av oppgaver og medstudentvurderinger skrikende. Vi har vært litt i dialog med it's learning om dette, og kommer til å forsøke å gi dem scenarie-innspill som kan være nyttige ved utvikling av slik funksjonalitet. Den største nøtten, slik jeg ser det, er at det vil oppstå "tomme hull" dersom det foretas en helautomatisert fordeling og studentene ikke gjør det de skal. Da brytes den logiske kjeden, og ikke alle vil få de tilbakemeldingene de er lovet. En løsning på det kan være å gjøre vurderingen obligatorisk, med alle de formelle kravene som da følger med. Alternativt kunne kanskje funksjonaliteten vært laget sslik at man må "yte for å nyte", altså at man ikke mottar tilbakemelding på egen oppgave før man har gitt fra seg de vurderingene man skal gi til andre.

    SvarSlett
  7. Takk for innspill, Torunn. Du har mange gode poenger. Jeg har satt som krav at de må yte for å få godkjent, så den er forsåvidt grei, men noen kan jo fortsatt trekke seg underveis. Det med å si "yte for å nyte" er uansett gunstig, fordi da vil de ikke bare se på kommentarene som andre har gitt til seg selv og skrive tilsvarende tilbake. Veldig bra idé som absolutt må tas med i et automatisert system.

    SvarSlett
  8. Det er fint at vi får ulike utprøvinger av de enkelte verktøyene, og dette blir en spennende vri. En utfordring er hvor synkront studentene svarer på oppgavene og kan gi tilbakemelding. Vi hadde ei ukes svartid fra innleveringsfrist til medstudentvurdering skulle vært gitt. Her opplevde vi at noen studenter var litt seine med å levere inn sin oppgave, og derved også hadde for knapp tid til å gi tilbakemelding innen den korte frist på ei uke. Det førte til at noen grupper fikk god tilbakemelding, mens andre fikk langt færre tilbakemeldinger på sin oppgave. Og vi vurderte den gitte tilbakemeldinga som en obligatorisk del av vurderinga i emnet. Det kan derfor være lurt at det er obligatoriske med minst to tilbakemeldinger for å få godkjent dette. Du bør i det minste ha en plan for å gi alternativ tilbakemelding for de som ikke får noen av sine medstudenter.

    SvarSlett
  9. Gode poenger, Hugo. Dette skal jeg være oppmerksom på. Tilbakemeldingene er obligatoriske. Jeg lager nå et webbasert system som gjør at de ikke får godkjent før de har gjort alt de skal. Demo kommer i nytt blogginnlegg!

    SvarSlett