Beoordelingsmethodieken

Het geven van cijfers is een manier om te beoordelen. Leerkrachten kijken naar de tekst als geheel en geven een oordeel aan de hand van een gevoel. Dit is een redelijk snelle manier om een tekst te beoordelen, maar zoals uit de inleiding al blijkt is deze holistische manier van beoordelen niet altijd betrouwbaar. Beoordelaars kunnen van mening verschillen over de elementen uit de tekst die de kwaliteit bepalen. Daarnaast spelen irrelevante aspecten een rol bij het geven van een oordeel: een leerkracht kan, bewust of onbewust, een tekst met een slecht handschrift lager beoordelen dan een tekst die keurig is verzorgd. 
Naast het holistisch beoordelen kan een tekst ook op een analytische wijze worden bekeken. Er wordt dan gewerkt aan de hand van criterialijsten waarin deelaspecten van de tekst beoordeeld worden. Het oordeel op alle afzonderlijke aspecten vormt samen de beoordeling van de gehele tekst. Deze wijze van beoordelen geeft leerkrachten vaak meer houvast en de kans is groter dat verschillende beoordelaars op dezelfde manier naar de tekst kijken. Deze manier van werken is echter erg tijdrovend en is het de vraag of alle relevante elementen in één criterialijst kunnen worden beschreven. Een leerlingtekst kan onverwacht kwaliteiten bevatten die niet in de vooraf opgestelde lijst is meegenomen. Geeft de optelsom van de verschillende elementen wel een goed beeld van de kwaliteit van de tekst als geheel?

Aan beide manieren van beoordelen kleven nadelen. Een middenweg kan gevonden worden in het werken met een schaal als beoordelingsmodel. Hierbij vergelijkt de leerkracht de leerlingtekst met vijf in kwaliteit opklimmende voorbeeldteksten op de schaal en kan gebruikmaken van de beschreven plus- en minpunten van de voorbeeldteksten. De tekst wordt dus als geheel bekeken, maar de leerkracht krijgt wel richtlijnen om tot een gefundeerd oordeel te komen. Deze manier van werken lijkt een effectieve manier om tot valide en betrouwbare oordelen te komen (Bouwer & Koster, 2016). Dit was aanleiding voor het leernetwerk om zelf een beoordelingsschaal te ontwikkelen bij de al door het netwerk ontwikkelde materialen over verhalend en betogend schrijven. We hebben verschillende stappen doorlopen om tot een betogende en verhalende schaal te komen

We zijn gestart met het verzamelen van leerlingenteksten. Hiervoor is een verhalende en betogende opdracht gemaakt en deze is gemaakt door leerlingen van groep 5 tot en met 8 van zeven scholen. Dit leverde in totaal 233 verhalende en 209 betogende teksten op. 

Al deze teksten zijn in D-PAC geplaatst: een digitaal programma waarin wordt gewerkt met paarsgewijs beoordelen. Bij deze methode worden twee willekeurige teksten met elkaar vergeleken. Beoordelaars geven aan welke van beide teksten zij beter vinden. Dat doen zij op een holistische manier, waarbij ze vooraf geïnstrueerd worden over belangrijke aspecten waarop ze kunnen letten. In totaal hebben 20 beoordelaars in D-PAC gewerkt. 

Op deze wijze is iedere tekst meerdere malen met een andere tekst vergeleken, waardoor er een betrouwbare rangorde ontstond. Deze rangorde toonde ons welke teksten de minste en meeste kwaliteit hadden en werd als bron gebruikt om tot de ankerteksten te komen. Uit de rangorde zijn teksten gehaald die mogelijk als ankertekst op de schaal gebruikt kunnen worden. Hieruit is een keuze gemaakt voor de teksten die het meest geschikt zijn om daadwerkelijk als ankertekst te gebruiken. Ankerteksten moeten namelijk aan bepaalde eisen voldoen. Belangrijk is dat er weinig variatie in het oordeel van de verschillende beoordelaars is: de standaarddeviatie van de tekst mag niet te groot zijn. Als de beoordelaars in D-PAC vaak ver uit elkaar liggen in het oordeel over de tekst, dan is de tekst niet geschikt als ankertekst. Uiteindelijk zijn er voor iedere schaal vijf ankerteksten geselecteerd en zijn bij al deze teksten plus- en minpunten geformuleerd op het gebied van communicatieve effectiviteit, inhoud, structuur en taal. Onderstaande afbeelding toont de betogende schaal. Bovenaan zijn de vijf ankerteksten opgenomen en onderaan staan de bijbehorende plus- en minpunten. 

Een tekst van een leerling kan beoordeeld worden door te eerst te kijken naar de ankerteksten. Welke ankertekst heeft ongeveer dezelfde kwaliteit? En is de tekst van de leerling misschien beter of slechter dan deze tekst? Bij twijfel kan er gekeken worden naar de plus- en minpunten. Uiteindelijk krijgt de tekst een plek op de lijn, waarbij de tekst ook tussen twee schaalpunten in kan worden geplaatst. 

Even proberen

Probeer het eens zelf, kunt u de leerlingtekst getoond in de afbeelding hieronder een passende plek geven op de schaal? Bekijk daarna het filmpje waarin wordt uitgelegd welke plek de tekst zou kunnen krijgen.

Toetsboek

Met de schalen kan een oordeel worden gevormd over de kwaliteit van een leerlingtekst. Ze bieden echter ook mogelijkheden om de schrijfontwikkeling van kinderen op langere termijn te volgen en de voortgang te meten. Om de schalen op deze wijze in te kunnen zetten is in het leernetwerk een toetsboek ontwikkeld. In dit toetsboek zijn voor de groepen 4 tot en met 8 toetstaken opgenomen. Deze taken zijn zo gemaakt dat de teksten die leerlingen erbij schrijven goed vergeleken kunnen worden met de ankerteksten op de schalen. Ieder jaar wordt er een toetstaak ‘verhalen’ en een toetstaak ‘betogen’ afgenomen. De leerkracht beoordeelt de tekst op de schaal en noteert de score. In het meest ideale geval scoort de leerling ieder jaar hoger en ‘schuift hij door’ op de schaal. Door telkens de score vast te leggen in een lijngrafiek kan de ontwikkeling van de leerling in kaart worden gebracht. 

Neem een kijkje in het toetsboek. 

Met de ontwikkeling van het toetsboek is er een compleet en praktisch beoordelingsproduct ontstaan voor verhalende en betogende teksten. Klaar om gebruikt te worden!