OW_Trendsconferentie_head_large.jpg

Sessies

 

Opening Keynote

Beyond Words: How Multimedia Elements in Educational Assessment Shape Students’ Test Experience, Task Processing, and Performance - Marlit Lindner

In the era of digital education, visualizations such as representational or decorative images play an increasingly important role in testing materials in everyday educational assessments, digital learning environments, and large-scale educational monitoring programs. However, to establish targeted design principles for test items, we need to understand the impact of different picture types in the testing context on various parameters. In this keynote, I will present a series of experimental studies from a decade of research that shed light on the cognitive and affective-motivational effects of common pictures in test contexts. We will look at results from student ratings, performance scores, and findings based on process measures such as eye-tracking parameters and response times to explain how different pictures can affect item processing, student engagement, and test outcomes. We will also consider the role of image dynamics and potential interaction effects of learning and testing materials that include multimedia content. Based on the experimental database and recent meta-analytic findings from my lab, I will discuss potential implications for educational practice in designing effective test items with multimedia.

Literatuur ter voorbereiding:
Lindner, M. A. (2020). Representational and decorative pictures in science and mathematics tests: Do they make a difference? Learning and Instruction, 68, 101345. https://doi.org/10.1016/j.learninstruc.2020.101345

Lindner, M. A., Eitel, A., Strobel, B., & Köller, O. (2017). Identifying processes underlying the multimedia effect in testing: An eye-movement analysis. Learning and Instruction, 47(47), 91-102. https://doi.org/10.1016/j.learninstruc.2016.10.007

Ehrhart, T., Hoeffler, T. N., Grund, S., & Lindner, M. A. (2024). Static versus dynamic representational and decorative pictures in mathematical word problems: Less might be more. Journal of Educational Psychology, https://doi.org/10.1037/edu0000821

Parallelsessie 1

  • 1. Adaptief Toetsen - Bas Hemker - CITO
    Een van de manieren om effectief digitaal te toetsen is door middel van adaptieve toetsen. Deze toetsvorm heeft de afgelopen jaren ook de nodige naamsbekendheid gekregen, maar wat is het eigenlijk? In deze lezing ga ik in op de verschillende vormen van adaptief toetsen in de praktijk, waarbij ook de principes en randvoorwaarden aan bod komen.

    Literatuur ter voorbereiding:
    https://cito.nl/media/wjsjiomk/2021_cito_whitepaper_vormen_van_een_adaptieve_toets.pdf
     
  • 2. Exploratief onderzoek naar de invloed multimedia gebruik in toetsitems - Jorik Arts
    Digitale toetsen zijn tegenwoordig niet meer weg te denken uit het onderwijslandschap. Vaak bevatten deze toetsen een mix van tekst en afbeeldingen, met als doel de leerervaring te verrijken. Maar wat is nu eigenlijk de invloed van deze multimediale elementen op de prestaties van studenten? Onderzoek wijst op het zogenaamde Multimedia Effect in Testing: het gebruik van afbeeldingen in toetsitems zou de prestaties van studenten kunnen verbeteren, terwijl tegelijkertijd de perceptie van de moeilijkheidsgraad van de vragen afneemt. Dit fenomeen heeft echter een complex karakter, met onderzoeksresultaten die soms zelfs tegenstrijdig zijn. Eén van de uitdagingen bij het doorgronden van dit fenomeen is de diversiteit in de functionaliteit van de gebruikte afbeeldingen. Bovendien leveren veel studies alleen gegevens op toetsniveau, waardoor het lastig is om te bepalen of de resultaten een algemeen patroon vertonen of voortkomen uit specifieke kenmerken van individuele vragen. Ons verkennend onderzoek werpt een nieuw licht op deze kwestie. We richten ons specifiek op de invloed van de functionaliteit van afbeeldingen (in combinatie met het coherence principe) op prestaties, mentale inspanning en tijdsbesteding op zowel toets- als vraagniveau. Hieruit blijkt dat het Multimedia Effect in Testing geen universeel effect is; slechts een kleine subset van vragen vertoont significante verschillen tussen vragen met alleen tekst en vragen met tekst én afbeeldingen. Ook het gebruik van het coherence principe geeft geen eenduidige verklaring voor de resultaten. Kortom, ons onderzoek benadrukt de complexiteit van het Multimedia Effect in Testing en suggereert dat dit effect contextafhankelijk is.

    Literatuur ter voorbereiding:
    Hu, L., Chen, G., Li, P., & Huang, J. (2021). Multimedia effect in problem solving: A meta-analysis. In (Vol. 33, pp. 1717-1747): Springer. https://doi.org/10.1007/s10648-021-09610-z

    Lindner, M. A. (2020). Representational and decorative pictures in science and mathematics tests: Do they make a difference? Learning and Instruction, 68, 101345. https://doi.org/10.1016/j.learninstruc.2020.101345
     
  • 3. Het effect van het toepassen van principes uit de Cognitieve Theorie van Multimediaal Leren op multimediale toetsing - Danielle Olijerhoek en Michelle van Snippenberg
    In de loop der jaren is er veel onderzoek gedaan naar de manier waarop multimedia kan worden ingezet in het onderwijs en kan bijdragen aan het verbeteren van onderwijs. Dit heeft geleid tot de Cognitieve Theorie voor Multimediaal Leren (CTML). De CTML biedt een kader voor multimedia leren, waarbij wordt aangesloten bij de kennis die er bestaat over hoe mensen leren. De theorie gaat onder andere uit van de aanname dat het werkgeheugen een beperkte capaciteit heeft. Het is dan ook van belang dat wanneer er sprake is van leren, er zo optimaal gebruik wordt gemaakt van het werkgeheugen door onnodige cognitieve belasting te beperken. Dit kan worden bereikt door instructieprincipes uit de CTML toe te passen in een multimediaal ontwerp. Een voorbeeld van zo'n instructieprincipe is het signaleringsprincipe.

    Naar de effecten van het signaleringsprincipe op multimediaal leren is al veel onderzoek gedaan. Wat de effecten van dit principe op multimediale toetsing zijn, is minder bekend. Ons onderzoek heeft zich gericht op deze vraag. Middels een experimenteel onderzoek is onderzocht wat het effect van het toepassen van het signaleringsprincipe is op multimediale toetsing. Het signaleringsprincipe is in ons onderzoek op twee manieren toegepast, namelijk door het toevoegen van pijlen en kleurcodering. In onze presentatie zullen we jullie meenemen in de opzet van ons onderzoek, de achterliggende theorie en de uitkomsten van het onderzoek.

    Literatuur ter voorbereiding:
    Kirschner, P.A., Park, B., Malone, S., & Jarodzka, H. (2016). Toward a Cognitive Theory of Multimedia Assessment (CTMMA). Learning, Design, and Technology. https://doi.org/10.1007/978-3-319-17727-4_53-1

    Lindner, M. A., Eitel, A., Strobel, B., & Köller, A. (2017). Identifying processes underlying the multimedia effect in testing: An eye-movement analysis. Learning and instruction
    47, 91-102. https://doi.org/10.1016/j.learninstruc.2016.10.007

Parallelsessie 2

  • 4. Toetsing & AI - Hubert Vogten & Marjelle Maljaars
    De Open Universiteit is enthousiast over het potentieel van generatieve AI om de manier waarop scripties worden beoordeeld binnen het hoger onderwijs te vernieuwen. Ons doel is om niet alleen de academische schrijfvaardigheid van studenten te verbeteren, maar ook de inhoudelijke kwaliteit van hun werk. Door efficiëntere en effectievere feedbackmethoden te introduceren, willen we zorgen voor een verrijking van de leerervaring van elke student. Met dit doel voor ogen hebben we het pilotproject 'Slim bekeken' gelanceerd, dat begin 2024 van start is gegaan.

    Tijdens onze presentatie zullen we dieper ingaan op wat we hopen te bereiken met 'Slim bekeken'. We zullen de opzet van het project, onze eerste bevindingen en de uitdagingen die we verwachten te ontmoeten, uitgebreid bespreken. Dit is niet alleen een kans voor ons om onze visie en voortgang te delen, maar ook om waardevolle inzichten en suggesties van jullie, ons publiek, te ontvangen.

    We moedigen iedereen aan om actief deel te nemen aan de discussie. Samen kunnen we verkennen hoe haalbaar dit project is, welke uitdagingen we mogelijk tegenkomen, en welke aanbevelingen er zijn voor deze spannende onderneming. Dit gesprek is een uitgelezen kans om samen ideeën te genereren die niet alleen ons project kunnen versterken, maar ook als inspiratie kunnen dienen voor anderen.

    Literatuur ter voorbereiding:
    Jisc. (2023). Artificial Intelligence in Tertiary Education: A summary of the current state of play (3rd ed.). Jisc. https://www.jisc.ac.uk/reports/artificial-intelligence-in-tertiary-education/

    Luo (Jess), J. (2024). A critical review of GenAI policies in higher education assessment: a call to reconsider the “originality” of students’ work . Assessment & Evaluation in Higher Education, 1–14. https://doi.org/10.1080/02602938.2024.2309963

    Liang, W., Zhang, Y., Cao, H., Wang, B., Ding, D., Yang, X., Vodrahalli, K., He, S., Smith, D., Yin, Y., McFarland, D., & Zou, J. (2023). Can large language models provide useful feedback on research papers? A large-scale empirical analysis.
    https://doi.org/10.48550/arXiv.2310.01783

    Jürgensmeier, Lukas and Skiera, Bernd, Generative AI for Scalable Feedback to Multimodal Exercises in Marketing Analytics (January 3, 2024). Available at SSRN: https://ssrn.com/abstract=4683869 or http://dx.doi.org/10.2139/ssrn.4683869
     
  • 5. 'LAMMP: een model voor multimedia assessment ontwerp en onderzoek' - Andrienne Kerkhoffs (Msc)
    In deze presentatie duiken we in het LAMMP-model, een nieuw model dat helpt bij het onderzoeken en ontwerpen van multimediale toetsitems. Goede toetsen bootsen wat je wilt testen zo echt en toegankelijk mogelijk na. Multimedia, waarbij je tekst en beeld combineert, kan hier perfect voor zijn. Maar, hoe ontwerp je nou echt effectieve multimediale toetsitems? De diverse onderzoeken op dit gebied bieden nog geen eenduidig beeld, waarschijnlijk omdat de multimedia-elementen in de bestudeerde toetsitems sterk uiteenliepen qua ontwerp, inhoud en beoogde doelen. Precies om deze reden hebben we LAMMP ontwikkeld. In dit model worden diverse theorieën over toetsing en over de cognitieve en perceptuele verwerking van multimedia op een gestructureerde manier samengebracht. Het is opgebouwd uit vier niveaus die steeds dieper ingaan op een multimediaal toetsitem: van de grote lijnen, zoals de leer- en assessmentcontext, tot aan de specifieke elementen, zoals de keuze van kleuren en vormgeving in afbeeldingen. LAMMP laat zien welke aspecten belangrijk zijn als je multimediale toetsitems maakt, hoe die elementen samenhangen en welke invloed ze kunnen hebben op het verwerken van informatie en het beantwoorden van de toetsvraag.

    Literatuur ter voorbereiding:
    Kirschner, P. A., Park, B., Malone, S., & Jarodzka, H. (2023). Towards a cognitive theory of multimedia assessment (CTMMA) (kirschnered.nl). In M. Spector, B. B. Lockee, & M. D. Childress (Eds.), Learning, Design, and Technology. An International Compendium of Theory, Research, Practice, and Policy (pp. 153-176). Cham, Switzerland: Springer International Publishing AG. https://doi.org/10.1007/978-3-319-17461-7_53

    Dirkx, K. J. H., Skuballa, I., Manastirean-Zijlstra, C. S., & Jarodzka, H. (2021). Designing computer-based tests: Design guidelines from multimedia learning studied with eye tracking. Instructional Science, 49(5), 589-605. https://doi.org/10.1007/s11251-021-09542-9

Afsluitende Keynote

Kwaliteit van toetsing in een digitaal tijdperk - Desirée Joosten

Het realiseren van hoge kwaliteit toetsing is niet eenvoudig en vraagt om doordachte beslissingen in het ontwerp en de uitvoering. Of het nu gaat om het ontwikkelen van relevante toetsvragen, het realiseren van constructive alignment, het opstellen van een toetsbeleid of het professionaliseren van examinatoren, elke keuze heeft gevolgen voor de kwaliteit zoals die door leerlingen, studenten of docenten wordt ervaren.

De steeds verder gaande technologische ontwikkelingen kunnen hierbij ondersteunend zijn. We kunnen bijvoorbeeld tijd- en plaatsonafhankelijk toetsen of studenten direct van feedback voorzien. Maar de digitale mogelijkheden zorgen ook voor dilemma’s ten aanzien van de kwaliteit van toetsing. Kunnen we bijvoorbeeld nog wel schrijfvaardigheid toetsen met een essay?

In deze keynote ga ik aan de hand van verschillende dilemma’s in op de mogelijkheden en onmogelijkheden van technologie op de kwaliteit van toetsing. De dilemma’s worden belicht vanuit de kwaliteitscriteria validiteit, betrouwbaarheid en transparantie (zie Gerritisen-van Leeuwenkamp et al., 2017) en vanuit het perspectief van studenten, docenten of examencommissies.

Literatuur ter voorbereiding:
Gerritsen-van Leeuwenkamp, K., Joosten-ten Brinke, D., & Kester, L. (2017). Assessment Quality in Tertiary Education: An Integrative Literature Review. Studies in educational evaluation, 55, 94-116. https://doi.org/10.1016/j.stueduc.2017.08.001