Met hulp van zo’n programma kunnen studenten hun essay verbeteren vóórdat ze het inleveren. En voor docenten wordt het nakijken daarmee een lichtere taak. Het mes snijdt dus aan twee kanten. Liqin Zhang begon bijna twee jaar terug aan zijn promotieonderzoek bij TELI, de onderzoeksgroep Technology-Enhanced Learning Innovations van het Welten Instituut, met hoogleraar Marco Kalz als promotor. Zhangs belangstelling voor taal in combinatie met kunstmatige intelligentie (AI) bracht hem vanuit de provincie Guangdong in China via de universiteiten van Twente en Groningen naar de Open Universiteit in Heerlen.
Kwaliteit argumentatie beoordelen
Zhang noemt het ‘uitdagend’ een tool te ontwikkelen die voor de leraar de kwaliteit van een tekst kan beoordelen. In eerste instantie ligt zijn doel dan ook iets dichterbij: de komende twee wil hij een model ontwikkelen dat wérkt om de kwaliteit van de argumentatie in essays te analyseren. Hiermee zouden studenten geautomatiseerde feedback kunnen krijgen die hen helpt hun teksten te verbeteren.
Argumentation mining
Liqin Zhang begon zijn onderzoek met een doorlopende enquête* naar de opvattingen van docenten over essays en de moeilijkheden bij het beoordelen. Inmiddels is hij vooral druk met de opbouw van een flinke voorraad geannoteerde Nederlandstalige teksten van middelbare scholieren. Met hulp van collega’s heeft hij nu een database van zo’n dertig essays samengesteld. De annotaties geven aan waar bijvoorbeeld een argument begint of eindigt, of wat het belangrijkste thema van de tekst is. Het achterhalen van die structuur heet argumentation mining en helpt bij het nabootsen van natuurlijke taal door computers (natural language processing).
* niet meer beschikbaar
Algoritmen
Het onderzoeksveld van argumentation mining is recent ontstaan en is zeker voor talen zoals Nederlands nog heel nieuw, zegt Zhang. ‘Je moet voldoende data hebben om dit goed te kunnen doen. Het corpus dat ik nu heb, is voldoende om te testen of het model werkt. Maar voor de verbetering van de kwaliteit heb je nog veel meer data nodig, duizenden teksten.’ Met zijn tekstencorpus kan Zhang in elk geval de algoritmen van het programma gaan ‘voeden’. Naarmate de algoritmen meer ‘leren’ over de opbouw van de argumentatie in een tekst kunnen ze deze beter analyseren en beoordelen.
Meertalige applicatie
Zhang spreekt geen Nederlands, maar dat is geen probleem voor zijn onderzoek, zegt hij. Hij baseert zijn werk op onderzoek van Duitse wetenschappers die een werkend model maakten voor de analyse van Engelstalige teksten. Dit model gebruikt kunstmatige neurale netwerken, die de werking van de hersenen nabootsen, en Word2vec. Daarmee krijgen woorden kenmerken waardoor ze geautomatiseerd in een context kunnen worden geplaatst en herkend. Met deze meertalige applicatie kun je elke taal programmeren, zoals Spaans of Chinees. ‘En om de globale betekenis van een tekst te achterhalen helpt Google Translate’, lacht Zhang.
