Delen via Facebook
Delen via Twitter
Abonneer op RSS feeds
Nieuws Agenda Weblog e-tekstualiteit Achtergrond
Deze site is geinitieerd door:
Joris van Zundert las het proefschrift van Mike Kestemont, en vond: ‘een jaloersmakend goede studie, die de meerwaarde van stylometrie voor het vakgebied duidelijk laat zien’.
‘Also from the fork in the road proceeds a very steep, at times unpaved path veering off at a sharp angle. Not many are able to climb it, but those who do, report back that the few who populate the mostly isolated cabins along it are doing very interesting work. Some say that this work fulfills the old Scholars’ dream of a Northwest Passage. Others point to the small white crosses along the path where the unfit have perished. Some of the stories in circulation are clearly incredible, but these are mostly if not wholly told by those who only pretend to have made the climb. This is the Statistical Analysis Trail.’[1]
Willard McCarty gebruikte in 2006 deze woorden om de plaats van statistisch-computationele benadering in een allegorische schets van het ‘digital humanities’-landschap te duiden. Het is de vraag of Mike Kestemont deze allegorie onder ogen heeft gehad, anders was hij wellicht nooit begonnen aan zijn in mei 2012 verdedigde proefschrift Het gewicht van de auteur. Een onderzoek naar stylometrische auteursherkenning in de Middelnederlandse epiek. Met deze studie presenteert Kestemont zich als een wegbereider van de kwantitatieve literatuuranalyse. Een onderneming die niet zonder professioneel risico is: computationele en kwantitatieve benaderingen zijn nog steeds geen geaccepteerd gemeengoed in de Nederlandse literatuurstudie, ondanks de internationaal stevige reputatie. Met zijn proefschrift wil Kestemont een inleiding op de stylometrie presenteren en een proeve van bekwaamheid op dit gebied binnen de medioneerlandistiek afleveren.
Het proefschrift bestaat uit drie delen, waarvan de portee achtereenvolgens zou kunnen worden omschreven als: ‘Wie heeft mijn polsstok gemaakt?’, ‘Hoe lang is mijn polsstok?’ en ‘Hoe ver kan ik met mijn polsstok springen?’ Het eerste deel is een compacte historie en inleiding op de stylistiek, en dan vooral het gebruik van kwalitatieve argumenten om op grond van stijlovereenkomsten ongeautoriseerde of anonieme teksten toe te schrijven aan bepaalde auteurs. In het verlengde en deels tegenover deze werkwijze stelt Kestemont de stylometrie: de bestudering van stijl en de identificatie van auteurschap op grond van het statistisch of computationeel in kaart brengen van het vocabulaire van teksten. Kestemont laat zien dat juist in de magere overlevering van de Middelnederlandse wereldlijke literatuur – tenslotte niet veel meer dan een collectie boeken die in één enkele verhuisdoos past – kennis over het auteurschap van belang is bij de duiding van teksten. Hij toont ook aan hoe de tot nu toe bedreven stylistiek beperkt en relatief subjectief was in methodiek. De stylometrie wil daar een meer empirisch geïnformeerde methode tegenover zetten. Het is een manier van toewijzen van auteurschap die minder afhankelijk is van het subjectieve gevoel voor stijl van de literair-historisch expert, en ook een methode die geautomatiseerd kan worden en zodoende veel meer data kan verwerken dan voor een individuele expert mogelijk is.
De ‘functor’ (het begrip is afkomstig uit de psycholinguïstiek) vormt een belangrijke kern van deze methodiek. Een functor is een grammaticaal morfeem met een hoge gebruiksfrequentie. Het internationale stylometrische onderzoek heeft de afgelopen decennia laten zien dat het juist deze functors zijn waaraan individuele stijl herkend kan worden, bijna als was het een DNA-code. De oudere stylistiek had daarentegen een voorliefde voor laagfrequente inhoudswoorden. Daartegen spreekt dat het juist die inhoudswoorden zijn waar auteurs het meest bewust invloed op uitoefenen. De frequentie en variatie van het gebruik van functors (‘de’, ‘is’, ‘hij’, ‘-heid’, ‘-ig’ etc.) door auteurs is echter erg stabiel. Als van een auteur de karakteristieke gebruiksfrequentie van dergelijk functors eenmaal bekend is, dan kunnen met grote waarschijnlijkheid teksten die diezelfde regelmaat vertonen aan die auteur worden toegeschreven. Door metingen aan teksten waarvan de auteur bekend is laat Kestemont zien dat deze eigenschap van functors ook opgaat voor Middelnederlandse teksten. Daarbij voert hij de lezer langs de ontwikkeling en toepassing van diverse statistische methoden en begrippen zoals John Burrows’ Delta-procedure voor auteursondersheiding, principal components analysis (PCA), n-grams, feature selection, overfitting en variatiecoëfficiënten. Dat is geen eenvoudige materie, zeker niet voor diegenen die niet ingevoerd zijn in de statistiek. Maar Kestemonts prettige stijl en wijze van uitleggen voeren de volhardende lezer stapsgewijs dieper in in de principes van de stylometrie.
Het tweede deel van de dissertatie houdt zich bezig met het ijken van de methode op Middelnederlandse teksten. Aan de hand van ondermeer een casus van auteursherkenning rond de Spiegel historiael laat Kestemont zien dat de stylometrische principes succesvol kunnen worden toegepast op Middelnederlandse teksten. Nu was dit in meer of mindere mate ook bekend door eerder onderzoek[2], maar een gouden vondst die Kestemont toevoegt aan de methodiek is het gebruik van enkel de rijmwoorden uit de Middelnederlands epische verzen. Kestemont laat zien dat rijmwoorden zich met zekerheid gedragen als functor: zij blijken ‘eilandjes van stabiliteit’ en kenmerkend voor de auteur, zelfs als een werk ons alleen bereikt in afschriften die zijn bewerkt door kopiisten. De bewijsvoering is even elegant als krachtig. Een memory based learning algoritme heeft aan de acht hoogst frequente rijmwoorden genoeg om enkele onderdelen) uit de Spiegel historiael honderd procent correct toe te wijzen aan de ons bekende auteurs Jacob van Maerlant en Filip Utenbroeke. Uiteindelijk voert deze bewijsvoering ons langs diverse statistische technieken naar de slotsom dat de beschrijving van de Gulden Sporenslag in de Spiegel historiael met aan zekerheid grenzende waarschijnlijk niet van Lodewijk van Velthem is. Dit werd al langer vermoed, maar deze vermoedens worden door deze nieuwe technieken ondersteund, en wel op grond van meetbare formele criteria. Een mooi voorbeeld van hoe conventionele en computationele heuristiek elkaar kunnen aanvullen. Bijna terzijde optimaliseert Kestemont voor dit doel de door Karina van Dalen-Oskam en mij ontwikkelde specifieke invulling van John Burrows’ Delta-procedure. Deze ‘Dubbele Delta’ zie ik als een belangrijke technische toevoeging aan het methodisch arsenaal van de stylometrie[3].
Gemiddelde vers-index van de test-windows in de Lancelot-compilatie. De piek valt samen met de Moriaen.
Voor de kniesoor biedt de stylometrie tot hier weinig nieuws: de casussen die Kestemont beschrijft zijn genoegzaam bekend en met een beetje goede wil zou men ze zelfs op grond van het bestaande conventionele hermeneutisch onderzoek ‘opgelost’ kunnen noemen. Hier legt de stylometrie slechts bevestigend een laatste hand aan het attest van auteurschap. Dat verandert wanneer Kestemont in deel III (‘Ongebaande wegen’) zijn pijlen richt op het vlaggenschip van de Middelnederlandse Artur-epiek: de Lancelotcompilatie. Opnieuw is de bewijsvoering zeer omvangrijk en gedetailleerd. Ik beperk me tot een enkel voorbeeld en reproduceer Kestemonts figuur 61 (p. 222): een Dubbele Delta-analyse die overtuigend de verschillende interpolaties (ingelaste narratieven) onderscheidt in deze Arturverhalen-compilatie en meteen de uitzonderingspositie van de Moriaen duidelijk maakt. Vanuit deze gegevens kan Kestemont veel zeggen over Lodewijk van Velthems invloed als compilator en over het al dan niet identieke auteurschap van de kerndelen Roman van Lanceloet, Queeste van den Graale en Arturs doet. Uiteraard is de uitzonderlijke positie van de ingelaste roman Moriaen de reden om deze tekst aan een nader onderzoek te onderwerpen. Een PCA laat zien dat deze tekst stylistisch veel dichter bij ‘niet-Velthemse’ Artur-teksten zoals de Roman van Walewein, Lantsloot vander Haghedochte en Ferguut staat dan bij welke andere epiek dan ook. Dit maakt het noodzakelijk, zoals Kestemont in het laatste hoofdstuk van deel III doet, een hypothese van Klaas Heeroma uit de vroege jaren zeventig van de vorige eeuw tegen het licht te houden. Heeroma stelde dat Moriaen, Lanseloot vander Haghedogte en Karel ende Elegast door dezelfde auteur zijn geschreven. Hij meende de verwantschap tussen de teksten simpelweg te horen. Voor deze in de ogen van collega-filologen veel te subjectieve analyse is hij ongemeen hard aangevallen. Dat zijn dichterlijke intuïtie – want dichter was hij ook – er niet naast zat, wordt nu door de stylometrie bevestigd.
Met zijn studie laat Kestemont zien wat nieuwe stylometrische methoden de medioneerlandistiek te bieden hebben. Met een stortvloed aan overtuigende voorbeelden laat Kestemont steeds weer zien hoe statistiek en conventionele hermeneutiek elkaar aanvullen, in balans houden en elkaars maatstaf kunnen zijn. Hij laat ook zien dat, waar het zicht op auteurschap voor onze huidige heuristiek te vertroebeld raakt, de stylometrie bijna als een microscoop een extra instrument is om nog nauwkeuriger te kijken. Kwantitatief-computationele methoden en technieken worden, aldus Kestemont, in het literair-historisch onderzoek nog vaak als ongeschikt, onaangepast of onbegrijpelijk van de hand gedaan. Zijn studie geeft ons alle reden om dat beeld bij te stellen en vormt in zichzelf een gedegen inleiding op één van de aspecten van kwantitatief-computationele benadering. Een inleiding die allerminst eenvoudig is en een stevige leercurve in zich bergt – dat wel.
Maar er kunnen ook kritische noten worden geplaatst. Allereerst kunnen we erop wijzen dat Kestemont hier en daar wat weinig tegengeluid laat horen. Zo verbaast het me dat hij in deel I bij de algemene inleiding op de stylistiek en de roemruchte casus van de ‘Federalist papers’ niet ook de stevig kritiek van bijvoorbeeld Joseph Rudman verwoordt[4]. Daarin huist het gevaar het beeld te scheppen dat de stylometrie inderdaad een wat zelfingenomen, kritiekloze methode is, en dat is een beeld dat Kestemont naar eigen zeggen juist wil uitbannen. Terecht, want ik ken weinig vakgebieden die zo’n groot wantrouwen in hun eigen methode aan de dag leggen en zich maar al te bewust zijn van de uitdrukking ‘Lies, damned lies, and statistics’. Een uitdrukking waarvan de herkomst onbekend is, maar die aan Mark Twain wordt toegeschreven – wat ironisch mag heten in het licht van het onderwerp van Kestemonts proefschrift: auteursherkenning. Een zelfkritische houding demonstreert Kestemont overigens voortdurend: nergens accepteert hij een berekend resultaat klakkeloos en zonder verdere kritische interpretatie. Hij heeft de goede gewoonte om steeds zijn eigen ongelijk weer te willen bewijzen, totdat hij bij gebrek aan tegenargumenten zijn conclusie wel moet accepteren. Helaas heeft dat ook wel iets vermoeiends. Na de zoveelste parafrase van ‘We mogen echter niet voortvarend zijn in onze interpretatie’ groeit de wens om ook eens een stellige uitspraak te horen. Op grond van de geleverde statistische en inhoudelijke argumenten heeft Kestemont daar vaak alle reden voor. Af en toe lijkt het alsof hij een degelijke eikenhouten boekenplank met zestien keilbouten en een tube montagekit aan de muur bevestigt, er ook nog voor de zekerheid een draagmuurtje onder metselt en er twee tuien naar het plafond aan vastspant, om er vervolgens een boek op te plaatsen en te concluderen: ‘Ik denk dat we misschien wel mogen aannemen dat het boek nu niet door de plank zal storten.’ Maar dat een wetenschapper het meer dan zekere voor het onzekere neemt, mogen we hem niet euvel duiden.
Kestemonts zelfkritische houding wordt vermoedelijk ingegeven door de ook door anderen gedeelde ervaring dat de bewijslast voor nieuwe technieken en methoden altijd zwaarder is dan voor de bestaande heuristiek, omdat zo’n methode zich als het ware moet invechten in een bestaand methodisch instrumentarium. Het is in publicaties van deze aard daarom erg lastig in te schatten hoeveel statistiekachtergrond je moet uitdiepen of hoeveel je er juist van moet abstraheren om overtuigend te zijn. Maar wanneer je er dan voor kiest om de statistische methode uit te diepen, mag bepaalde essentiële informatie niet ontbreken. Helaas komt dat bij Kestemont wel een paar keer voor. Zo ontbreekt bijvoorbeeld op p. 144 een definitie of een verklaring voor het begrip p-waarde (een waarde die bepaalt wanneer een gevonden resultaat significant is, d.w.z. statistisch geen toeval). Een ander voorbeeld is de passage waar de auteur er terecht op wijst dat bij een PCA de gevonden waarden voor de dekking van de data door de principal components gewoon mogen worden opgeteld om een idee te krijgen hoe goed een PCA een bepaalde dataset beschrijft. Het voorbeeld dat hij geeft (op p. 58) telt op tot 89,7%. Dat wil zeggen: deze analyse beschrijft 89,7% van de variatie die we in de betreffende data zien. Dat geeft vertrouwen. Maar de argelozer lezer schrikt dan als hij in volgende casussen opeens dekkingswaarden van slechts 16% ziet. Op dat moment was het nuttig geweest als Kestemont duidelijk had gemaakt dat dat niet betekent dat de andere 84% procent van de data het resultaat tegenspreken. Detailkritiek kan verder geleverd worden op het feit dat Kestemont labels en markeringen in grafieken niet consistent houdt, wat een kleine ergernis is bij het duiden van de PCA-plots. Dergelijke omissies geven de welwillende maar kritische lezer het gevoel dat er soms essentiële puzzelstukken ontbreken om de redeneringen te volgen en te valideren. Van de andere kant: het in alle gevallen afdalen naar die statistiekdetails zou de studie hebben laten uitdijen tot een boekwerk dat dubbel zo dik en waarschijnlijk onverteerbaar uitleggerig zou zijn. Niets had de auteur echter in de weg gestaan om meer te verwijzen naar achtergrondliteratuur over dergelijke statistische methoden. Een serieuzer bezwaar vind ik het ontbreken van een index op dit boek, vooral omdat het uitstekend geschikt is als inleiding op de stylometrie.
Al met al zijn dit voetnoten bij een jaloersmakend goede studie, die de meerwaarde van stylometrie voor het vakgebied duidelijk laat zien en die tot spannende resultaten en nieuwe bewijsvoeringen leidt. Ik meen in Kestemonts werk ook de contouren van een algemene inleiding op de stylometrie voor de literatuurwetenschap te ontwaren, een inleiding die node gemist wordt. Op dit moment ontbreken in dit boek daarvoor nog voorbeelden uit de latere letterkundige periode, en op een aantal punten ontbreekt het nog aan voldoende uitleg over statistische basisbeginselen. Maar de tekst biedt alle aanknopingspunten voor dergelijke uitbreidingen. Ik hoop van harte dat Mike Kestemont die handschoen oppakt, om zodoende het vak een essentiële uitbreiding van het methodische fundament te bieden.
Joris J. van Zundert
Mike Kestemont, Het gewicht van de auteur, Een onderzoek naar stylometrische auteurherkenning in de Middelnederlandse epiek, dissertatie Universiteit Antwerpen 2012. De handelseditie verschijnt in 2013 in de reeks Studies van het gebied van de oudere Nederlandse letterkunde van de Koninklijke Academie voor Nederlandse Taal- en Letterkunde.
Voetnoten
[1] McCarty, W. (2006), ‘An idle fantasy’, Humanist Discussion Group, Vol. 19, No. 684. Centre for Computing in the Humanities, King’s College London. http://dhhumanist.org/Archives/Virginia/v19/0661.html (geraadpleegd op 5 oktober 2012).
[2] Dalen-Oskam, K.H. van & Zundert, J.J. van (2007), ‘Delta for Middle Dutch: Author and copyist distinction in “Walewein”’. In: Literary and Linguistic Computing 22, p. 345-362; doi:10.1093/llc/fqm012.
[3] Overigens zie ik nog steeds spannende ruimte voor verbetering van de procedure door vector cosine distance toe te passen. Wie zich uitgedaagd voelt, zie: Smith, P.W.H., & Aldridge, W. (2011), ‘Improving Authorship Attribution: Optimizing Burrows’ Delta Method.’ In: Journal of Quantitative Linguistics 18-1, pp. 63-88. DOI: 10.1080/09296174.2011.533591.
[4] Zie bijvoorbeeld Rudman, J. (1998), ‘The State of Authorship Attribution Studies: Some Problems and Solutions’. In: Computers and the Humanities 31, pp.351–365, en Rudman, J. (2012). ‘The Twelve Disputed “Federalist” Papers: A Case for Collaboration’. Digital Humanities Conference 2012, July 2012, Hamburg, Germany. Hamburg University. On line: http://www.dh2012.uni-hamburg.de/conference/programme/abstracts/the-twelve-disputed-federalist-papers-a-case-for-collaboration/ (geraadpleegd op 12 oktober 2012).
[…] Lees verder op textualscholarship.nl […]