Mening gevraagd: houden steekproeven steek?

Waarom deze blog?

Steekproeven moet je niet toepassen op archief. Dat is kort samengevat de boodschap van collega Ronald van der Steen in diens artikel ‘Niet alles wat telt, kan geteld worden’ in het juninummer van het Archievenblad. Hij plaatst ook een aantal kanttekeningen bij de handleiding steekproeven die het Nationaal Archief enkele jaren geleden ontwikkeld heeft. Zelf was ik als medewerker van het Nationaal Archief nauw betrokken bij het opstellen van deze handleiding. En ga ik hierover graag het debat aan. Vandaar dat ik eerst het artikel van Ronald kort samenvat, vervolgens reageer en tot slot collega’s die ervaring hebben met selectie(lijsten) uitnodig om deel te nemen aan de discussie. Dat alles vormt dan input voor een nieuwe bijdrage in het Archievenblad. Én eventuele aanpassingen van de handleiding.

Wat is de context?

Net als Ronald start ik met een korte schets van de context voor wie minder vertrouwd is met het onderwerp. Of voor wie even zijn geheugen wil opfrissen.

Met de wijziging van het Archiefbesluit werd in 2013 een nieuwe aanpak van waardering en selectie van overheidsarchieven ingevoerd. Daarop volgde een handreiking voor een bijbehorende nieuwe waarderingsmethodiek, Belangen in Balans. Deze handreiking introduceert verschillende instrumenten om te bepalen of informatie permanent bewaard moet worden, dan wel op termijn vernietigd kan worden. Belangen in Balans vermeldt ook de mogelijkheid van een steekproef op uitvoeringsdossiers, maar geeft verder geen aanwijzingen.

Daarop heeft het Nationaal Archief een aanvullende handleiding steekproeven ontwikkeld, die in 2019 is vastgesteld en gepubliceerd. Met een steekproef wordt een deel van de informatie als permanent te bewaren aangemerkt. Dat is dan nuttig voor uitvoeringsinformatie die te omvangrijk is om in zijn geheel te bewaren, maar ook te waardevol om in zijn geheel te vernietigen.

De argumenten tegen steekproeven

Ronald argumenteert dat informatie niet geordend is op thema’s, maar op handelingen, c.q. processen en jaargangen. En dat de informatiehuishouding onvoldoende gestructureerd en afgebakend is om een aselecte steekproef op toe te passen. Volgens Ronald moet je dan eerst alle informatie schonen, wat zeer arbeidsintensief is en geen enkele zekerheid biedt dat het eindresultaat - de steekproef dus - een in zijn woorden ‘juist administratief proces … representeert’. Extra argument is volgens hem dat de archiefbeheerder niet de inhoud of kwaliteit kan beoordelen. Ronald is daarom van mening dat áls je al een deel uitvoeringsinformatie wil bewaren, het beter is om een deelverzameling te bewaren, zoals 10% van alle data of tien van 100 strekkende meter papieren archief. Hoe geeft hij niet aan.

Voorts is hij kritisch op de handleiding. Die gaat volgens hem direct de diepte in, maar is qua toepassing dan weer te summier. Een ander punt van kritiek is dat volgens de handleiding de steekproef alleen op semi-statische informatieobjecten toegepast kan worden, zonder dat dit verder toegelicht wordt.

Zijn algemene conclusie is dan ook dat steekproeven niet geschikt zijn voor waardering en selectie van overheidsinformatie. En dat dit het terrein moet blijven van professionals zoals accountants, die in tegenstelling tot archiefbeheerders wél weten met welke onderzoeksrisico’s rekening gehouden moet worden. Twee kaderteksten met casussen illustreren zijn standpunt.

Pittige commentaar dus.

De argumenten voor steekproeven

Zelf denk ik dat je het nut van een steekproef niet mag onderschatten. Maar ook niet overschatten. Steekproeven moeten een getrouwe weerspiegeling van een populatie zijn. En die populatie kan inderdaad nooit een thema zijn. Maar wel informatieobjecten, zoals dossiers of data. Doel van een steekproef is dus niet een thema documenteren, maar een mogelijke bron voor dat thema verkrijgen.

Ronald merkt terecht op dat dossiers en data op zich niet of onvoldoende gestructureerd en afgebakend zijn. Maar juist daarom is in de handleiding een aantal mechanismes ingebouwd. Zoals de eis dat de steekproef vastgelegd wordt in de selectielijst, die op zijn beurt aansluit op de eis in het Archiefbesluit dat de selectielijst moet aansluiten op de ordening van de informatieobjecten. Met andere woorden: de steekproef wordt dus niet gekoppeld aan een proces, maar aan de neerslag van dat proces. Het verklaart meteen ook de toepassing op semi-statische informatieobjecten, want daarvan zijn structuur en afbakening wél bekend. Die vooraf schonen is dan weer geen eis: is de inhoud van sommige dossiers in een serie rommelig of erg gevarieerd, dan zal je ook dat terug zien in de steekproef.

Tot slot is de kritiek dat de handleiding erg summier is. Maar dat is een bewuste keuze. De handleiding bevat immers twee scenario’s. Ofwel kies je voor een eenvoudige aselecte steekproef, die je in overleg met het Nationaal Archief zo kan opnemen in je selectielijst. En vervolgens met behulp van een handige calculator toepassen. Ofwel kies je voor een andere, complexere steekproef. Maar dan moet je een statisticus inschakelen. En de methode en cruciale parameters in de selectielijst opnemen en toelichten.

Vraag is dan nog of het niet beter is een deelverzameling te bewaren, zoals Ronald suggereert? Daarop zou ik antwoorden dat 10% van veel nog altijd heel veel kan zijn. En dat die 10% een heel vertekend beeld kan opleveren als je die blind toepast.

Natuurlijk kan de handleiding nog aangepast en uitgebreid worden. Zo willen we graag praktijkervaringen met de toepassing van steekproeven op data ophalen. En van gebruikers horen of de vormgeving beter kan. Maar steekproeven houden volgens mij dus wel degelijk steek.

Wat denk jij?

Maar we zijn dus heel erg benieuwd wat jij als lid van het kennisplatform waardering en selectie denkt. Vind je überhaupt dat uitvoeringsinformatie soms deels bewaard moet (kunnen) worden? Vind je steekproeven nuttig? En wat is je mening over de handleiding? Laat het hieronder weten via de comments!

Illustratie: http://hdl.handle.net/10648/ac17229e-d0b4-102d-bcf8-003048976d84