Discussie over de zin of onzin van steekproeven.
Steekproeven moet je niet toepassen op archief. Dat is kort samengevat de boodschap van collega Ronald van der Steen in diens artikel ‘Niet alles wat telt, kan geteld worden’ in het juninummer van het Archievenblad. Hij plaatst ook een aantal kanttekeningen bij de handleiding steekproeven die het Nationaal Archief enkele jaren geleden ontwikkeld heeft. Zelf was ik als medewerker van het Nationaal Archief nauw betrokken bij het opstellen van deze handleiding. En ga ik hierover graag het debat aan. Vandaar dat ik eerst het artikel van Ronald kort samenvat, vervolgens reageer en tot slot collega’s die ervaring hebben met selectie(lijsten) uitnodig om deel te nemen aan de discussie. Dat alles vormt dan input voor een nieuwe bijdrage in het Archievenblad. Én eventuele aanpassingen van de handleiding.
Net als Ronald start ik met een korte schets van de context voor wie minder vertrouwd is met het onderwerp. Of voor wie even zijn geheugen wil opfrissen.
Met de wijziging van het Archiefbesluit werd in 2013 een nieuwe aanpak van waardering en selectie van overheidsarchieven ingevoerd. Daarop volgde een handreiking voor een bijbehorende nieuwe waarderingsmethodiek, Belangen in Balans. Deze handreiking introduceert verschillende instrumenten om te bepalen of informatie permanent bewaard moet worden, dan wel op termijn vernietigd kan worden. Belangen in Balans vermeldt ook de mogelijkheid van een steekproef op uitvoeringsdossiers, maar geeft verder geen aanwijzingen.
Daarop heeft het Nationaal Archief een aanvullende handleiding steekproeven ontwikkeld, die in 2019 is vastgesteld en gepubliceerd. Met een steekproef wordt een deel van de informatie als permanent te bewaren aangemerkt. Dat is dan nuttig voor uitvoeringsinformatie die te omvangrijk is om in zijn geheel te bewaren, maar ook te waardevol om in zijn geheel te vernietigen.
Ronald argumenteert dat informatie niet geordend is op thema’s, maar op handelingen, c.q. processen en jaargangen. En dat de informatiehuishouding onvoldoende gestructureerd en afgebakend is om een aselecte steekproef op toe te passen. Volgens Ronald moet je dan eerst alle informatie schonen, wat zeer arbeidsintensief is en geen enkele zekerheid biedt dat het eindresultaat - de steekproef dus - een in zijn woorden ‘juist administratief proces … representeert’. Extra argument is volgens hem dat de archiefbeheerder niet de inhoud of kwaliteit kan beoordelen. Ronald is daarom van mening dat áls je al een deel uitvoeringsinformatie wil bewaren, het beter is om een deelverzameling te bewaren, zoals 10% van alle data of tien van 100 strekkende meter papieren archief. Hoe geeft hij niet aan.
Voorts is hij kritisch op de handleiding. Die gaat volgens hem direct de diepte in, maar is qua toepassing dan weer te summier. Een ander punt van kritiek is dat volgens de handleiding de steekproef alleen op semi-statische informatieobjecten toegepast kan worden, zonder dat dit verder toegelicht wordt.
Zijn algemene conclusie is dan ook dat steekproeven niet geschikt zijn voor waardering en selectie van overheidsinformatie. En dat dit het terrein moet blijven van professionals zoals accountants, die in tegenstelling tot archiefbeheerders wél weten met welke onderzoeksrisico’s rekening gehouden moet worden. Twee kaderteksten met casussen illustreren zijn standpunt.
Pittige commentaar dus.
Zelf denk ik dat je het nut van een steekproef niet mag onderschatten. Maar ook niet overschatten. Steekproeven moeten een getrouwe weerspiegeling van een populatie zijn. En die populatie kan inderdaad nooit een thema zijn. Maar wel informatieobjecten, zoals dossiers of data. Doel van een steekproef is dus niet een thema documenteren, maar een mogelijke bron voor dat thema verkrijgen.
Ronald merkt terecht op dat dossiers en data op zich niet of onvoldoende gestructureerd en afgebakend zijn. Maar juist daarom is in de handleiding een aantal mechanismes ingebouwd. Zoals de eis dat de steekproef vastgelegd wordt in de selectielijst, die op zijn beurt aansluit op de eis in het Archiefbesluit dat de selectielijst moet aansluiten op de ordening van de informatieobjecten. Met andere woorden: de steekproef wordt dus niet gekoppeld aan een proces, maar aan de neerslag van dat proces. Het verklaart meteen ook de toepassing op semi-statische informatieobjecten, want daarvan zijn structuur en afbakening wél bekend. Die vooraf schonen is dan weer geen eis: is de inhoud van sommige dossiers in een serie rommelig of erg gevarieerd, dan zal je ook dat terug zien in de steekproef.
Tot slot is de kritiek dat de handleiding erg summier is. Maar dat is een bewuste keuze. De handleiding bevat immers twee scenario’s. Ofwel kies je voor een eenvoudige aselecte steekproef, die je in overleg met het Nationaal Archief zo kan opnemen in je selectielijst. En vervolgens met behulp van een handige calculator toepassen. Ofwel kies je voor een andere, complexere steekproef. Maar dan moet je een statisticus inschakelen. En de methode en cruciale parameters in de selectielijst opnemen en toelichten.
Vraag is dan nog of het niet beter is een deelverzameling te bewaren, zoals Ronald suggereert? Daarop zou ik antwoorden dat 10% van veel nog altijd heel veel kan zijn. En dat die 10% een heel vertekend beeld kan opleveren als je die blind toepast.
Natuurlijk kan de handleiding nog aangepast en uitgebreid worden. Zo willen we graag praktijkervaringen met de toepassing van steekproeven op data ophalen. En van gebruikers horen of de vormgeving beter kan. Maar steekproeven houden volgens mij dus wel degelijk steek.
Maar we zijn dus heel erg benieuwd wat jij als lid van het kennisplatform waardering en selectie denkt. Vind je überhaupt dat uitvoeringsinformatie soms deels bewaard moet (kunnen) worden? Vind je steekproeven nuttig? En wat is je mening over de handleiding? Laat het hieronder weten via de comments!
Illustratie: http://hdl.handle.net/10648/ac17229e-d0b4-102d-bcf8-003048976d84
Samenvatting: In de werkgroep Vervroegd Overbrengen wisselen we kennis en ervaringen uit op het gebied van vervroegd overbrengen. Tijdens de zevende bijeenkomst van de werkgroep op 21 april 2022 passeerden weer verschillende onderwerpen de revue.
Met massaal thuiswerken wordt er bij de Rijksoverheid ook meer gebruik gemaakt van berichtenapps. Maa...
Reacties
Een korte reactie (op verzoek ;) ) vanuit mijn ervaring als historicus: als onderzoeker ben je al lang blij als er iets bewaard is dat je kan helpen in je zoektocht en zul je hoe dan ook moeten reflecteren op hoe representatief dat bronmateriaal dan is. Of een selectie bronnen, of dat nu het resultaat is van een aselecte steekproef of een random 10% van het bestand, nu helemaal wiskundig representatief is of niet is een vrij theoretische vraag. Natuurlijk goed om te stellen, maar het kan goed zijn dat een (wiskundig meestal weinig onderlegde) historicus uit een door het archief zorgvuldig samengestelde steekproef alsnog op eigen houtje een steekproef/selectie maakt. Daarnaast is het niet zo dat historici alleen feitelijke informatie over 'het uitvoeringsproces' willen weten maar ook juist zoeken naar welke rol dat proces speelde en hoe het ervaren werd, en dus ook naar zaken als taalgebruik, de gebruikte categoriseringen en verzwegen zaken. Dan wordt de noodzaak van een perfect representatieve steekproef sowieso minder groot.
Natuurlijk weten we niet wat historici over 100 jaar aan vragen en methodes hebben en zullen onderzoekers uit andere vakgebieden dan historisch onderzoek, met misschien meer kwantitatieve methodes, eigen ideeën hebben. Idem voor onderzoek in de sfeer van onderzoeksjournalistiek, WOB/WOO en parlementaire enquêtes, die meer de feitelijke gebeurtenissen moeten reconstrueren. Maar ik zou zeggen dat historici flexibel genoeg zijn om te kunnen werken met wat we ze aanbieden. Het belangrijkste is dát er iets bewaard is om mee te werken.
@mielgroten
Dank voor je reactie, Miel! En goed dat je de discussie relativeert en vanuit een breder perspectief bekijkt. Want steekproeven zijn natuurlijk maar één mogelijke manier om informatie blijvend te bewaren. Die je gericht en doordacht moet inzetten.
Maar zelfs als wiskundig weinig onderlegde historicus - waar ik mezelf ook toe reken - zou ik toch een goed gedocumenteerde steekproef verkiezen boven een willekeurig staal. Want dan kan je daar als onderzoeker nog beter over reflecteren. Omdat je dan weet wat het uitgangspunt is. En dus ook het startpunt voor je eigen onderzoek en interpretatie.
Ik moest denken aan een artikel uit Archiefbeheer in de Praktijk van een aantal jaar geleden, toen ik in de redactie zat (zie bijlage). Geeft een goed overzicht van methodes en afwegingen. Hierin wordt opgemerkt: "de steekproef afzweren als selectiemethode is zowel vanuit institutioneel als historisch oogpunt onverantwoord. Dit impliceert immers dat enkel algehele bewaring of vernietiging nog mogelijk zouden zijn." Het artikel is geschreven door Ine Coessens en Wim Heirman, dus ik geef de credits en het podium graag aan hen :-)
Statistische steekproefmethodes.pdf@annemiekedekker
Bedankt voor het delen, Annemieke! Samen met enkele andere, oudere publicaties vormde dit artikel een belangrijke inspiratiebron voor de handleiding.
Voor wie deze discussie gemist heeft wegens vakantie of een drukke agenda. Of dit even uit het oog verloren heeft. En wil dat diens input meegenomen kan worden in de nieuwe bijdrage voor het Archievenblad, waarvoor de deadline voor indiening 20 augustus is: graag ten laatste op 12 augustus reageren.
Voor ons grote uitvoeringsarchief is in onze (nog in concept) selectielijst gekozen een aselecte steekproef toe te passen. De steekproef heeft als doel ‘beeld te krijgen van beleid in de praktijk’. Bij vorige selectielijsten en óók de huidige komt telkens de vraag terug om dikke dossiers als basis te kiezen. Ik ben geen inhoudsdeskundige van de dossiers, maar ik weet wel dat dik niet direct gelijk staat aan belangrijke inhoud. Ja, er is mogelijk veel te doen geweest, maar is veel te doen geweest de dagelijkse praktijk binnen de organisatie? Naar mijn mening kan dit juist een verkeerd beeld geven van de vertaling ‘beleid in de praktijk’. De dossiers zijn inhoudelijk gevarieerd wat ook inzichtelijk zal zijn als de aselecte steekproef is genomen. Door de aselect steekproef heeft elk dossier binnen de populatie evenveel kans getrokken te worden, als een soort tombola. Juist om te voorkomen dat je dossiers uitsluit, toevoegd of op basis van andere criteria gaat selecteren.
Het moet tevens uitvoerbaar blijven, waarbij 10% echt zeker nog heel veel is en zoals ik het nu zie, niet meer zal opleveren dan via de methodiek van de aselecte steekproef.
@simonehensen
Dank voor je bijdrage Simone! Waarin je duidelijk aangeeft wat volgens jou de meerwaarde is van de aselecte steekproef. En terecht opmerkt dat je daarmee voorkomt dat je bij de selectie andere, meer subjectieve criteria zoals dikte toepast.
Het blijft overigens wel mogelijk om na(ast) de steekproef ook andere selectiemethoden toe te passen. Zo kan je eerst een steekproef trekken en vervolgens bekijken of daarbovenop nog dossiers van vernietiging uitgezonderd moeten worden. Denk aan hotspots en andere uitzonderingscriteria, zoals bijzondere personen. Zolang je beide strikt gescheiden houdt en goed documenteert.
Ik merk nu wel dat dit een nuance is die in de handleiding van het Nationaal Archief ontbreekt. Dat zou dus een goede aanvulling kunnen zijn. Heb je zelf op basis van je ervaringen nog suggesties ter verbetering van de handleiding, geef die dan zeker hier door!