AI binnen digitaal erfgoed is niet nieuw

10 jun
Tineke van Heijst
·
Aangepast 10 okt
593
1

Dit is blog 15 in de blogreeks over Green IT.

Erfgoedorganisaties gebruiken al vele jaren AI om digitale collecties op nieuwe manieren toegankelijk en doorzoekbaar te maken. Zo willen ze ervoor zorgen dat meer mensen erfgoedschatten kunnen ontdekken, verkennen en gebruiken. In deze blog bekijken we hoe de erfgoedsector AI op dit moment al inzet. Ook bespreken we een paar voorbeeldprojecten.

AI in de Nationale Strategie Digitaal Erfgoed
Het benutten van kansen en mogelijkheden van nieuwe technologieën is een speerpunt in de Nationale Strategie Digitaal Erfgoed. In het werkprogramma worden de volgende ambities geformuleerd: (1)

Het trainen en ontwikkelen van nieuwe algoritmen die zich richten op brede, meerstemmige en participatieve manieren van collectieontsluiting.
Het geschikt maken van datasets voor computationeel en AI-onderzoek door wetenschappers en kennisinstellingen.
Het opzetten van pilots met erfgoedinstellingen en cultuurproducerende instellingen om AI-technieken te verkennen, zoals handschrift-, beeld- en spraakherkenning, natuurlijke taalverwerkingstoepassingen en conceptherkenning.

Kortom, het is aannemelijk dat de toepassing van AI in ons werkveld de komende jaren een vlucht zal nemen.

Toepassingen in de erfgoedsector
De toepassing van AI is eigenlijk helemaal niet nieuw, want er zijn tal van projecten waarin kunstmatige intelligentie al succesvol wordt toegepast. Hier volgen enkele van de meest voorkomende toepassingen in het erfgoedveld, samen met verwijzingen naar concrete projecten om het beter te illustreren.

Beeldherkenning
Een van de meest gebruikte AI-toepassingen in het erfgoedveld is beeldherkenning. Zo heeft Erfgoed Gelderland in 2021 de beeldherkenningtechniek van Googles Vision AI ingezet om afbeeldingen te voorzien van automatisch gegenereerde trefwoorden. (2) Digitaal-erfgoed-coach Tim Stapel legt in een artikel op de website van het NDE uit hoe dit werkt: ‘Het AI-programma analyseert een afbeelding en koppelt daar automatisch gegenereerde trefwoorden aan. Op basis van deze trefwoorden worden andere objecten uit de collecties aan onze sitebezoekers getoond. We willen zo bezoekers die browsen op de site, zonder een gericht doel, dwarsverbanden tussen de collecties in CollectieGelderland laten zien.’ Handmatig was het niet mogelijk geweest om alle afbeeldingen (ongeveer een half miljoen) op deze manier van trefwoorden te voorzien.

Een andere grootschalige toepassing van beeldherkenning is het crowdsourcingplatform ‘Vele Handen’ van softwareleverancier Vitec Memorix (3). Op dit platform kunnen archieven en musea hun gedigitaliseerde collecties ter ontsluiting aanbieden aan het grote publiek. Vrijwilligers kunnen bijvoorbeeld een beeldherkenningsalgoritme trainen door binnen een project de afbeeldingen te voorzien van labels. Of ze kunnen helpen een algoritme te trainen dat oud schrift automatisch kan transriberen door de handgeschreven teksten over te tikken.

Ook het onderzoeksproject ‘Krant en foto’s’ laat zien hoe AI de toegankelijkheid van collecties kan verrijken. Binnen dit project is de fotocollectie van Fotopersbureau De Boer (Noord-Hollands Archief) en Persfotobureau D. van der Veen (Groninger Archieven) verbonden met de publicatie van de foto’s in het Haarlems Dagblad, de IJmuider Courant en Nieuwsblad van het Noorden. Over dit project is een interessante whitepaper verschenen: ‘Krant en foto’s verbonden: een verkenning om kunstmatige intelligentie in te zetten om erfgoedcollecties te verbinden’, gepubliceerd door het NDE. (4)

Gezichtsherkenning
In België heeft meemoo, het Vlaams instituut voor het archief, onderzoek gedaan naar gezichtsherkenning om personen op foto’s en video’s te herkennen. (5) Binnen het FAME-project werden innovatieve technieken getest om de personen makkelijker te kunnen identificeren. Ze maakten gebruik van een open source tool die ze hebben toegepast op verschillende erfgoedcollecties. De focus lag hierbij op publieke figuren, in het bijzonder podiumkunstenaars, wielrenners, politici en activisten. Dankzij deze tool weten ze nu niet alleen wie op welk beeld staat, maar ook wie welke persoon is bij beelden met meerdere personen. (6)

Handschriftherkenning
Een ander voorbeeld van een succesvolle toepassing van AI binnen het erfgoedveld is het project 'De ijsberg zichtbaar maken', uitgevoerd door het Nationaal Archief en het Noord-Hollands Archief. In dit project worden handgeschreven teksten met behulp van AI omgezet naar leesbare informatie voor de computer, ook wel transcriberen genoemd. Binnen het project zijn 1 miljoen scans van de VOC van het Nationaal Archief en 1 miljoen scans van negentiende-eeuwse notarissen omgezet naar eenvoudig leesbare en doorzoekbare teksten. (7)

Spraakherkenning
In Nederland wordt al ruim 20 jaar onderzoek gedaan naar het verbeteren van de doorzoekbaarheid van audiovisuele archieven met spraakherkenning. Al in 2001 werkte Beeld & Geluid, samen met de Universiteit Twente, aan een Europees onderzoeksproject (ECHO), waarin werd onderzocht of automatische spraakherkenning kon worden toegepast. Hoewel de technologie destijds nog niet zo geavanceerd was als nu, bleek al wel dat het automatisch transcriberen van gesproken woorden in audio en video aanzienlijk zou bijdragen aan het toegankelijk maken van archiefmateriaal. (8)

Een concreet project was het MALACH-project, dat ook in 2001 van start ging. Dit project wilde de getuigenissen van Holocaustoverlevenden behouden en voor een breed publiek toegankelijk maken via digitale zoek- en analysesystemen. Vanwege de grote variatie in spraak (verschillende talen, dialecten, emoties in een stem) was het een uitdaging om een technologie te vinden die over de volle breedte van de collectie tot een acceptabel kwaliteitsniveau leidde.

Ook binnen het CLARIAH-project is gestart met het maken van een spraakherkenningsdienst voor onderzoeks- en erfgoedinstellingen. De spraakherkenner die bij Beeld & Geluid en CLARIAH wordt gebruikt, is gebaseerd op de open source spraakherkenner Kaldi. (9) Deze spraakherkenner maakt gebruik van de nieuwste machine learning technieken, waardoor de kwaliteit aanzienlijk is verbeterd. Dankzij deze software is het nu relatief eenvoudig geworden om spraakherkenning toe te passen.

Toepassing van generatieve AI
Ook generatieve AI, zoals Chat GPT, biedt mogelijkheden voor de erfgoedsector. Tijdens een bijeenkomst op 13 februari 2023, getiteld 'Chat GPT of nie', gingen veertig erfgoedprofessionals op zoek naar manieren om deze technologie succesvol toe te passen. (10) Uit deze bijeenkomst bleek dat er nog kritisch naar de technologie moet worden gekeken. Hoewel de antwoorden die door de chatbot worden gegenereerd op het eerste gezicht overtuigend lijken, kloppen ze niet altijd inhoudelijk.

Heleen Wilbrink schreef een blogserie in opdracht van het NDE over Chat GPT en Large Language Models binnen het erfgoedveld en digitale preservering. (11) Ze heeft het afgelopen jaar met collega’s geëxperimenteerd met voorlopers van ChatGPT om historische teksten om te zetten naar modern Nederlands, zodat meer mensen kennis kunnen maken met erfgoed. Hieruit blijkt dat Chat GPT hierin beter scoort dan de voorlopers, maar dat het nog niet perfect werkt. Soms bedenkt de chatbot dingen die niet in de originele tekst staan, wat hallucinaties worden genoemd. Ook laat de chatbot soms zaken weg uit de originele tekst die een expert zou behouden. Dit vraagt om een kritische beoordeling van de resultaten, wat relatief veel tijd kan kosten en mogelijk niet in verhouding staat tot wat het oplevert.

Chat GPT kan ook worden ingezet voor het genereren van code, zoals JavaScript, HTML, RDF en SPARQL. Ook hier moet de code zorgvuldig worden gecontroleerd, waarbij kennis van zaken nodig is om gemaakte fouten te ontdekken of op te lossen.

Daarnaast is het programma handig om samenvattingen te maken van bijvoorbeeld notariële akten, of om entiteiten zoals persoonsnamen en locaties in ingevoerde teksten en hun onderlinge relaties te vinden. Dit is handig bij het maken van indexen om archieven doorzoekbaar te maken. Tot slot kan Chat GPT worden ingezet om gegevens om te zetten naar een verhaal of een omschrijving.

Tot slot
Het gaat te ver om hier een uitputtende lijst van AI-erfgoedprojecten te bespreken. Het doel van deze blog was om een beeld te geven van wat voor AI-projecten nu al plaatsvinden. Zo zie je hoeveel er mogelijk is en hoe deze technologie de toegankelijkheid van onze collecties verrijkt. Bovendien bespaart het gebruik van deze technologie aanzienlijk veel tijd: wat vroeger handmatig werk was, kan nu snel worden voltooid door een algoritme.

Maar er is een keerzijde aan de medaille: de toepassing van AI vergt aanzienlijke energie vanwege de immense hoeveelheid rekenkracht die nodig is om de algoritmen te trainen en toe te passen. In onze volgende blog gaan we hier dieper op in.

Over deze blogserie

Deze blogpost is onderdeel van een serie blogposts over Green IT geschreven in opdracht van de gelijknamige netwerkgroep van het Netwerk Digitaal Erfgoed (NDE). Deze netwerkgroep monitort de ontwikkelingen rondom Green IT en de impact van de voortschrijdende digitalisering op het klimaat. Specifiek wordt daarbij gekeken naar de (toenemende) digitalisering binnen de erfgoedsector.

Eerder verschenen in deze blogserie

Thema: Introductie Green IT

1 De dubbele rol van IT in duurzaamheid

2. De noodzaak van een duurzaamheidskader voor de erfgoedsector

Thema: Dataopslag

3. De digitale databerg

4. De verborgen impact van cloudopslag

5 1% van alle data ter wereld bewaren – wat kost dat aan CO2-uitstoot?

6 De zoektocht naar duurzame alternatieven voor disks en tapes

7 Dataopslag in synthetisch DNA: coderen en decoderen in geheimschrift

8 Dataopslag in atomen: sciencefiction of toekomstige realiteit?

9 Dataopslag in glas: Superman is alvast vereeuwigd

Thema: Groene Software