Archiveren in een datalake

Aangepast op 4 december 2024

Interessant experiment. Bij een vorige werkgever hebben we met een groepje collega's vanuit informatiebeheer, datamanagement en architectuur ook ideeën in die richting uitgewerkt. We hebben we toen om verschillende redenen geconcludeerd dat zoiets op korte termijn nog niet mogelijk was. We zijn inmiddels zo'n 5 jaar verder, dus wellicht is jullie timing beter.

Zonder meer een no-brainer dat datagedreven werken (om een lelijke modekreet te gebruiken) en informatiebeheer veel raakvlakken hebben. Gek genoeg vaak toch nog aparte werelden. Fijn om te merken dat dit de laatste jaren aan het kantelen is.

Ik zou het leuk vinden als je hier op KIA af en toe jullie vorderingen zouden willen delen!

Eelco, wat een gaaf experiment. Bij de VR/GGD IJsselland (gevestigd in Zwolle) zijn we ook bezig met de archieffunctie. Nog veel minder ver dan jullie, maar daarom leer ik er graag van! Helaas kan ik je dus geen hulp bieden, maar zal het met interesse volgen.

Hey Tijn, oh dat wist ik niet, maar interessant! Laten we elkaar volgen, volgend jaar een uurtje pakken om onze ervaringen te delen? Hebben jullie al een dataplatform in Azure draaien?

Dit is al een ouder bericht, maar hetzelfde vraagstuk komt nu bij ons naar boven. Ik ben erg nieuwsgierig naar jullie uitkomsten van destijds.

@ronaldrommelse Weet je of dit vraagstuk ook Rotterdam speelt / gespeeld heeft?

Wat een interessante afweging. Zeker vanuit de data-gedreven gedachte lijkt mij dit zeker wel een optie. Echter zit je dan nog wel met het duurzaam bewaren van archiefstukken. Of willen jullie dit alsnog in een e-depot gaan doen?

Verder heb ik onlangs een demo gezien van Fabric. Daar zijn zeker met de business intelligence functies mogelijkheden. Zeker voor onderzoek en het gebruik van de gegevens in de archieven is dit waardevol.

Ik ben benieuwd mochten jullie hier verder mee gaan!

Aangepast op 6 juli

@jannekepolderman In Rotterdam maken we voor de archieffunctie gebruik van de E-depot oplossing van Preservica. Van archiveren via een datalake, is er zover ik weet geen sprake.

Hoi! Tijdje geleden alweer dat ik die berichtje postte. We hebben uiteindelijk nog niet een antwoord op dit vraagstuk. Het archiveren in een datalake idee blijft trekken, maar we zijn als gemeente ook wel afhankelijk van de keuze van ons regionaal archief en de keuzes die daar gemaakt worden.
Bovendien ben ik nu als enterprise architect ook bezig met een doel- enterprise architectuur. Dat gaat op hoofdlijnen een datacentrische architectuur gebaseerd op business capabilities worden. Heel technische taal; maar de architectuur gaat er daar juist van uit dat we de data echt op z'n plek gaan houden. En een preserveringsfunctionaliteit in je datalake is dan contra-architectuur. Het was dus een geweldig idee, maar 2 jaar verder druist het eigenlijk in tegen de uitgangspunten.
Toch klopt er met Common ground ook nog niet helemaal iets. Met het ABC component vernietigen we wel. maar... wat doen we met data/documenten die 20 jaar bewaard moeten worden? Houden we die in registers die qua specificaties dure opslag zijn omdat ze altijd beschikbaar zijn etc etc? Economisch lijkt mij dat niet heel slim. En registers zijn niet bedoeld om te preserveren. Dus die vraag houdt je.
Deze enterprise architect is er dus nog niet helemaal uit.

Toch lijkt het mij een goede stap om hierover in gesprek te blijven. Uiteindelijk blijft de hoeveelheid data die we te verwerken krijgen meer dan exponentieel groeien. En dit zullen uiteindelijk ook meer dan alleen documenten , foto's en dergelijke zijn. Dus om na te denken hoe we hier tijdens de bewaartermijn onderzoek of conclusies uit kunnen trekken die veel verder gaan dan een simpele zoekopdracht lijkt mij essentieel.